Ing. Calogero Bono
OpenAI, Google, Microsoft ve Anthropic, bir sitenin içeriklerinin üretken yapay zekayı eğitmek için kullanılıp kullanılamayacağını belirttiği robots.txt dosyasındaki ortak bir sinyale uyacaklarını duyurdu. Şimdiye kadar her tarayıcıyı tek tek belirtmek ve her sağlayıcı için ayrı kurallar yazmak gerekiyordu. Anthropic bunu şimdiden destekliyor, diğerleri önümüzdeki aylarda ya da 2027'de devreye alacak. Kurumsal bir site yöneten biri için bu bir sadeleşme, ama kesin sınırları var.
Ayrıntılara girmeden önce birkaç terim. robots.txt, otomatik programlara bir sitede neleri ziyaret edebileceklerini bildiren dosyadır. Bir crawler, sayfaları toplamak için dolaşan programdır. Scraping, içeriklerin otomatik olarak toplanmasıdır. IETF, internet standartlarını belirleyen kuruluştur. User agent, bir tarayıcının siteye kendini tanıttığı addır.
Yeni robots.txt sinyali neyi öngörüyor?
OpenAI'ye göre bu, yayıncıların ve site yöneticilerinin aynı tercihi birden fazla sağlayıcıya birlikte iletmesini sağlayan gönüllü bir çabadır. Önceden her tarayıcı tek tek tanımlanır ve her biri için ayrı kurallar tutulurdu.
Öneri, Anthropic'in teknik standartlar sorumlusu Kevin Kelley'ye ait ve The Verge'ün aktardığına göre IETF'te tartışılıyor. Sinyal, bir sitenin hangi tarayıcıların ziyaret edebileceğini belirtmek için uzun süredir kullanılan robots.txt'nin içinde yaşıyor.
Kural nasıl yazılır?
Engadget'e göre site yöneticisi, yapay zeka eğitimine ayrılmış bir user agent ekliyor. Aktarılan örnek şöyle.
- User-Agent __usage_ai-training
- Disallow /
- Allow /press-kit/
Allow satırı, örneğin bir basın klasörü gibi belirli bölümleri açık bırakmaya izin veriyor. Engelleme, eğitim verisi toplamak için tasarlanmış tarayıcıları kapsıyor.
Her şirkette ne zaman aktif olacak?
Anthropic yönergeyi desteklemeye şimdiden başladı. Engadget'e göre Microsoft 1 Şubat 2027'de başlayacak, Google ise 2027'nin başını gösteriyor. OpenAI "önümüzdeki aylar"dan söz ediyor ve ayrıntıları içeren bir güncelleme vaat ediyor.
Meta ise iletişim sorumlusu Andy Stone aracılığıyla ortak sinyale desteğini dile getirdi, ama buna uyup uymayacağını söylemedi. En bilinen iki sağlayıcıyı karşılaştıranlar için Claude ve OpenAI hakkında da yazdık.
Sinyal aramayı ya da zaten yapılmış kopyaları engeller mi?
Hayır. Engadget'e göre yeni bölüm, genel olarak taramayı ya da içeriklerin Google aramasında görünmesini engellemiyor. Google bunu, Gemini modellerini eğitmek için materyal toplayan Google-Extended user agent'i için bir durdurma olarak yorumlayacak.
Ayrıca geçmişi silmiyor. Bir sayfa zaten toplanmışsa, içerik şirketin elinde zaten var. The Verge'e göre Microsoft, eğitim ve grounding için ayrı denetimler sunacak; grounding, modelin doğrulanmış kaynaklara bağlanması demek. Yine de siteler Bing sonuçlarında kalmaya devam edecek.
Bağlam, tarayıcıların yayıncılar üzerindeki baskısı. The Verge, Really Simple Licensing standardını ve Cloudflare'in yapay zeka tarayıcılarını varsayılan olarak engellemesini anıyor. Botların nasıl çalıştığını anlamak isteyenler için web scraping için yapay zeka yazımızı okuyabilir.
Bilinmesi gereken sınırlar
Sinyal gönüllüdür. Kaynaklar şirketlerin taahhütlerini aktarıyor, kuralın uyulup uyulmadığına dair bağımsız bir denetim yok. Standart hâlâ IETF'te tartışılıyor ve OpenAI ayrıntıları ancak daha sonra açıklayacağını söyledi. Meta'nın bunu benimseyip benimsemeyeceği belli değil, katılmayan şirketlerin tarayıcılarının nasıl davranacağı da öyle. Google ve Microsoft'un tarihleri 2027'de kalıyor.
Dijital alanda çalışanlar için ne değişiyor
Kurumsal bir siten, bir blogun ya da bir çevrimiçi mağazan varsa, metinlerinin yapay zeka eğitimine hizmet edip etmeyeceğine tek bir yerden karar verebileceksin. İçerikleri arama sonuçlarında öne çıkmak için düzenleyenler, konuk yazarlık örneğinde olduğu gibi erişimi açıp kapatmayı değerlendirmek zorunda kalacak. Yapay zekayla metin üretenlerin ise şeffaflık yükümlülükleri var, bunu AI Act'in 50. maddesi üzerine yazdığımız yazıda anlattık. Tekil tarayıcılar için mevcut kurallar geçerliliğini koruyor.
Bizim görüşümüz
Ortak sinyal pratik açıdan iyi bir haber, çünkü küçük sitelerin üzerindeki bakım yükünü azaltıyor. Ancak bu, dış denetimi olmayan iyi niyete dayalı bir mekanizma. Google ve Microsoft'un yalnızca 2027'de devreye girmesi, ayrı kuralların hâlâ gerekli olduğu uzun bir dönem bırakıyor. Zaten yayımlanmış içerikler için de bir şey geri alınmıyor. Bunu yararlı bir adım olarak görüyoruz, ama tam bir koruma değil.
Sık sorulan sorular
robots.txt içindeki yeni sinyal zorunlu mu?
Hayır, gönüllüdür. Şirketler buna uymayı taahhüt etti, ama standart hâlâ IETF'te tartışılıyor.
Eğitimi engellemek siteyi Google'dan kaldırır mı?
Hayır. Engadget'e göre bu yönerge Google aramada görünmeyi engellemez. Google için Google-Extended'a durdurma anlamına gelir.
Daha önce toplanmış içerikleri siler mi?
Hayır. Yalnızca gelecekteki taramalar için geçerlidir. Bir sayfa zaten alınmışsa, şirket içeriğe zaten sahiptir.
Google ve Microsoft ne zaman devreye alacak?
2027'de. Microsoft 1 Şubat 2027'yi, Google ise yılın başını gösteriyor. Anthropic şimdiden destekliyor, OpenAI önümüzdeki aylardan söz ediyor.
Halihazırdaki kurallarımı değiştirmem gerekir mi?
Hayır. OpenAI, mevcut denetimlerin geçerli kalacağını ve dikkate alınacağını belirtiyor. Yeni sinyal bunların yerini almaz, onlara eklenir.
robots.txt'e dokunmadan önce takip edilecek tarihler
Sinyal, sağlayıcılar onu gerçekten etkinleştirdiğinde işe yarar hale gelecek. Şimdilik ayrıntıları beklemek ve hazırlık yapmak en mantıklısı.
- Mevcut robots.txt dosyanı kontrol et ve hangi yapay zeka tarayıcılarını zaten engellediğini not al, böylece yeni sinyalin pratikte neyin yerini alacağını bilirsin.
- OpenAI'nin uygulamaya ilişkin vaat ettiği güncellemeyi ve Google ile Microsoft'un 2027 tarihlerini takip et.
- Basın kitin gibi hangi site bölümlerini açık bırakacağına, hangilerini koruma altına alacağına önceden karar ver.
