Yapay Zekâ Botlarını Engellemeli misiniz?

Yazılımcınız bir gün robots.txt dosyasına birkaç satır ekliyor. "İçeriğimizi yapay zekâ kullanmasın" diye. Bir ay sonra fark ediyorsunuz: ChatGPT'ye sektörünüzü sorduğunuzda siteniz artık kaynak olarak çıkmıyor.

Bu senaryo son bir yılda sık karşılaştığım bir kafa karışıklığının sonucu. Yapay zekâ şirketlerinin birden fazla botu var ve her biri farklı bir iş yapıyor. Birini engellemek sizi modelin eğitiminden çıkarıyor, diğerini engellemek ise yapay zekâ cevaplarından.

Bu yazıda hangi botun ne yaptığını, hangisini engellerseniz ne kaybedeceğinizi ve markanız için nasıl karar vereceğinizi anlatacağım.

Eğitim Botu ile Arama Botu Arasındaki Fark

Yapay zekâ botlarını iki gruba ayırmak, kararın yarısını veriyor.

Eğitim botları, bir yapay zekâ modelini eğitmek için internetten içerik toplar. Bu içerik, modelin gelecekteki sürümlerinin "bilgisine" dönüşür. Sitenizden doğrudan link ya da trafik beklemezsiniz.

Arama ve cevap botları ise bir kullanıcı soru sorduğunda, cevabı üretmek için sayfanızı o an okur. ChatGPT'nin, Perplexity'nin ya da Claude'un cevabında sitenizin kaynak olarak gösterilmesi bu botlar sayesinde olur.

Bence en sık yapılan hata bu ikisini aynı şey sanmak. "Yapay zekâ içeriğimi almasın" kararı genelde eğitimle ilgili bir kaygıdan doğuyor; ama alınan önlem çoğu zaman arama botlarını da kapsıyor. Yapay zekâ aramalarında görünmenin genel çerçevesini GEO nedir? yazısında anlattım.

Hangi Bot Ne Yapıyor?

Aşağıdaki tablo, şirketlerin kendi belgelerine dayanıyor. Bot adları ve davranışları değişebildiği için robots.txt'yi düzenlemeden önce kaynaklardaki güncel sayfaya bakmanızı öneririm.

Tablodan çıkan sonuç net: Eğitim botlarını engellemek görünürlüğünüzü neredeyse etkilemiyor. Arama botlarını engellemek ise sizi doğrudan cevapların dışında bırakıyor.

Google'ın Yapay Zekâ Özelliklerinden Çıkmak Mümkün mü?

Evet, ama bedeli var.

Önce sık yapılan bir yanlışı düzeltelim: Google-Extended'i engellemek sizi AI Overviews'tan ya da AI Mode'dan çıkarmıyor. Google'ın belgesine göre Google-Extended, içeriğinizin Gemini modellerinin eğitiminde ve Gemini uygulamalarında kullanılmasını kontrol ediyor; Google Arama'ya dahil olmanızı ya da sıralamanızı etkilemiyor [2]. Belgede AI Overviews'tan söz edilmiyor.

Google'ın arama sonuçlarındaki yapay zekâ özellikleri için ayrı bir kontrol var. Search Console'a gelen yapay zekâ kontrolü, 31 Ağustos 2026'dan beri dünya genelinde tüm sitelerde açık [5]. Bu kontrolle içeriğinizin AI Overviews, AI Mode ve Discover'daki yapay zekâ özelliklerinde link olarak ya da cevabın dayanağı (grounding) olarak kullanılmasını kapatabiliyorsunuz.

Bedeli şu: O yüzeylerde hiç görünmemek. Kullanıcıların giderek daha fazla soruyu AI Overviews ve AI Mode üzerinden sorduğu bir dönemde, bu çoğu marka için kendi aleyhine bir karar. AI Overviews markalar için neden önemli, ayrı bir yazıda anlattım.

Hangi Durumda Engellemek Mantıklı?

Her site için tek doğru cevap yok. Ama karar, işinizin neye dayandığına göre oldukça netleşiyor.

Bence hizmet işletmeleri için kural basit: Görünmek istediğiniz yerin kapısını kapatmayın. Eğitim botlarını engelleyip engellememek bir tercih meselesi; arama botlarını engellemek ise müşterinin sizi bulduğu yerden çekilmek.

E-ticaret ve B2B tarafında bunu özellikle önemsiyorum. Bir satın alma ekibi "bu sektörde hangi tedarikçiler öne çıkıyor?" diye sorduğunda ya da bir alışverişçi "şu bütçeye en iyi koşu ayakkabısı hangisi?" dediğinde, cevap ancak okunabilen sayfalardan üretiliyor. Arama botuna kapalı bir site, bu listelere hiç girmiyor.

Kararı Nasıl Vermelisiniz?

Robots.txt'ye dokunmadan önce kendinize dört soru sormanızı öneririm:

1. Müşterim beni nasıl buluyor? Araştırarak buluyorsa, arama botlarına açık olmak zorundasınız.
2. İçeriğim mi ürünüm, yoksa içeriğim ürünümü mü anlatıyor? İçerik doğrudan satılan bir şeyse (abonelik, rapor, veri) eğitim botlarını engellemek mantıklı olabilir. İçerik bir hizmeti ya da ürünü anlatıyorsa, okunması sizin lehinize.
3. Engellediğim botun ne işe yaradığını biliyor muyum? Yukarıdaki tabloda olmayan bir bot adı görüyorsanız, önce şirketin belgesine bakın.
4. Kararımı ölçebiliyor muyum? Değişiklikten önce ve sonra yapay zekâ kaynaklı ziyaretleri ve sunucu kayıtlarındaki bot ziyaretlerini karşılaştırabilecek durumda olun.

Bu dört sorunun cevabı çoğu hizmet işletmesi ve e-ticaret sitesi için aynı yere çıkıyor: Eğitim botlarında tercih size kalmış, arama botlarına ve Googlebot'a ise kapıyı açık bırakın.

Botları Engellemek Trafiğinizi Korur mu?

Engelleme kararlarının arkasında genelde şu düşünce var: "Yapay zekâ içeriğimi okuyup cevabı kendisi veriyor, kullanıcı siteme gelmiyor. Engellersem trafiğim geri gelir."

Bence bu beklenti çoğu zaman karşılık bulmuyor. Üç nedeni var.

Birincisi, engellemek geçmişe etki etmiyor. Anthropic'in belgesi, ClaudeBot'u engellemenin sitenin gelecekteki içeriğinin eğitimden çıkarılması anlamına geldiğini söylüyor [3]. Daha önce toplanmış içerik geri alınmıyor.

İkincisi, kullanıcı soru sormaya devam ediyor. Siz cevabın dışında kaldığınızda cevap ortadan kalkmıyor; rakibinizin sayfasından üretiliyor.

Üçüncüsü, yapay zekâdan gelen ziyaretçi az ama değerli. Bir cevabın içindeki kaynağa tıklayan kişi, genellikle karar aşamasında ve neyi aradığını biliyor.

Yani gerçek seçim, "trafiğimi korumak" ile "trafiği kaybetmek" arasında değil. Görünür olmak ile görünmez olmak arasında.

robots.txt Örnekleri

robots.txt dosyası sitenizin kök dizininde durur (ör. siteniz.com/robots.txt). Aşağıdaki üç örnek en sık ihtiyaç duyulan senaryolar için.

1. Her şeye açık (varsayılan). Özel bir kural yazmazsanız tüm botlar sitenizi tarayabilir.

User-agent: *
Disallow: /admin/

Sitemap: https://siteniz.com/sitemap.xml

2. Eğitime kapalı, aramaya açık. Çoğu marka için dengeli seçenek.

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /admin/

3. Yapay zekâya tamamen kapalı. Arama botları da engellenir; ChatGPT, Claude ve Perplexity cevaplarında kaynak olarak görünmezsiniz. Googlebot'a dokunmayın; onu engellemek sizi Google Arama'dan çıkarır.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

İki uyarı: robots.txt bir rica, kilit değil. Büyük şirketlerin botları uyuyor; ama kullanıcı tetikli bazı botlar (ChatGPT-User, Perplexity-User) her zaman uymayabiliyor ve kötü niyetli tarayıcılar hiç uymuyor. Gerçekten gizli kalması gereken içerik için şifre ya da sunucu düzeyinde engel gerekir.

İkincisi: robots.txt'deki her satır tarama davranışını değiştirir. Büyük sitelerde tarama kaynaklarının nasıl kullanıldığını tarama bütçesi yazısında anlattım.

llms.txt robots.txt'nin Yerine Geçer mi?

Son dönemde sık duyduğum bir soru da llms.txt. Bu dosya, sitenizin en önemli sayfalarını yapay zekâ araçları için özetlemeyi amaçlayan bir öneri.

Bilmeniz gereken şu: Bu yazıda kaynak gösterdiğim OpenAI, Google, Anthropic ve Perplexity belgelerinin hiçbiri tarama kararlarını llms.txt'ye bağlamıyor; hepsi robots.txt'yi esas alıyor [1][2][3][4]. llms.txt'yi eklemek zarar vermez, ama hangi botun sitenize girebileceğini o belirlemez. Karar yine robots.txt'de.

Farkında Olmadan Engellemiş Olabilir misiniz?

Evet, ve bu düşündüğünüzden sık oluyor. robots.txt'ye kimse dokunmamış olsa bile şu üç yerden biri yapay zekâ botlarını engelliyor olabilir:

1. CDN ve güvenlik duvarı ayarları: Bazı CDN ve güvenlik hizmetlerinde yapay zekâ botlarını tek tıkla engelleyen ayarlar var. Bu ayar açılmışsa robots.txt'niz açık görünse bile botlar siteye ulaşamıyor.
2. Güvenlik eklentileri: WordPress güvenlik eklentileri tanımadıkları botları zaman zaman engelliyor.
3. Hazır robots.txt şablonları: İnternetten kopyalanan "tüm yapay zekâ botlarını engelle" listeleri genellikle arama botlarını da içeriyor.

Kontrol için üç adım: robots.txt dosyanızı tarayıcıda açıp okuyun, CDN ve güvenlik eklentinizin bot ayarlarına bakın ve sunucu kayıtlarında (log) OAI-SearchBot ve PerplexityBot ziyaretlerini arayın.

Teknik engeller, markanın yapay zekâ cevaplarında yer almamasının nedenlerinden sadece biri. Diğerlerini markanızın yapay zekâ aramalarında yer almamasının 7 nedeni yazısında topladım.

Sitenizin Bot Ayarlarına Birlikte Bakalım mı?

robots.txt'de iki satırlık bir hata, aylarca fark edilmeden markanızı yapay zekâ cevaplarının dışında bırakabiliyor. Sitenizin robots.txt, CDN ve Search Console ayarlarını birlikte kontrol etmek isterseniz hemen ücretsiz randevu oluşturun. Çalışmanın kapsamını SEO ve GEO danışmanlığı sayfamda bulabilirsiniz.

Kaynaklar

• OpenAI, Overview of OpenAI Crawlers (erişim Ekim 2026)
• Google Search Central, Google'ın yaygın tarayıcıları ve Google-Extended (erişim Ekim 2026)
• Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler? (erişim Ekim 2026)
• Perplexity, Perplexity Crawlers (erişim Ekim 2026)
• Search Engine Roundtable, Global: Google Search Console AI Performance Report & AI Control (1 Eylül 2026)