Web siteniz tarayıcıda sorunsuz açılırken Google Search Console “Robots.txt erişilemiyor” diyebilir. Aynı anda ChatGPT Search veya Perplexity de sayfalarınıza ulaşamayabilir. Bu çelişki, tek bir ekran görüntüsünden “robots.txt yanlış” sonucuna varılmaması gerektiğini gösterir.
Bu rehberde GEO’nun tanımını tekrar etmiyoruz: tarama izni, sayfa getirme, indekslenme ve kaynak gösterilme arasındaki farkı koruyarak somut bir sorun giderme akışı kuruyoruz. Örnekler teşhis içindir; güvenlik duvarını topluca kapatma veya tüm botlara sınırsız erişim verme talimatı değildir.
Yapay zekâ botlarının web sitenize erişip erişmediği nasıl anlaşılır?
Önce robots.txt yanıtını ve hedef URL’nin HTTP durumunu ayrı kontrol edin; ardından sayfanın robots/meta/X-Robots-Tag ve canonical bilgisini doğrulayın. Google için Search Console canlı testi, diğer tarayıcılar için doğrulanmış bot IP’leriyle eşleştirilen CDN/sunucu logları kanıt sağlar. Yalnız User-Agent değiştirerek yapılan curl isteği gerçek bot erişimini kanıtlamaz. Tüm kontroller olumlu olsa bile indeksleme veya AI kaynak gösterimi garanti değildir.
AI Bot Tarama Sorununda Önce Hangi Belirtilere Bakılmalı?
Bir arama motoru veya yapay zekâ aracı sayfanızı getiremediğinde ilk sorumuz “Hangi aşamada hata oluştu?” olmalı. Kullanıcı için HTTP 200 dönen bir sayfanın bot için de aynı şekilde erişilebilir olduğunu varsaymayın. Tarayıcı konumu, IP ağı, CDN güvenliği, DNS ve istek zamanı sonucu değiştirebilir.
| Belirti | Öncelikli soru | Kanıt kaynağı |
|---|---|---|
| Search Console’da “robots.txt erişilemiyor” | Google testinin yapıldığı anda robots.txt hangi HTTP sonucunu verdi? | Search Console robots.txt raporu, canlı test zamanı, CDN logu |
| Sayfa 200 ama Google dizininde yok | Taranabilirlik ve indeks izni gerçekten ayrı ayrı uygun mu? | URL Denetimi, HTTP başlıkları, canonical, dizin raporu |
| Cloudflare Bot Challenge | İstek doğrulanmış gerçek bota mı ait, hangi kural tetiklendi? | Security Events, Ray ID, kaynak IP, eylem |
| ChatGPT veya Perplexity’de hiç kaynak yok | Bot gerçek olarak erişebiliyor mu; yoksa içerik seçilmemiş mi? | Resmî tarayıcı kuralları, doğrulanmış loglar, içerik/niyet analizi |
| Gerçek saha gözlemi: Netasus — 21 Kasım 2026 | Doğrulanan sonuç |
|---|---|
| Search Console canlı URL testi | 22:55 civarında “Başarısız: Robots.txt erişilemiyor” uyarısı görüldü. |
| Search Console robots.txt raporu | Aynı zaman aralığında dosya “Getirildi”; bildirilen sorun yoktu. |
| Bağımsız sunucu teşhisi | www ve kök alan adına yapılan HTTPS istekleri; normal ve Googlebot adını kullanan User-Agent testleri HTTP 200 döndürdü. IPv6 robots.txt testi de HTTP 200 döndürdü. |
| Tekrarlanan Google canlı testi | Bir sonraki denemede başarılı oldu. Kalıcı robots.txt yasağı doğrulanmadı; geçici hata kaynağı kesin olarak belirlenmedi. |
Bu kayıt gerçek bir erişim teşhisinin sınırlarını gösterir: Sunucunun 200 dönmesi, Googlebot IP’lerinden her zaman erişilebildiğini kanıtlamaz; Search Console’da bir kez başarısız sonuç almak da kalıcı Cloudflare bloklamasını kanıtlamaz. Kök neden doğrulanmadığında bunu açıkça raporlamak gerekir.
Google’daki bir canlı test hatasının birkaç dakika sonra düzelmesi geçici olay ihtimalini yükseltir; yine de sürekli veya site çapında tekrar ediyorsa sunucu tarafındaki loglarla araştırılmalıdır. Netasus’un genel yapay zekâ görünürlük ölçüm rehberi kaynak gösterilmeyi ve ziyaret verisini ayrıca takip eder. Bu yazıda ise önce erişim kanıtına bakıyoruz.
Hatanın görüldüğü tarih, saat ve saat dilimini not edin.
www, https, son eğik çizgi ve yönlendirmeleri kaydedin.
Sunucu testi ile Google/AI aracının canlı testini karıştırmayın.
Bir kez başarılı olmasına değil, aynı hatanın sıklığına bakın.
ChatGPT, Google ve Perplexity Botlarının Görevleri Nasıl Ayrılır?
“Yapay zekâ botları” tek ve aynı davranan bir grup değildir. Arama için tarama, model eğitimi için tarama ve kullanıcı isteğine bağlı sayfa getirme farklı işlemlerdir. Özellikle ChatGPT’de görünürlüğü yalnız GPTBot’a izin verilip verilmemesine bağlamak yanıltıcıdır.
| Tarayıcı / araç | Temel görev | Önemli ayrım |
|---|---|---|
| OAI-SearchBot | ChatGPT’nin arama özelliklerinde web sitelerinin bulunması için tarama | Arama kapsamıyla ilgilidir; GPTBot’tan bağımsız kontrol edilir. |
| GPTBot | OpenAI temel modellerinin eğitimi için kullanılabilecek içeriklerin taranması | Engellenmesi otomatik olarak ChatGPT Search’e engel olduğu anlamına gelmez. |
| ChatGPT-User | Kullanıcının isteğiyle belirli URL’ye erişme | Otomatik arama tarayıcısı değildir; robots.txt kuralları her zaman geçerli olmayabilir. |
| Googlebot | Google Search için keşif ve tarama | Google AI Overviews / AI Mode için de temel Search erişim koşulları geçerlidir. |
| PerplexityBot | Perplexity arama sonuçlarında siteleri bulmaya yardımcı tarama | Perplexity-User’dan ayrı değerlendirilir. |
| Perplexity-User | Kullanıcı sorusu üzerine sayfa getirme | Perplexity, kullanıcı tetiklemeli getirme için robots.txt kurallarını genellikle dikkate almadığını belirtir. |
OpenAI’nin resmî tarayıcı açıklaması ve Perplexity’nin resmî bot rehberi kullanım amaçlarını açıkça ayırır. ChatGPT görünürlüğü rehberimizde OAI-SearchBot ve GPTBot tercihleri daha ayrıntılı anlatılır.
Bot adının logda görünmesi, isteğin o şirketten geldiğini tek başına doğrulamaz. Gerçek erişim sorununu belirlemeden robots.txt veya WAF kurallarını değiştirmeyin.
Google AI Overviews ve AI Mode İçin Hangi Erişim Kuralları Geçerli?
Google AI Overviews ve AI Mode, Google Search kapsamındaki üretken yapay zekâ özellikleridir. Google, bu özelliklerde destekleyici bağlantı olarak gösterilmek için sayfanın Google Search’te indekslenmiş ve snippet ile gösterilmeye uygun olması gerektiğini açıklar. Yalnızca ayrı bir “AI botu” açmak, özel schema eklemek veya robots.txt içine yeni bir satır koymak yeterli değildir.
Google Search’teki üretken yapay zekâ katmanıyla Google’ın farklı ürünleri ve model eğitimi kontrolleri aynı şey değildir. Googlebot erişimini sınırlandıran bir kuralın Search özelliklerine etkisi olabilir; Google-Extended ise farklı kullanım tercihleriyle ilişkilidir. Google’ın AI özellikleri ve web siteniz belgesi bu ayrımı anlatır.
2026 itibarıyla Search Console’daki site geneli Search generative AI kontrolü de ayrıca gözden geçirilmelidir: Google, arama sonuçlarındaki üretken AI özelliklerine dahil edilmenin bu tercih ile yönetilebildiğini açıklar. Googlebot’un erişebilmesi tek başına bu site geneli tercihin de uygun olduğu anlamına gelmez. Bu kontrol, Gemini uygulamasındaki bütün görünürlük durumlarını ölçen veya düzenleyen bir araç olarak yorumlanmamalıdır. Google’ın içerik paylaşım kontrolleri belgesi konuya ilişkin resmî kaynaktır.
| Kontrol | Ne sorulmalı? | Ne sonuç çıkarılmamalı? |
|---|---|---|
| Google Search erişimi | Googlebot hedef sayfayı ve gerekli kaynakları alabiliyor mu? | “200 gördüm, AI cevabında kesin çıkacağım.” |
| İndeks uygunluğu | Sayfa Google dizininde mi, snippet kısıtı var mı? | “Canlı test başarılıysa kesin indekslendi.” |
| Üretken AI görünürlüğü | Desteklenen Search Console raporlarında veri var mı? | “Her Gemini uygulaması sorusu aynı Search verisidir.” |
| İçerik kalitesi | Sayfa soruya kanıtlı ve güncel yanıt veriyor mu? | “Özel AI schema sıralama garantisidir.” |
Adım adım arama sonuçlarında görünürlük için Google AI Overviews ve AI Mode rehberimizi okuyabilirsiniz. Buradaki hedef yalnızca teknik erişim kontrollerini doğru sıraya koymak.
Robots.txt ve HTTP Yanıtları Nasıl Kontrol Edilir?
Birinci adım, robots.txt dosyasının gerçekte hangi HTTP yanıtıyla servis edildiğini kontrol etmektir. Tarayıcıdan ulaşılabilen https://ornek.com/robots.txt adresi canlı testte zaman zaman başarısız olabilir. Bunun için “dosya fiziksel diskte yok” sonucunu tek başına hata kabul etmeyin; bazı siteler dosyayı uygulama yönlendirmesiyle sunar.
| robots.txt durumu | Google açısından genel yorum | Ne kontrol edilmeli? |
|---|---|---|
| 200 | Yanıt gövdesindeki kurallar okunur. | Content-Type, gerçek içerik, farklı ağlardan erişim |
| 301 / 302 | Google yönlendirmeleri belirli sınırlar içinde izler. | Yönlendirme döngüsü, yanlış host, zincir uzunluğu |
| 401 / 403 / 404 | Google, robots.txt için 429 dışındaki çoğu 4xx hatasını kısıtlama yokmuş gibi yorumlar. | Bu durum “bot kesin engellendi” veya “her şey normal” kanıtı değildir. |
| 429 veya 5xx | Tarama yavaşlayabilir veya geçici olarak durdurulabilir. | WAF, hız limiti, upstream, timeout ve zaman damgası |
Google’ın robots.txt durum kodları belgesi 429 ile diğer 4xx yanıtlarını özellikle ayırır. Ayrıca robots.txt, indeksleme yasağı değildir; izin verilmeyen bir URL başka bağlantılardan keşfedilebilir.
Salt okunur temel test: Terminalde curl -I -L --max-time 20 https://ornek.com/robots.txt ile başlıkları; curl -L --max-time 20 https://ornek.com/robots.txt ile içeriği kontrol edebilirsiniz. Yanıt kodu, yönlendirme zinciri, IPv4/IPv6 farkı ve test saatini kaydedin. curl ile gelen başarılı sonuç Googlebot’u doğrulamaz.
Search Console robots.txt raporu başarılıyken tek bir canlı URL testinin başarısız olması mümkün olabilir. Bu durumda olayın saatini, tekrar sıklığını ve CDN yanıtını karşılaştırmak gerekir; sırf test hatası için dosyayı silip yeniden oluşturmayın.
Sayfa Getirme, Noindex ve Canonical Nasıl Ayrı Test Edilir?
robots.txt izin verse bile sayfanın kendisi indekslenmeye uygun olmayabilir. İkinci adımda son URL’ye kadar yönlendirmeyi takip edin; sadece ilk 301 yanıtını veya sayfanın masaüstü tarayıcısında açılmasını yeterli saymayın.
| Katman | Olumlu kanıt | Olası sorun |
|---|---|---|
| HTTP son yanıtı | Hedefte 200 ve beklenen HTML | 403, 429, 5xx, giriş ekranı, challenge HTML |
| X-Robots-Tag / meta robots | Hedefe uygun indeksleme direktifi | noindex veya yanlış bot özel kuralı |
| Canonical | Hedef için doğru self-canonical veya gerekçeli eşdeğer URL | Başka, ilgisiz URL’ye canonical |
| HTML içerik | Ana metnin ve bağlantıların erişilebilir olması | Boş JS kabuğu, yüklenmeyen kritik içerik |
| Görsel ve kaynaklar | Önemli kaynakların yüklenebilmesi | Görseller/CSS/JS’ye gereksiz blok veya hatalı yönlendirme |
Kontrol sırasında curl -sS -L -I --max-time 20 https://ornek.com/hedef-sayfa/ başlık bilgisi sağlar. Ancak HEAD yanıtı ile gerçek GET farklı olabilir; gerekirse gövdeyi de güvenli biçimde inceleyin. HTML içine yazılmış robots direktifini bulmak için uygulama kaynak koduna değil, gerçekten sunulan çıktıya bakın.
Google Search Console’da Canlı URL’yi Test Et ile gelen veriyi, “URL Google tarafından bilinmiyor” gibi önceki indeks bilgileriyle karıştırmayın. Site ilk kez yayımlandıysa henüz tarama kaydı olmaması normal olabilir. Web sitesinin genel yayına hazırlık aşamalarını web sitesi yaptırma süreci rehberimizde ayrıca anlatıyoruz.
Cloudflare ve WAF Botları Engelliyorsa Nasıl Anlaşılır?
Bir web sitesinde Cloudflare veya başka WAF/CDN bulunuyorsa bot isteği origin sunucuya ulaşmadan engellenebilir. Bu nedenle uygulama loglarında isteği görmemeniz, botun hiç denemediğini kanıtlamaz; CDN güvenlik olaylarını ayrı kontrol edin.
Canlı testteki tarih-saat ve CDN panelindeki saat dilimini eşleştirin.
Host, URI yolu, kaynak IP, bot sınıflaması ve aksiyon alanına bakın.
Block, Managed Challenge, Rate Limit ve ilgili kural ID’sini kaydedin.
Yalnız doğrulanan meşru istekler için en az ayrıcalıklı istisnayı değerlendirin.
Cloudflare’ın Verified Bots özelliği, güvenilir olduğu doğrulanan botları ayırt etmeye yardım eder. Bununla birlikte yapılandırma ve paket özellikleri değişebilir; “tüm bot korumalarını kapat” yaklaşımı güvenlik açısından kötü bir çözümdür.
Perplexity’nin resmi dokümanı, farklı botlar için bot adına ek olarak yayımladığı IP aralıklarının eşleştirilmesini önerir. Cloudflare’daki bazı bot koruma özellikleri özel Skip kurallarıyla atlanamayabilir. Bu yüzden ayar değişikliğinden önce güvenlik olayının gerçekten hangi katmanda gerçekleştiği belirlenmelidir.
Gerçek Bot IP’si ile Sahte User-Agent Nasıl Ayırt Edilir?
Saldırgan bir istemci kendini Googlebot veya OAI-SearchBot gibi tanıtabilir. User-Agent başlığı metindir; kimlik belgesi değildir. Sunucunuzdan aynı User-Agent ile curl göndermek, gerçek Google veya OpenAI altyapısından gelen isteği simüle etmez.
| Yöntem | Ne sağlar? | Sınırı |
|---|---|---|
| User-Agent kontrolü | Hangi adla istek gönderildiğini gösterir. | Taklit edilebilir. |
| Kaynak IP + resmî IP listesi | İsteğin yayımlanan aralıklardan gelip gelmediğine kanıt sağlar. | Resmî listeler güncellenebilir; doğru zamanda kullanılmalı. |
| Reverse DNS + forward DNS | Özellikle Google için istek IP’sinin kimliğini çapraz doğrular. | DNS doğrulaması doğru akışla yapılmalı. |
| CDN Verified Bot işareti | CDN sağlayıcısının doğrulama kararını gösterir. | Aynı ürünün tüm botları veya tüm özellikleri için genel garanti değildir. |
Google, gerçek Google tarayıcı isteklerinin doğrulanması için kaynak IP’yi kendi listeleriyle eşleştirme veya ters DNS ve ileri DNS doğrulamasını önerir. OpenAI ve Perplexity kendi botlarına ait resmî IP aralığı JSON dosyaları yayımlar; kopyalanmış eski IP listelerini kalıcı erişim kuralına dönüştürmeyin.
Özellikle Cloudflare arkasındaki origin sunucuda uygulamaya yansıyan uzak IP, Cloudflare IP’si olabilir. Gerçek istemci adresi için yalnız güvenilen proxy zincirinden gelen bilgiyi kullanın; internetten gelen rastgele X-Forwarded-For değerine otomatik güvenmeyin.
Sunucu ve CDN Loglarında Hangi Kanıtlar Saklanmalı?
İyi bir teknik rapor “Google giremiyor” gibi kanıtsız tek cümlelerden oluşmaz. Başarısız istek için zaman, URL, HTTP yanıtı, bot kimlik doğrulaması ve güvenlik aksiyonu birlikte sunulmalıdır. Bunlar yoksa bir gün sonra sorun kaybolduğunda nedenini geriye dönük bulmak zorlaşır.
| Kayıt alanı | Neden önemli? |
|---|---|
| Tarih / saat / saat dilimi | Farklı sistem kayıtlarını aynı olaya bağlar. |
| Tam host ve yol | robots.txt ile hedef sayfa hatasını ayırır. |
| HTTP durumu ve yanıt süresi | 403/429/5xx, bağlantı zaman aşımı ve normal yanıtı sınıflandırır. |
| Gerçek istemci IP’si ve doğrulama sonucu | User-Agent taklidini ayırır. |
| WAF kuralı / Ray ID / aksiyon | CDN tarafından alınan kararı tespit eder. |
| Origin yanıtı ve hata satırı | Uygulama mı CDN mi sorunu ayrıştırır. |
| Değişiklik ve tekrar test sonucu | Sorunun düzeldiğini kanıtlar; varsayım yerine ölçüm sağlar. |
Raporu yalnız gerekli teknik alanlarla sınırlayın. IP adresleri ve loglar kişisel veri içerebilir; paylaşırken kapsam ve erişim yetkilerini kontrol edin. Ayrıca isteğin origin kayıtlarında görülmemesi, aradaki CDN nedeniyle eksik gözlemlenme olabilir. Genel teknik SEO görünürlüğü için GEO nedir rehberimizde taranabilirlik ile kaynak seçimi arasındaki ilişkiyi ayrıca açıklıyoruz.
403, 429, 5xx ve Robots.txt Hatasında İlk Müdahale Nedir?
Güvenli müdahale, hatanın kaynağını kanıtladıktan sonra yapılır. Bir anda robots.txt dosyasını düzenlemek, WAF’ı kapatmak ve cache temizlemek gibi çoklu değişiklikler hangi adımın sorunu çözdüğünü belirsizleştirir.
| Gözlenen sonuç | İlk kontrol | Kaçınılacak refleks |
|---|---|---|
| robots.txt 200; canlı test bazen başarısız | Tekrar testi, zaman eşleşmesi, CDN olayları | Sırf bir hata için robots.txt’yi silmek |
| robots.txt 429 / 503 | Rate limit, upstream yükü, geçici erişim sorunu | Robots dosyasını izinsiz tümüyle Allow yapmak |
| Hedef sayfa 403 | Gerçek IP ve güvenlik kuralı | Tüm ülkelerden gelen botları koşulsuz izinli yapmak |
| Hedef sayfa 200; GSC noindex | Meta ve X-Robots-Tag | Sitemap’i defalarca göndermek |
| Yönlendirme döngüsü | HTTP→HTTPS ve www yönlendirme zinciri | Yeni ikinci canonical veya rastgele redirect eklemek |
| Sayfa getirilmiş fakat kaynak gösterilmiyor | İndeks uygunluğu, fayda ve sorgu bağlamı | Kaynak gösterimi veya 1. sıra garantisi vermek |
Google’ın tarama hatalarını giderme rehberi erişim ve sunucu performansının önemini vurgular. Bu işin yanıt kalitesi tarafı ayrıca AEO uygulama rehberimizde ele alınır.
Gerçek sorun doğrulanmadan korumayı zayıflatır ve başka riskler doğurur.
Kanıta göre yalnız gerekli kural veya servis bileşeni düzeltilir.
15 Maddelik AI Bot Erişim Kontrolü Nasıl Uygulanır?
Bu listeyi bir tabloya işaretlemek, “AI botumuz var” demekten daha faydalıdır. Her satırı geçti / sorunlu / doğrulanamadı olarak etiketleyin. “Doğrulanamadı” ayrı bir sonuçtur; erişim olmadığı anlamına gelmez.
www/ana alan adı ve HTTPS yönlendirmesi beklenen hedefe gidiyor.
robots.txt tekrar eden isteklerde erişilebilir, içerik bekleneni veriyor.
Hedef URL için tarama kısıtları bot bazında doğru değerlendirildi.
Nihai sayfa 200 ve gerçek HTML döndürüyor.
429, 5xx, bağlantı zaman aşımı ve aralıklı hata kontrol edildi.
Meta robots ve X-Robots-Tag incelendi.
Canonical, yanlış eşdeğer sayfaya işaret etmiyor.
Önemli sayfa metni ve bağlantıları bot açısından erişilebilir.
Search Console URL Denetimi, robots.txt raporu ve Search generative AI tercihi ayrıştırıldı.
Arama, eğitim ve kullanıcı getirmesi farklı değerlendirildi.
User-Agent dışında IP ve resmî doğrulama yöntemi kullanıldı.
WAF, Bot Fight Mode/AI Crawl Control ve hız limitleri incelendi.
Zaman, HTTP, Ray ID, IP doğrulaması ve kural eylemi saklandı.
Sorun bulunursa tek kontrollü düzeltme ve rollback hazırlandı.
Canlı test, sayfa yanıtı ve bir sonraki tarama gözlemi karşılaştırıldı.
Tarama sorunu çözüldüğünde iş bitmiş sayılmaz. Sayfanın kullanıcıya gerçek bilgi vermesi, hizmetin doğru temsil edilmesi ve organik görünürlük ölçümünün yapılması gerekir. Hangi SEO, GEO ve AEO çalışmasının neyi hedeflediğini SEO–GEO–AEO karşılaştırmamızda ayırıyoruz. Netasus’un Ankara web tasarım hizmetinde de erişilebilir, yönetilebilir ve ölçülebilir web altyapısı temel öncelikler arasındadır.
Sonuç: Bir botun siteye erişmesi, sayfanın indekslenmesi, AI yanıtında kaynak olarak seçilmesi ve müşteriye dönüşmesi farklı aşamalardır. Doğru teşhis her aşamaya uygun kanıtı kullanır; erişim sorunu çözülmeden sıralama optimizasyonu vaadiyle ilerlemek sağlıklı değildir.
