Crawl hataları: Google neden sayfalarınızı taramıyor?

Crawl hataları, Googlebot'un sitenizi taramaya çalışırken karşılaştığı engelleri ifade eder. Bu hatalar düzeltilmediğinde sayfalarınız Google dizinine girmez, dolayısıyla hiçbir organik sıralama elde edilemez. Teknik SEO'nun temel kontrol noktalarından biri olan crawl hatalarını anlamak, sağlıklı bir site yapısının ön koşuludur.

⠀

Crawl hataları nedir ve nasıl oluşur?

⠀

Googlebot, bir siteyi taramaya başladığında her URL'ye HTTP isteği gönderir. Sunucudan dönen yanıt kodu, sayfanın durumunu belirtir. 200 (Başarılı) dışındaki yanıtlar ya da erişim engelleyen yapılandırmalar crawl hatası olarak kayıt altına alınır.

Crawl hataları üç ana kategoride değerlendirilir:

Sunucu hataları (5xx): Sitenizin sunucusu isteğe yanıt veremediğinde oluşur. Hosting altyapısı sorunları, aşırı yük ya da yanlış yapılandırılmış sunucu kuralları bu gruba girer. Tek bir sayfada değil, toplu olarak görüldüğünde acil müdahale gerektirir.

Bulunamayan sayfalar (404 Not Found): Bir URL'ye istek geldiğinde sunucu o sayfanın var olmadığını bildirir. Silinen ürünler, yeniden yapılandırılan kategori sayfaları veya yazım hataları içeren iç bağlantılar bu hatayı tetikler.

Yönlendirme sorunları: Çok fazla yönlendirme zinciri (redirect chain) ya da döngüsel yönlendirme (redirect loop), Googlebot'un hedef URL'ye ulaşmasını engeller. Google 10 yönlendirmeden uzun zincirleri takip etmeyi durdurabilir.

⠀

Google Search Console'da crawl hatalarını tespit etmek

⠀

Google Search Console'un "Kapsam" (Coverage) raporu, taranmaya çalışılan tüm URL'lerin durumunu dört kategoride gösterir: Hata, Uyarı, Geçerli ve Hariç tutulan.

Crawl hataları "Hata" ve "Hariç tutulan" sekmelerinde görünür. Raporu düzenli incelemek için şu adımlar izlenmelidir:

1. Search Console'a giriş yapın, ilgili mülkü seçin.
2. Sol menüden "Dizin Oluşturma > Sayfalar" bölümüne gidin.
3. Hata türüne tıklayarak etkilenen URL listesini açın.
4. URL Denetleme aracıyla birkaç örnek URL'yi tek tek kontrol edin.

⠀

⠀

⠀

⠀

Robots.txt engeli ve noindex sorunu

⠀

Robots.txt dosyası, Googlebot'a hangi sayfaların taranmaması gerektiğini bildirir. Yanlış yapılandırılmış bir Disallow kuralı, tüm sitenin ya da kritik bölümlerin taranmasını engelleyebilir. Bu tür bir hata, Search Console'da değil; URL Denetleme aracında "robots.txt tarafından engellendi" mesajıyla görünür.

noindex meta etiketi ya da HTTP başlığı ise farklı bir sorundur. Googlebot sayfayı tarar ancak dizine eklemez. Staging ortamından production'a taşınan sayfalarda noindex etiketinin kaldırılmamış olması yaygın bir hatadır.

Canonical çakışması da crawl bütçesini tüketen bir sorundur: Bir sayfa hem canonical hem de noindex direktifi içerdiğinde Google hangi talimatı izleyeceği konusunda kararsız kalabilir.

⠀

Screaming Frog ile kapsamlı site taraması

⠀

Google Search Console yalnızca Google'ın gördüğü hataları raporlar. Screaming Frog ise sitenizin tamamını tarayarak tüm HTTP yanıt kodlarını, redirect zincirlerini, eksik meta verileri ve kırık bağlantıları listeler.

Temel Screaming Frog iş akışı:

• Site URL'sini girerek taramayı başlatın.
• "Response Codes" sekmesinden 4xx ve 5xx yanıtlı URL'leri filtreleyin.
• "Redirects" sekmesinden üçten fazla zincirli yönlendirmeleri tespit edin.
• Çıktıyı XML sitemap ile karşılaştırarak sitemap'te listelenip sıralanmayan URL'leri bulun.

⠀

⠀

⠀

⠀

Crawl bütçesi nedir ve nasıl korunur?

⠀

Crawl bütçesi, Googlebot'un belirli bir süre içinde sitenize ayırdığı tarama kapasitesidir. Büyük siteler (binlerce URL) için bu kapasite sınırlıdır; dolayısıyla değersiz URL'lerin taranması, önemli sayfaların ihmal edilmesine yol açar.

Crawl bütçesini korumanın temel yöntemleri:

• Faceted navigation (filtre kombinasyonları) URL'lerini robots.txt veya canonical ile yönetin.
• Parametre içeren URL'leri Search Console'un "Eski URL Parametreleri" aracıyla tanımlayın.
• Sayfalanmış içerikleri (pagination) doğru yapılandırın.
• Gereksiz 301 zincirlerini kısaltın; mümkünse kaynağa doğrudan yönlendirin.

⠀

⠀

Hata öncelik sırası: hangisi daha kritik?

⠀

Her crawl hatası eşit öneme sahip değildir. Önceliklendirme için şu çerçeve kullanılabilir:

Kritik: Ana sayfa veya kategori sayfalarındaki 500 hataları, site genelinde robots.txt engeli, tüm sitede noindex.

Yüksek: Yüksek trafikli sayfalardaki 404 hataları, uzun redirect zincirleri, canonical çakışmaları.

Orta: Eski veya silinmiş sayfalardaki 404 hataları (backlink yoksa düşük öncelik), parametre URL'leri.

Blakfy olarak teknik SEO denetimlerimizde crawl hatalarını önceliklendirerek çözüm yol haritası sunuyor, Search Console entegrasyonuyla düzeltmelerin etkisini ölçüyoruz.

⠀

Sık Sorulan Sorular

⠀

404 hatası olan tüm sayfalar için 301 yönlendirme oluşturmak gerekir mi?

Eski içeriğe benzer güncel bir sayfa varsa 301 yönlendirme doğru seçimdir. Ancak ilgisiz bir sayfaya yönlendirme yapmak yerine 404 bırakmak daha sağlıklıdır; Google zamanla bu URL'yi dizinden kaldırır.

Robots.txt ile engellenen sayfalar sıralama kaybeder mi?

Robots.txt yalnızca taramayı engeller, mevcut dizin girişini otomatik silmez. Ancak uzun süre taranamazsa Google sayfa içeriğini güncel tutamaz ve sıralama düşer.

Crawl hatalarını düzelttikten sonra sonuçlar ne zaman görünür?

Googlebot'un yeniden ziyareti birkaç günden birkaç haftaya kadar sürebilir. URL Denetleme aracındaki "Dizine Eklenmesini İste" butonu süreci hızlandırır.