Log Dosyası Analizi: Googlebot Sitenizi Nasıl Geziyor

Log dosyası analizi, web sunucunuzun her gelen isteği kaydettiği ham veriyi inceleyerek Googlebot'un sitenizde tam olarak ne yaptığını ortaya koyar. Hangi sayfalara girdi, hangilerini atladı, kaç kez ziyaret etti — bunların hiçbiri Google Search Console'da bu netlikte görünmez. Log dosyası analizi, teknik SEO denetiminin en güvenilir kaynağıdır.

Büyük sitelerde log dosyası analizini düzenli yapmayan ekipler, crawl bütçelerinin önemli bir kısmının gereksiz URL'lere harcandığını fark etmeden aylarca bekleyebilir.

⠀

Log Dosyası Nedir?

⠀

Web sunucunuz (Apache, Nginx veya CDN katmanı), sitenize gelen her HTTP isteğini bir dosyaya kaydeder. Bu kayıt bir log dosyası (erişim günlüğü) oluşturur. Her satır tek bir isteği temsil eder ve şu bilgileri içerir:

• IP adresi: İsteği yapan kullanıcı ya da bot

• Tarih ve saat: İsteğin gerçekleştiği an

• HTTP metodu ve URL: Hangi sayfaya, nasıl erişildi

• Durum kodu: 200 (başarılı), 301 (yönlendirme), 404 (bulunamadı), 500 (sunucu hatası)

• User agent: İsteği yapanın kimliği — Googlebot, Bingbot veya gerçek kullanıcı

⠀

Log dosyası analizinde Googlebot satırları filtrelenerek yalnızca Google'ın tarama davranışı incelenir.

⠀

Log Dosyası Analizinde Hangi Verilere Bakılır?

⠀

⠀

⠀

Tarama sıklığı (crawl frequency):

Hangi sayfalar ne sıklıkla taranıyor? Önemli sayfalar (kategori, ürün, servis) günlük taranmalı. Gereksiz URL'ler (filtre kombinasyonları, oturum parametreleri) hiç taranmamalı. Bu dengeyi kurmak log dosyası analizinin temel amacıdır.

Durum kodları dağılımı:

• 200: Googlebot sayfayı başarıyla aldı

• 301/302: Yönlendirme takip edildi — zincir uzunsa crawl bütçesi harcandı

• 404: Bot silinmiş ya da olmayan bir sayfaya gitti — backlink veya iç link hatası işareti

• 500: Sunucu hatası — Googlebot bu sayfayı bir süre taramayabilir

⠀

Taranmayan önemli sayfalar:

Log dosyası analizinin en kritik çıktısıdır. Yayına girmiş, indekslenmesini istediğiniz sayfalar Googlebot günlüklerine hiç düşmüyorsa iç linkleme veya sitemap sorunu var demektir.

Bot trafiğinin kaynağı:

Yalnızca Googlebot değil, Bingbot, AhrefsBot, SemrushBot gibi botlar da log'a düşer. Gereksiz bot trafiği sunucu kaynaklarını tüketir.

⠀

Log Dosyası Analizi Nasıl Yapılır?

⠀

1. Log dosyasını edinin:

Hosting panelinizden (cPanel, Plesk) veya sunucu komut satırından (/var/log/nginx/access.log) indirin. Cloudflare kullanıyorsanız log'ları Cloudflare Logpush ile çekmeniz gerekir.

2. Doğru araçla açın:

Ham log dosyaları yüzlerce megabayt olabilir. Üç yaygın yaklaşım:

• Screaming Frog Log Analyser: Kullanımı kolay, görsel arayüz. Googlebot filtresi, URL bazında tarama sıklığı ve durum kodu dağılımı hazır gelir.

• Semrush Log File Analyser: Semrush aboneliğine dahil, crawl verileriyle entegre raporlama.

• Excel / Python: Ham log'u CSV'ye çevirip kendiniz analiz edebilirsiniz. Büyük ölçek için Python pandas daha verimli.

⠀

3. Googlebot satırlarını filtreleyin:

User agent alanında Googlebot geçen satırları ayırın. Googlebot-Image, Googlebot-Video ve AdsBot-Google farklı botlardır; SEO odaklı analizde önce web tarayıcısına (Googlebot) odaklanın.

4. Veriyi yapılandırın:

URL bazında tarama sayısı, son tarama tarihi ve durum kodu dağılımı tabloya dökülmeli. Bu tablo hangi URL'nin ne sıklıkla tarandığını net gösterir.

⠀

Log Dosyası Analizinde Tespit Edilen Yaygın Sorunlar

⠀

⠀

⠀

Crawl bütçesi israfı:

Faceted navigation (filtre kombinasyonları), UTM parametreli URL'ler veya oturum ID içeren adresler Googlebot'un listesine giriyorsa bütçe boşa akıyor demektir. Robots.txt veya canonical tag ile bu URL'leri tarama dışında bırakın.

Önemli sayfaların taranmaması:

Yeni yayınlanan kategori sayfası hiç taranmamışsa nedenleri şunlar olabilir:

• Sitemap'te eksik

• İç linkten ulaşılamıyor (orphan page)

• Noindex veya disallow kuralı yanlışlıkla uygulanmış

⠀

404'lerin tekrar tekrar ziyaret edilmesi:

Silinmiş bir URL'yi Googlebot ısrarla ziyaret ediyorsa aktif bir backlink veya iç link bu sayfaya işaret ediyor. Log dosyası analizi bu eski linkleri gün yüzüne çıkarır; 301 yönlendirme ile çözülür.

Yönlendirme zincirleri:

A → B → C şeklinde iki kademeli yönlendirmeler log'da net görünür. Her zincir halkası crawl bütçesi ve link gücü kaybettirir. Tek adımda hedef URL'ye yönlendirme yapın.

Blakfy teknik SEO denetimlerinde log dosyası analizini standart sürecin bir parçası olarak yürütüyor; crawl bütçesi israfı ve indeksleme sorunları bu aşamada tespit ediliyor.

⠀

⠀

Sık Sorulan Sorular

⠀

Log dosyası analizi ne sıklıkla yapılmalı?

Orta büyüklükte siteler için ayda bir yeterli. 10.000'den fazla URL'ye sahip e-ticaret veya kurumsal sitelerde iki haftada bir yapılması önerilir. Büyük içerik güncellemeleri veya site taşıması sonrasında mutlaka yapın.

Google Search Console log dosyası analizinin yerini tutar mı?

Kısmen. GSC'nin Tarama İstatistikleri raporu günlük tarama sayısını gösterir ama URL bazında detay vermez. Log dosyası analizi URL düzeyinde gerçek zamanlı veri sunar; ikisi birlikte kullanıldığında çok daha eksiksiz bir tablo ortaya çıkar.

Küçük siteler için log dosyası analizi gerekli mi?

1.000'den az URL'ye sahip siteler için zorunlu değil. Ancak indeksleme sorunuyla karşılaştığınızda log dosyası analizi en hızlı tanı aracıdır. Site büyüklüğünden bağımsız olarak sorun giderme aşamasında başvurulmaya değer.