Tarama bütçesi optimizasyonu rehberiniz

Yazar: Sezer Demir

SEO dünyasında herhangi bir süre bulunduysanız muhtemelen tarama bütçesi terimini duymuşsunuzdur. Ayrıca muhtemelen paradoksla karşılaşmışsınızdır: bazı web siteleri için başarı için kritiktir, diğerleri için ise neredeyse alakasızdır. Tarama bütçesi bir SEO uzmanına bunun için optimize etmek üzere zaman harcamanız gerekip gerekmediğini sorarsanız alabileceğiniz en dürüst cevabın duruma göre değişir olduğu birçok kavramdan biridir.

Gerçek şu ki web sitelerinin büyük çoğunluğu için tarama bütçesi endişelenmeniz gereken bir şey değildir. Ancak derin taksonomi, on binlerce URL veya sık içerik güncellemeleri olan büyük bir siteyle uğraşıyorsanız tarama bütçesi optimizasyonunu ihmal etmek sessizce sayfa indekslemenizi, görünürlüğünüzü ve trafiğinizi geri tutabilir. SEO sürekli değişiyor ancak tarama bütçesi Google'ın sitenizi ne kadar etkili bir şekilde keşfettiğine, yeniden ziyaret ettiğine ve sunduğuna karar veren temel faktörlerden biri olmaya devam ediyor.

Bu rehberde tarama bütçesinin ne olduğunu, neden bazı siteler için önemli olup diğerleri için olmadığını, bir sorununuz olup olmadığını nasıl anlayacağınızı ve en büyük etkiye sahip stratejileri ve aktiviteleri açıklayacağım.

Tarama bütçesi nedir?

Tarama bütçesi Google'ın belirli bir zaman dilimi içinde web sitenizi taramak için harcayacağı ayrılmış zaman ve istekliliğini ifade eder. Sitenizin teknik olarak sunduğu ve taranmasına izin verdiği şey ile Google'ın içeriğinizin algılanan değeri arasındaki dengedir. İki ana faktör tarama bütçesini yönlendirir:

Tarama kapasitesi

Tarama kapasitesi Google'ın sunucularınıza çok fazla yük bindirmeden kaç istek yapabileceğiyle ilgilidir. Siteniz hızlı yanıt verirse, hafif sayfalar sunarsa ve birden fazla isteği sorunsuz bir şekilde işlerse Google genellikle daha agresif tarayacaktır.

Ancak bunun başka bir yanı da vardır. Google taramak için sonsuz kapasiteye sahip değildir. Yine de tüm web genelinde taramaya öncelik vermesi gerekir, bu da sitenizin ne kadar optimize edilmiş olursa olsun alabileceği dikkat konusunda her zaman bir tavan olduğu anlamına gelir.

Tarama talebi

Bu Google'ın hangi URL'lerin dikkatine değer olduğuna ve ne sıklıkla yenilenmesi gerektiğine karar verme yöntemidir. Tarama talebini etkileyen en büyük faktörler şunlardır:

• Algılanan envanter. Varsayılan olarak Googlebot sitenizde bulabileceği her URL'yi taramaya çalışacaktır. Akıllı optimizasyonun devreye girdiği yer burasıdır: Google'ı en değerli içeriğinize yönlendirmek ve onu gereksiz içerikten uzak tutmak.

• Popülerlik. Daha fazla backlink kazanan, daha yüksek etkileşim sinyallerine sahip olan veya daha tutarlı trafik üreten sayfalar daha sık taranma eğilimindedir. Google popüler URL'lerin daha değerli olduğunu varsayar ve onları dizininde taze tutmaya çalışır.

• Tazelik. İçeriğinizi yenilerseniz Google en son sürüme sahip olduğundan emin olmak için onu daha sık yeniden ziyaret edecektir. Diğer taraftan nadiren değişen sayfalar doğal olarak daha az sıklıkla taranır.

Tarama bütçesi ne zaman önemlidir (ve ne zaman değildir)

Daha önce belirtildiği gibi gerçek şu ki çoğu sitenin tarama bütçesi sorunu yoktur ve asla olmayacaktır. Googlebot akıllıdır, verimlidir ve siteniz küçük, temiz ve basitse içeriğinizi bulmak ve değişikliklerine ayak uydurmak konusunda (çoğunlukla) yeteneklidir.

Ancak on binlerce URL, çok yönlü navigasyon ve bolca parametreli URL istiflenmeye başladığınızda her şey değişir. Tarama verimsizliğinin indeksleme hızına, organik sıralamalara ve görünürlüğe kanamaya başladığı zamandır.

Endişelenmenize gerek yok eğer:

• Yaklaşık on binden az URL'niz varsa

• Site yapınız temiz ve nispeten düz ise

• Sayfalarınız nadiren değişiyorsa

• Yeni içerik için indeksleme gecikmeleri görmüyorsanız

Önemsemeniz gerek eğer:

• Çok büyük bir site işletiyorsanız: Yayıncı, büyük bir e-ticaret sitesi veya mağazaysanız tarama bütçesi önemlidir. Yüz binlerce sayfadan hatta milyonlarca sayfadan bahsediyorsanız küçük verimsizlikler hızla bileşir. Anında indekslenmesi gereken haber makaleleri kritik görünürlük pencerelerini kaçırır. Mevsimsel ürün lansmanları gecikir. Kalıcı içerik tazelenmeleri rakiplerin gerisinde kalır.

• Çok yönlü navigasyonunuz, filtreleriniz, parametreleriniz veya dinamik URL'leriniz varsa. E-ticaret, pazaryerleri, seyahat sitelerini düşünün. Her filtre kombinasyonu, sıralama düzeni ve görünüm modu başka bir URL oluşturur.

• Yeni içeriğin indekslenmesi çok uzun sürüyorsa. Kimse anında indeksleme beklemez ancak taze içerik yayınlıyorsanız ve Google'da görünmesi haftalar alıyorsa Googlebot'un yeni URL'lerin keşfine öncelik vermediği ihtimali yüksektir.

• Google Search Console'un Crawl Stats bölümünden yapılan nokta kontrolünden karışık görünüyorsa. Tarama isteklerinde büyük artışlar, yüksek sayıda 4XX ve/veya 5XX hataları ve HTML 200 durum kodu sayfaları dışında her şeyin hakim olduğu keşifler görüyorsunuz. URL yollarının ve slug örneklerinin çoğunu tanımıyorsunuz.

Kendinizi ikinci grupta bulduysanız ve bir sorununuz olabileceğini düşünüyorsanız panik yapmayın. Tarama bütçesi çoğu zaman neler olup bittiğini öğrendiğinizde düzeltilmesi kolay bir SEO sorunudur. Google Search Console, log dosyaları ve akıllı mimari ince ayarlar arasında kontrolü geri alabilir ve Googlebot'un zamanını gerçekten önemli olan yerlerde harcadığından emin olabilirsiniz.

Tarama bütçesi sorunları nasıl teşhis edilir

Gerçekten tarama bütçesi sorunlarınız veya tarama verimsizlikleriniz olup olmadığını öğrenmek için işe yarayacak iki temel araç vardır:

1. Google Search Console'un Crawl Stats raporu. Bu kalıpları tespit etmek ve büyük resim trendleri için harikadır.

   
   

2. Sunucu log dosyası analizi. Bu tam olarak neyin tarandığının gerçek doğruluk kaynağıdır.

Adım 1: GSC'nin crawl stats raporuyla başlayın

Nerede bulunur: Google Search Console'da Ayarlar > Crawl Stats'a gidin.

Bu rapor tarama trendlerini tespit etmenize, verimsizlikleri belirlemenize ve Googlebot'un önceliklerinin sizinkilerle uyumlu olup olmadığını anlamanıza yardımcı olur.

En üstte toplam tarama isteklerini, toplam indirme boyutunu ve ortalama yanıt süresini gösteren çizgi grafiklerle bir kutu göreceksiniz.

Neye dikkat etmeli:

• Ani artışlar: Google muhtemelen yinelenen veya düşük değerli sayfaları aşırı tarıyor.

• Düşüşler: Google ilgisini kaybediyor veya tarama hızınızı kısıyor olabilir.

Ana makine durumu

Googlebot üç metrikten herhangi biri için kabul edilebilir başarısızlık oranını aşıyorsa (robots.txt getirme, DNS çözümlemesi ve sunucu bağlantısı) tarama kapasiteniz tehlikeye giriyor. Bu Google'ın sayfalarınızı daha az tarayacağı anlamına gelir.

Tarama istekleri dağılımı

• Yanıta göre: Tamam (200) değerinin baskın olduğundan emin olun. Bazı yönlendirmeler (3XX seviyesi) ile küçük sayıda 4XX istemci hatası ve 5XX sunucu hatası tamamen normal ve beklenir ancak asla tablonun başında olmamalıdır.

• Dosya türüne göre: HTML en çok taranan dosya türü olmalıdır. CSS, JS veya JSON dosyaları hakim oluyorsa temel içeriğiniz tarama dikkati için rekabet ediyor demektir.

• Googlebot türüne göre: Çoğu sitede Googlebot Smartphone öncülük etmelidir. Masaüstü veya diğer bot türleri hakimse mobil kurulumunuzu bir kez daha kontrol etmek için bir çağrıdır.

Tarama amacı

Keşif ile tazelemeye bakın. Çok sayıda tazeleme tarama isteği görmek normaldir, bu konuda endişelenmeyin. Ancak çok sayıda yeni içerik yayınlıyorsanız veya yeni veya değiştirilmiş URL'leri içeren bir geçiş gerçekleştirdiyseniz ve yine de keşif bu güncellemeleri göstermiyorsa bir tarama bütçesi sorununuz olabilir.

Bilmeniz gereken GSC sınırlamaları

Bu raporu müjde olarak değerlendirmeden önce aşağıdaki sınırlamaları aklınızda tutmanız önemlidir:

• Örneklenmiş veri: Gösterilen bireysel URL'ler sadece örnektir, tam resim değildir

• Sınırlı geçmiş: Sadece üç aylık bir pencereyi kapsar

• Grafikler vs örnekler: Grafiklerdeki toplamlar doğrudur ancak örneklerin tüm aktiviteyi temsil ettiğini varsaymayın

Kalıpları tespit etmek için GSC'yi kullanın, temel nedenleri teşhis etmek için değil. Bunun için sunucu loglarınıza ihtiyacınız var.

Adım 2: Log dosyalarını analiz edin

GSC size trendleri verir. Loglar size gerçekleri verir. Sunucu log dosyalarınız her tarama olayını gösterir: Google hangi URL'lere ulaşıyor, ne zaman, ne sıklıkla ve hangi durum kodlarıyla karşılaşıyor. Tarama bütçesini ölçekte anlamak istiyorsanız cevaplar burada yaşıyor.

Loglarınızı nasıl analiz edersiniz

Aşağıdaki yöntemlerden hangisini kullanırsanız kullanın web sitenizden sunucu logları elde etmeniz gerekecektir. Bazı platformlarda, içerik yönetim sistemlerinde ve/veya eklentilerde bunları oldukça kolay bulabileceksiniz. Bulamazsanız web sitesi loglarını dışa aktarması için geliştiriciye veya web yöneticinize sorun. Apache veya NGINX iyidir.

Wix kullanıyorsanız kontrol panelinizi açın, Analytics > Tüm Raporlar'a gidin ve SEO Raporları altında Bot ziyareti / trafik raporlarını bulun. Orada son iki yıla kadar log verilerinizi (yapay zeka tarayıcıları dahil) analiz edebileceksiniz.

Seçenek A: Bir araç kullanın

Bunu kolaylaştırmak için Screaming Frog Log File Analyzer gibi log dosyası analiz araçları mevcuttur. Log dosyalarınızı yüklemeniz yeterlidir ve aracın önceden oluşturulmuş görünümlerde verilerinizi göstererek işi yapmasına izin verin.

Seçenek B: Kendin yap

CSV'nizi analiz için bir büyük dil modeline yüklemeniz veya verileri kendiniz Excel'de çizmeniz yeterlidir. Tutarlılık için sütunlarınızı biçimlendirmeniz, çeşitli botlar / kullanıcı aracıları için filtreleme yapmanız ve bunların resmi botlar olduğundan ve sahte olmadıklarından emin olmak için IP'leri doğrulamanız (aşağıdaki talimatlar) gerekecektir. Verileriniz biçimlendirilip düzenlendikten sonra kalıpları çizgi grafikler, pivot tablolar vb. ile analiz edebilirsiniz.

Analizinizde neye odaklanmalısınız

İlk olarak kullanıcı aracısı aracılığıyla her zaman Googlebot'u onaylayın. Google'ın onaylanmış tarayıcıları burada bulunabilir ve IP adresleri burada bulunabilir. Bu süreci basitleştirmek için IP adresinin yüzde altmış altı nokta iki yüz kırk dokuz yüzdesini içerdiğinden emin olun, çünkü bu Google'ın kullandığı baskın IP adresidir. Bunu diğer tüm yaygın web tarayıcıları için benzer bir şekilde yapabilirsiniz.

1. Tarama sıklığı: Yüksek değerli URL'leriniz sık mı tarıyor yoksa göz ardı mı ediliyor?

   
   

2. Boşa harcanan istekler: Arama sayfaları, sonsuz filtreler veya çok yönlü URL'ler tarama bütçesini ele mi geçiriyor?

   
   

3. Kaçırılan değerli sayfalar: Ürünler, açılış sayfaları veya içerik merkezleri tamamen mi atlanıyor?

   
   

4. 5XX hataları: Sunucu hataları tarama verimliliğini öldürür

   
   

5. Site bölümü analizi: Googlebot'un zaman harcadığı kalıpları görmek için URL / alt klasöre göre segmentleyin

   
   

6. Yeni içerik taraması: Yeni içeriğin ne kadar hızlı tarandığını kontrol edin.

   1. Profesyonel ipucu: İlk ziyaret zamanına karşı indeksleme zamanını ölçmek için log verilerini organik trafikle eşleştirin

      
      

7. Durum kodu istikrarı: 3XX, 4XX veya 5XX'teki artışlar genellikle yapısal veya altyapı sorunlarına işaret eder

Analizinizi segmentlere ayırma

Tarama verimsizliklerini ortaya çıkarmak için GSC ve loglardan içgörüleri birleştirerek sorunları arayın.

• Aşırı taranmış: Arama sayfaları, filtreler, sayfalandırılmış veya parametreli sayfalar tarama isteklerine hakim mi?

• Az taranmış: Temel site bölümleri veya para sayfaları daha az önemli bölümlerden daha az mı ziyaret ediliyor?

• Uyumsuz öncelikler: Googlebot gerçek HTML içeriğinden daha fazla resim, CSS, JS veya API uç noktaları mı getiriyor?

Googlebot'un sizin için mi yoksa size karşı mı çalıştığını buradan öğrenirsiniz. Düşük keşif, boşa harcanan istekler, atlanan önemli bölümler veya kalıcı hatalar görüyorsanız muhtemelen bir tarama bütçesi sorununuz vardır.

Sitenizin tarama bütçesi nasıl optimize edilir

Tarama bütçenizi optimize etmek bir stratejidir, bir hilebaz değildir. Manipüle ettiğiniz bir şey değil, yönettiğiniz bir şeydir. Googlebot'un sınırları vardır. İyi haber şu ki tarama verimliliğini artırmak ve Google'ın en önemli yerlere odaklanmasını sağlamak için atabileceğiniz bir dizi eylem vardır.

Bu optimizasyonlar yüksek seviyede üç temel gruba ayrılabilir:

1. Google'ın neyi taradığını kontrol etme: Hangi URL'lerin taradığını ve taramadığını manuel olarak kontrol etme.

   
   

2. Google'ı doğru sayfalara yönlendirme: Google'ın en önemli içeriğinizi daha hızlı bulmasına yardımcı olma

   
   

3. Her tarama isteğini sayılır hale getirme: Googlebot'un verdiği her taramadan daha fazlasını sıkma

01. Google'ın neyi taradığını kontrol etme

İlk ve muhtemelen en önemli adım Google'ın taraması gerekmeyen URL'lerde zamanını boşa harcamadığından emin olmak ve Google'ın taraması gereken tüm URL'lere erişebildiğinden emin olmaktır.

Robots.txt'nizi optimize edin

Robots.txt dosyanız botların hangi URL'leri tarayabileceğini kontrol etmenizi sağlar. Taranması gerekmeyen URL'leri engellemek için kullanın.

• Çok yönlü / Parametreli / Sıralama URL'leri

Bu sayfalar özellikle e-ticaret web sitelerinde, pazaryerlerinde ve bilgi kütüphanelerinde yaygındır. Örnek: https://www.example.com/shoes

Bu sayfadaki potansiyel filtrelemeye dayanarak Googlebot'un taramasına gerek olmayan düzinelerce URL varyasyonu oluşturabilir.

Örnek: https://www.example.com/shoes?color=blue&size=9&sort=price

Aşağıdakileri engellemek isteriz:

Disallow: /*color=

Disallow: /*size=

Disallow: /*sort=

• Dahili arama sonuç sayfaları

SEO stratejinize bağlı olarak dahili arama sonuç sayfaları genellikle benzersiz bir değere sahip değildir ve bunlardan sonsuz sayıda URL oluşturulabilir (yani bir kullanıcı sonsuz arama yapabilir).

• Hazırlama, geliştirme ve demo ortamları

• Oturum kimlikleri, izleme ve ortak parametreleri

• Kullanıcıya özel veya herkese açık olmayan içerik

• Otomatik oluşturulan / kullanıcı tarafından oluşturulan içerik sayfaları

• Pazarlama kampanyaları için yinelenen sayfalar

• API uç noktaları, JSON ve diğer HTML olmayan yanıtlar

Dikkat: Robots.txt dosyasında kaynakları engellerken dikkatli olun. İçerik yüklemek için gereken API uç noktaları gibi temel dosyaları engellemek Google'ın sayfalarınızı doğru şekilde oluşturmasını engelleyebilir. Sayfa oluşturma için gereken hiçbir şeyi engellemediğinizden emin olmak için değişiklikleri her zaman test edin.

Sitenizi hızlandırın

Sayfalarınız yanıt vermekte yavaşsa Googlebot daha az sıklıkla tarayacak, daha az sayfa tarayacak ve kaynaklarını harcamak için sitenizi daha hızlı alternatiflerin lehine öncelikten düşürecektir. Bu spekülasyon değildir. Google bunu tarama belgelerinde açıkça onaylamıştır:

"Site bir süre hızlı yanıt verirse sınır yükselir, bu daha fazla bağlantının tarama için kullanılabileceği anlamına gelir. Site yavaşlarsa veya sunucu hatalarıyla yanıt verirse sınır düşer ve Googlebot daha az tarar."

Bu eylemin bu kategoride bulunmasının nedeni budur. Site hızının tarama oranları üzerinde doğrudan etkisi vardır ve daha hızlı bir site Google'ın ne kadar taradığı üzerinde daha fazla kontrol sağlar.

Wix kullanıyorsanız platform performans için oluşturulmuştur. Wix küresel olarak dağıtılmış bir CDN aracılığıyla içerik sunar, görüntüleri otomatik olarak sıkıştırır ve yeni nesil formatlara dönüştürür, medyayı lazy load eder, kritik kaynakları önceden getirir ve JavaScript yürütmesini sürekli optimize eder. Sitenizin en iyi performansta kalmasını sağlamak için en iyi uygulamaları takip etmeyi unutmayın.

Tarama bütçesi sadece Google'ın kaç URL taramak istediğiyle ilgili değildir, aynı zamanda sitenizin istekleri nasıl işleyebileceğiyle de ilgilidir. Siteniz sürekli olarak hızlı yanıt süreleri döndürürse Googlebot etkili olduğunu gördüğü için tarama hızı sınırınızı artırır. Siteniz zorlanıyorsa, sunucularınızı aşırı yüklüyorsa veya hata artışlarıyla sonuçlanıyorsa Googlebot sitenizi çökertmekten kaçınmak için taramayı yavaşlatır. Site hızınızı iyileştirmek için bazı temel taktikler:

• Sunucu yanıt sürelerini azaltma • Hosting'inizi yükseltme • CDN kullanma • Etkili bir önbelleğe alma kurulumunuz olduğundan emin olma

• Varlıkları optimize etme • CSS ve JS'yi sıkıştırma ve küçültme • Görüntüleri webp veya avif gibi modern formatlarda sunma • Kritik olmayan tüm medyayı lazy loading yapma

Linklerin taranabilir olduğundan emin olun

Googlebot sayfaları keşfetmek için linkleri takip eder ancak yalnızca onları görebiliyorsa. Linkleriniz Javascript'in arkasında gizliyse veya etkileşimden sonra lazy load ediliyorsa Google onları asla bulamayabilir. Google bu sayfalara hiçbir bütçe harcamıyor. Google yolu bulamazsa hedefi taramaz.

• İlk sayfa yüklemesinde HTML'de olduklarından emin olmak için her zaman sunucu tarafında oluşturulan temiz <a> etiketleri kullanın.

• Navigasyon veya kritik içeriği lazy loading yapmaktan kaçının • Kötü: sadece tıklandığında JS aracılığıyla ürünler enjekte eden bir daha fazla yükle düğmesi • İyi: Tarayıcılara görünür olan sayfalandırılmış URL'ler

Kaynakları bir CDN veya alt etki alanına boşaltın

Resimler, videolar, pdf'ler ve JS paketleri gibi kaynakları ayrı bir ana bilgisayar adında veya CDN'de barındırmak ana HTML sayfalarınız için tarama bütçesini korur. Google, tarama bütçesinin tüm bir etki alanı veya marka genelinde değil ana bilgisayar düzeyinde yönetildiğini açıkça onaylamıştır. Statik dosyaları (resimler, scriptler, CSS) ayrı bir ana bilgisayar adından sunarak, ister bir CDN ister kendi alt etki alanınız olsun, tarama taleplerini etkili bir şekilde ayırırsınız. Bu birincil içeriğiniz için tarama tahsisi üzerindeki gereksiz yükü önler.

• Örnek: Google nadiren değişen ağır video dosyalarını sürekli tarıyor. Bu değişikliğin sonucu Googlebot'un ağır kaynakları atlayıp zamanını yüksek değerli sayfalarda harcayabilmesidir. • Önce: https://www.example.com/assets/hero-video.mp4 • Sonra: https://cdn.example.com/hero-video.mp4

• 
  

02. Google'ı doğru sayfalara yönlendirme

Googlebot'un neyi boşa harcadığını doğrudan sınırladıktan ve tüm önemli sayfalara erişilebildiğinden emin olduktan sonra bir sonraki eylem seti Googlebot'un en iyi içeriğinizi bulmasına ve öncelik vermesine yardımcı olmak olmalıdır.

XML sitemap'inizi yalın ve odaklı tutun

XML sitemap'inizi Google'ın sitenizin sayfalarını ve genel yapısını anlamak için en iyi arkadaşı olarak düşünün. Yalnızca indekslenmesini istediğiniz sayfaları içermeli ve diğer her şeyi hariç tutmalıdır.

En iyi uygulamalar:

• Yalnızca kanonik, indekslenebilir, yüksek değerli sayfaları dahil edin

• Süresi dolmuş ürünleri, eski teklifleri ve düşük öncelikli URL'leri kaldırın

• Güncel tutulduğundan emin olun

Güçlü dahili bağlantı yapısı oluşturun

Yüzey düzeyinde dahili bağlantı kullanıcıları ilgili sayfalara yönlendirmenin basit bir yolu gibi görünebilir ancak çok daha büyük bir rol oynar. Google'ın içeriğinizi keşfetmesinin, öncelik vermesinin ve yeniden ziyaret etmesinin en güçlü yollarından biridir.

Güçlü dahili linkler olmadan sayfalar yetim kalma ve göz ardı edilme riskiyle karşı karşıyadır çünkü Googlebot onları bulmak için linklere güvenir. Güçlü bir dahili bağlantı yapısı derin strateji gerektirir ancak aşağıdakiler başlangıç noktalarıdır:

• Yüksek otoriteli bölümlerden link verin. Ana sayfanızdan, kategori sayfalarından veya en iyi performans gösteren blog yazılarından öncelikli URL'lere / site bölümlerine linkler ekleyin

• Tüm değerli sayfaların ana sayfadan iki üç tıklama içinde olduğundan emin olun. Kullanıcı breadcrumb'ları, ilgili ürünler ve içerik merkezleri kullanın

03. Her tarama isteğini sayılır hale getirme

Kontroller ve rehberlik yerinde olsa bile Googlebot barikatlarla karşılaşmaya devam ederse verimliliği hala zirvede olmayacaktır. Bu optimizasyonlar her isteğin hedefinize doğru çalışmasını sağlamaya yardımcı olur.

Düşük değerli içeriği temizleyin

İnce içerik, yer tutucular, düşük çaba kopyası veya hatta boş sayfalarla (yumuşak 404'ler)

dolu sayfalarınız varsa bu birden fazla nedenle sorunludur:

• Google bunlara kullanıcılara gerçek değer sağlayan daha yüksek kaliteli sayfalar yerine zaman harcıyor.

• Yüksek değerli sayfalar daha sık yeniden ziyaret edilir.

• Sitenizin itibarı iyileşir. (Ağırlıklı olarak) güçlü, değerli sayfalardan oluşan bir site Google'a kalite sinyali verir, bu da onu taramak için daha fazla kaynak harcaması konusunda ikna etmeye yardımcı olabilir. Tersine çoğunlukla kullanıcı değeri olmayan vasat sayfalar içeren bir site Google'a kalite sinyali vermez.

Burada iki eylem yolu vardır: teknik ve içerikle ilgili:

1. Çoğaltmayı kaldırma, robots.txt'de engelleme, yumuşak 404'leri düzeltme vb. yoluyla neyin temizlenebileceğine dair teknik bir denetim yapın.

   
   

2. Sayfa gerçekten gerekiyorsa ve kullanıcılar için daha değerli olma potansiyeline sahipse sayfanın içeriğini artırmak için çalışarak onu Google'ın sayfayı daha değerli olarak değerlendireceği bir seviyeye yükseltin.

En önemli şey web sitenizdeki her sayfanın net bir amacı olduğundan emin olmaktır.

Yönlendirme problemlerini düzeltin

Yönlendirmelerle ilgili doğal bir sorun olmasa da Googlebot için pahalı hale gelebilirler. Her atlama başka bir tarama isteği kullanır. Googlebot beş yönlendirme atlamasına kadar takip edecektir. Ancak yapabiliyor olması yapmanız gerektiği anlamına gelmez. Yüksek etkili bir sayfadaki tek bir 301 yönlendirmesi bile bazı sürtünmeler ekleyebilir ve gereksiz israf yaratabilir.

• Sitenizdeki her türlü yönlendirme için bir yönlendirme denetimi yapın (301'ler, 302'ler vb.)

• 301'in üstüne 301'i istiflemek yerine (yönlendirme zincirlerini ortadan kaldırarak) doğrudan nihai hedefe işaret etmesi için tüm dahili linkleri güncelleyin

Çıkmaz sokakları kaldırın

Çıkmaz sokaklar sessiz tarama katilleridir. Googlebot 4XX istemci hataları ve 5XX istemci hatalarıyla karşılaştığında yalnızca çeşitli durumlarda bütçenize sayılmakla kalmaz (aşağıdaki tabloya bakın) aynı zamanda Google'ın tarama yolculuğuna devam etmesi için kaybedilmiş bir fırsattır.

404'ler

• Dahili linklerinizi denetlediğinizden ve 404'lere işaret edenleri güncellediğinizden veya kaldırdığınızdan emin olun.

• Sayfa gittiyse ancak backlink'leri varsa en yakın alakalı sayfaya bir 301 yönlendirmesi ayarlayın

• Sayfa kasıtlı olarak kalıcı olarak silindiyse bunun yerine 410 Gone durumu ayarlayın. Bu Google'a onu daha hızlı bırakması için sinyal verir

5XX hataları

Bunlar 404 hatalarından bile daha tehlikelidir. Googlebot aşırı yüklenmiş sunuculardan, önbelleğe alma sorunlarından veya hatalı API'lerden kaynaklanan 5XX sunucu hatalarıyla tekrar tekrar karşılaşırsa taramayı kısıtlar. Buna karşılık bu daha az URL keşfedildi ve arama sonuçlarında daha yavaş indeksleme / güncelleme anlamına gelir.

• Yinelenen 5xx kalıplarını tespit etmek için sunucu loglarını ve/veya Google'ın Crawl Stats raporunu kullanın

• Bu sorunların temel nedenlerini belirlemek ve çözmek için geliştirme ekibinizle çalışın

• Artışları yakalamak için izleme kurun

Tarama Bütçesi ve HTTP Durum Kodları

Durum Kodu	Tarama Bütçesi Etkisi
1xx (Bilgilendirici)	Tarama bütçesini etkilemez
2xx (Başarılı)	Tarama bütçesini tüketir
3xx (Yönlendirme)	Tarama bütçesini tüketir
4xx (İstemci Hatası - 429 hariç)	Tarama bütçesini etkilemez
5xx (Sunucu Hatası)	Tarama bütçesini tüketir

Kaynak: Search Central Live Deep Dive Asia Pacific 2025

Googlebot çok fazla tarıyorsa ne yapmalı

Spektrumun diğer tarafında Googlebot'un sitenizi çok fazla taradığı durumlar olabilir. Bu agresif tarama davranışı sunucularınız tarama isteği miktarını kaldıramadığında ve site yavaşlamasına, daha yüksek hata oranına ve hatta kesinti süresine neden olduğunda sorunlu hale gelir.

İyi haber şu ki tespit etmek ve düzeltmek oldukça kolay. Log dosyalarınızda ve Google tarama istatistiklerinde tarama isteklerinde artışlar göreceksiniz. Bu artışları yönetmek için bir veya iki gün boyunca Googlebot'a 503 veya 429 hataları sunun. Bu uzun vadeli tarama kalıplarını ve sayfa indekslemeyi etkilemeden Googlebot'a geri çekilmesi için sinyal verir.

Son düşünceler: bütçenizi akıllıca yönetin

Tarama bütçesi Google'ı sitenizi daha fazla taramaya zorlamakla ilgili değildir. Google'ın sitenize ayırmaya istekli olduğu bütçeden en iyi şekilde yararlanmak ve onu bu tahsisatı sonuna kadar kullanmaya teşvik etmekle ilgilidir. Siteniz ne kadar hızlı, sağlıklı ve iyi yapılandırılmışsa Googlebot'un daha az zamanda daha fazla sayfa taraması o kadar kolaydır.

Bununla birlikte başlangıçtan itibaren belirtildiği gibi bu her site sahibinin takıntı haline getirmesi gereken bir şey değildir. Siteniz bir düzineden az bin sayfa içeriyorsa Google genellikle bunları sorunsuz bir şekilde işleyebilir. Ancak büyük, karmaşık veya sık güncellenen siteler için boşa harcanan tarama istekleri kaçırılmış fırsatlar anlamına gelir.

Google'ın neyi gördüğünü kontrol etme, onu doğru sayfalara yönlendirme ve her isteği sayılır hale getirme yaklaşımıyla gerçekten mevcut olanı maksimize ediyor ve Google'a sitenizin potansiyelinden tam olarak yararlanması için her neden sunuyorsunuz.