Robots.txt Nedir? Nasıl Yapılandırılır?
- Sezer DEMİR
- 12 saat önce
- 3 dakikada okunur
Arama motoru botlarının sitenizi nasıl tarayacağını kontrol etmenin ilk adımı robots.txt dosyasıdır. Robots txt nedir nasıl yapılandırılır sorusuna kapsamlı yanıt vereceğimiz bu rehberde, doğru konfigürasyon yöntemlerini ve sık yapılan hataları ele alıyoruz.
⠀
Robots.txt Nedir?
⠀
Robots.txt, web sitenizin kök dizininde bulunan düz metin dosyasıdır. Arama motoru botlarına (crawler) hangi sayfaları tarayıp hangilerini taramayacaklarını söyler. Robot Exclusion Protocol (REP) standardına dayanır.
Bu dosya, siteniz.com/robots.txt adresinde yer alır ve tüm arama motoru botları siteyi taramadan önce bu dosyayı kontrol eder. Ancak robots.txt bir "öneri" niteliğindedir; kötü niyetli botlar bu talimatları göz ardı edebilir.
⠀
Robots Txt Nedir Nasıl Çalışır?
⠀
⠀
⠀
Robots.txt dosyası üç temel yönerge kullanır:
User-agent: Hangi bota hitap edildiğini belirtir. * tüm botları kapsar.
Disallow: Belirtilen yolun taranmasını engeller.
Allow: Disallow kuralının bir alt kısmını serbest bırakır.
Sitemap: XML sitemap dosyasının konumunu bildirir.
⠀
Temel bir robots.txt örneği:
User-agent: * Allow: / Disallow: /admin/ Disallow: /sepet/ Sitemap: https://siteniz.com/sitemap.xml
⠀
Bu yapılandırma tüm botlara sitenin genelini taramaya izin verir ancak /admin/ ve /sepet/ dizinlerini engeller.
⠀
Robots.txt Nasıl Oluşturulur?
⠀
Robots.txt oluşturmak için şu adımları izleyin:
Notepad veya herhangi bir metin editörü açın: Dosya düz metin formatında olmalıdır.
Kuralları yazın: User-agent, Allow, Disallow ve Sitemap yönergelerini ekleyin.
Dosyayı "robots.txt" olarak kaydedin: Dosya adı küçük harfle yazılmalıdır.
Sitenizin kök dizinine yükleyin: FTP veya dosya yöneticisi ile yükleyin.
Test edin: Google Search Console'daki robots.txt test aracını kullanın.
⠀
WordPress siteleri genellikle sanal robots.txt dosyası oluşturur. Yoast SEO veya Rank Math eklentileri üzerinden düzenleyebilirsiniz.
⠀
Yaygın Robots.txt Kullanım Senaryoları
⠀
Tüm Taramayı Engelleme
⠀
User-agent: * Disallow: /
⠀
Bu kural, tüm botların tüm sayfaları taramasını engeller. Geliştirme aşamasındaki siteler için kullanılır. Canlı sitelerde asla kullanmayın.
Belirli Dizinleri Engelleme
⠀
User-agent: * Disallow: /wp-admin/ Disallow: /sepet/ Disallow: /arama/
⠀
Yönetim paneli, alışveriş sepeti ve site içi arama sonuçları gibi dizinlerin taranmasını engellemek yaygın bir uygulamadır.
Belirli Botu Engelleme
⠀
User-agent: AhrefsBot Disallow: /
⠀
Belirli bir botun sitenizi taramasını engelleyebilirsiniz. Ancak Google botunu (Googlebot) engellemek sıralama kaybına yol açar.
⠀
Robots.txt ve SEO İlişkisi
⠀
Robots.txt, crawl bütçesinin verimli kullanılmasında kritik rol oynar:
Değersiz sayfaların (filtreleme sonuçları, etiket sayfaları, dahili arama) taranmasını engelleyerek crawl bütçesini korur.
Önemli sayfaların daha sık taranmasını sağlar.
Duplicate content sorunlarını azaltır.
⠀
Ancak robots.txt ile engellenen sayfalar dizinden çıkarılmaz. Bir sayfanın dizinlenmemesini istiyorsanız noindex meta etiketi kullanmalısınız.
⠀
Sık Yapılan Robots.txt Hataları
⠀
Yanlışlıkla tüm siteyi engellemek: Disallow: / kuralı tüm botları engeller. Bu genellikle geliştirme aşamasından kalan bir hatadır.
CSS ve JavaScript'i engellemek: Google, sayfayı render etmek için CSS ve JS dosyalarına erişmelidir. Bunları engellemek dizinleme sorunlarına yol açar.
Sitemap eklememek: Robots.txt'e sitemap URL'sini eklemek iyi bir uygulamadır.
Noindex yerine Disallow kullanmak: Robots.txt ile engellenen sayfalar hala dizinde kalabilir. Dizinden çıkarmak için noindex kullanın.
⠀
Blakfy olarak teknik SEO hizmeti kapsamında robots.txt yapılandırması ve dizin sorunlarının çözümü konusunda destek sağlıyoruz.
⠀
Sık Sorulan Sorular
⠀
Robots.txt olmadan site çalışır mı?
⠀
Evet. Robots.txt dosyası zorunlu değildir. Dosya yoksa arama motorları tüm sayfaları tarayabilir. Ancak tarama kontrolü için bu dosyanın bulunması önerilir.
Robots.txt dosyası güvenlik sağlar mı?
⠀
Hayır. Robots.txt bir güvenlik mekanizması değildir. Hassas sayfaları korumak için kimlik doğrulama, IP kısıtlama veya firewall gibi güvenlik önlemleri kullanılmalıdır.
Robots.txt değişiklikleri ne zaman etkili olur?
⠀
Google, robots.txt dosyasını düzenli olarak (genellikle birkaç gün aralıklarla) kontrol eder. Değişikliklerin etkili olması için birkaç gün beklemeniz gerekebilir.
Her alt alan adı için ayrı robots.txt gerekir mi?
⠀
Evet. Her alt alan adı (subdomain) ayrı bir robots.txt dosyasına sahip olmalıdır. blog.siteniz.com ve www.siteniz.com farklı robots.txt dosyaları kullanır.
