llms.txt Nedir? Yapay Zekâ Çağında Yeni robots.txt Dosyası mı Geliyor?

Son bir yıldır SEO topluluklarında ve yapay zekâ geliştiricileri arasında yeni bir dosya konuşuluyor: llms.txt.Adından dolayı “robots.txt’in AI versiyonu” gibi algılansa da aslında farklı bir rolü var.Peki llms.txt nedir, nasıl çalışır ve neden bu kadar gündeme geldi?

llms.txt’in Ortaya Çıkışı

3 Eylül 2024’te, fast.ai ve Answer.AI’den Jeremy Howard, llms.txt için resmi bir öneri yayınladı.Temel sorun şuydu:

• Büyük dil modelleri (LLM’ler), web sitelerindeki bilgileri kapsamlı şekilde okuyamıyor.

• Context window sınırlı, yani tüm HTML sayfasını reklamlardan menülere kadar yükleyemiyorlar.

• HTML → LLM için fazla “gürültülü”.

Çözüm: Web siteleri kök dizinlerine llms.txt dosyası ekleyerek, sitenin önemli kısımlarını Markdown formatında ve LLM dostu şekilde sunabilir.

Bu dosya, bir yandan insanlar tarafından okunabilir, diğer yandan LLM’ler tarafından regex ya da parser ile işlenebilir.

Robots.txt ve llms.txt Arasındaki Fark

Burada sıkça sorulan soru şu: llms.txt = yeni robots.txt mi?

• robots.txt:

  • Arama motoru botlarına (Googlebot, Bingbot, YandexBot) hangi sayfaları tarayıp taramayacaklarını söyler.

  • Kesin kurallar içerir.

  • Tarayıcı botlar buna %100 uyar.

• llms.txt:

  • LLM’lere (ChatGPT, Claude vb.) sitenin önemli içeriklerini gösterir.

  • “Ne yasak” değil, “ne önemli ve nerede” bilgisini verir.

  • AI deterministik değil → bu rehberi dikkate alabilir ya da göz ardı edebilir.

👉 Yani llms.txt, robots.txt gibi erişim polisi değil, içerik rehberi.

llms.txt Dosyasının Formatı

Standart öneriye göre bir llms.txt dosyası şu yapıyı izliyor:

# Proje Adı

> Projenin kısa özeti, amaç ve kapsam.

İsteğe bağlı detaylı açıklama eklenebilir.

## Docs
- [API Belgeleri](https://site.com/docs/api.md): Tüm API referansı
- [Kılavuzlar](https://site.com/docs/tutorials.md): Başlangıç rehberi

## Examples
- [Todo Uygulaması](https://github.com/example/todo.md): Basit CRUD örneği

## Optional
- [Araştırma makaleleri](https://site.com/research.md)

• # Başlık → Proje veya site adı

• > Blockquote → kısa özet

• ## Docs, Examples → Markdown dosyaları listesi

• ## Optional → LLM’in gerekirse atlayabileceği bilgiler

Ek olarak bazı siteler llms-full.txt dosyası da sunuyor. Bu versiyon, opsiyonel linkler dahil olmak üzere daha kapsamlı içerik barındırıyor.

llms.txt’i Kimler Kullanıyor?

• Anthropic (Claude) → 2024 sonbaharında llms.txt desteği ekledi.

• Mintlify → Kasım 2024’te tüm dökümantasyon sitelerine llms.txt ve llms-full.txt entegrasyonu yaptı.

• Answer.AI ve fast.ai projeleri → nbdev tabanlı dokümantasyonlarını otomatik Markdown versiyonlarıyla güncelledi.

• Moondream → belgelerinde llms.txt dosyasını benimseyenlerden.

• WordPress dünyası → “Website llms.txt” gibi eklentilerle artık Yoast SEO ve Rank Math üzerinden dosya oluşturmak mümkün.

Ama önemli not: 2025’in başında yapılan bir araştırmaya göre, ilk 1 milyon web sitesi arasında llms.txt kullananların oranı %0,01’in altında. Yani henüz erken aşamada.

SEO ve GEO (Generative Engine Optimization)

SEO uzmanları llms.txt’i, yeni dönemin GEO stratejisinin bir parçası olarak görüyor.

• Klasik SEO: Google ve Bing’in index’ine girmek.

• GEO: ChatGPT, Claude gibi yapay zekâların verdiği cevaplarda sitenizin doğru ve öne çıkan kaynak olması.

llms.txt burada kritik olabilir çünkü LLM’lere doğrudan:

• “Bu sitedeki en önemli belgeler şunlar”

• “Temiz Markdown versiyonlarını burada bulabilirsin”mesajını veriyor.

Teknik Araçlar ve Uygulamalar

• llms_txt2ctx → Komut satırı aracı, llms.txt dosyasını genişletip LLM’ler için bağlam dosyaları (ctx, ctx-full) üretiyor.

• Eklentiler:

  • VitePress plugin

  • Docusaurus plugin

  • Drupal llms module

  • WordPress llms.txt generator

• Dizinler:

  • llmstxt.site

  • directory.llmstxt.cloud

Bu araçlar sayesinde geliştiriciler, llms.txt dosyasını manuel yazmak yerine otomatik üretebiliyor.

Tartışmalar ve Eleştiriler

• Henüz standart değil: Google, Bing, Yandex resmi destek vermiyor.

• LLM’ler deterministik değil: Dosya rehber olarak dikkate alınabilir ama garanti değil.

• Bakım maliyeti: Markdown versiyonlarını güncel tutmak ek iş yükü getiriyor.

• Kötüye kullanım riski: Yanlış yönlendirme veya prompt injection ihtimali var.

• Meta keywords benzetmesi: Google’dan John Mueller, llms.txt’in meta keywords gibi kısa süreli bir trend olabileceğini söyledi.

Gelecek Standart mı, Yoksa Geçici Bir Trend mi?

llms.txt, Eylül 2024’te küçük bir öneri olarak çıktı, ama 2025’in ortalarına geldiğimizde yüzlerce siteye yayıldı.Anthropic gibi şirketler destek ekledi, SEO araçları entegrasyon yaptı ve şimdiden GEO stratejileri konuşulmaya başlandı.

Ama büyük arama motorları (Google, Yandex, Bing) bu dosyayı görmezden geliyor.Bu yüzden llms.txt’nin geleceği hâlâ belirsiz:

• Ya robots.txt gibi evrensel bir standart haline gelecek,

• Ya da meta keywords gibi birkaç yıl sonra unutulacak.

💡 Sizce llms.txt gerçekten web’in geleceğinde kalıcı olacak mı, yoksa şimdilik bir “AI hype” dosyası mı?