SEO Uyumlu Robots.txt Dosyası Nasıl Oluşturulur?

Web sitenizin kök dizinine yüklediğiniz basit bir metin dosyası olan robots.txt, modern SEO dinamiklerini ve yapay zeka (AI) tarayıcılarının içeriklerinizle etkileşimini yönetmek için kritik bir rol oynar. Dosya içerisinde, belirli bir botu hedeflemek için User-agent ve onu engellemek için Disallow gibi anlaşılır komutlar kullanarak arama motorlarının sitenizde nereye gidip gidemeyeceğini kontrol edebilirsiniz. Bu rehberde, 2026 ve sonrasında dijital varlıklarınızı korumanın yollarını inceleyeceğiz.

Neden Robots.txt İlk Savunma Hattınızdır?

Robots.txt dosyasını sitenizin girişindeki dijital bir güvenlik görevlisi olarak düşünebilirsiniz. Google ve Bing gibi arama motorlarının yanı sıra, GPTBot gibi yeni dalga yapay zeka tarayıcıları da sitenize ulaştıklarında ilk olarak ev kurallarını kontrol ederler.

Bu küçük metin dosyası ipleri elinize almanızı ve botların alan adınızda nasıl davranacağını kesin olarak belirlemenizi sağlar. Sınırları net bir şekilde çizerek tarayıcıları en değerli içeriklerinize yönlendirebilir ve hassas alanları erişime kapatabilirsiniz. Bunu doğru kurgulamak, hem geleneksel SEO hem de üretken arama motoru optimizasyonu (GEO) için atılması gereken en temel adımdır.

Tarama Bütçenizi Koruyun

Her arama motoru, sitenizin sayfalarını taramak için ayıracağı zamanı ve kaynağı ifade eden bir "tarama bütçesi" belirler. Eğer botlara net bir yönlendirme yapmazsanız, sitenizin her köşesinde dolaşarak bu bütçeyi işe yaramaz sayfalarda boşa harcayabilirler.

Örneğin, bir botun site içi arama sonuçlarınızın sonsuz varyasyonlarını taraması bütçe israfına pratik bir örnektir. Bunu önlemek için Disallow: /search/ gibi basit bir kural eklemek anında çözüm sunar. Tarama bütçesini tüketen diğer yaygın alanlar şunlardır:

• Yönetici giriş panelleri (/wp-admin/ gibi)
• Geçici veya test klasörleri (/staging/ gibi)

Robots.txt dosyası olmayan bir site, botların serbestçe dolaşmasına izin vererek sunucuyu yorar. Stratejik olarak kurgulanmış bir dosya ise trafik polisi gibi çalışarak, botların sadece en önemli sayfalarınıza odaklanmasını sağlar.

Yapay Zeka Tarayıcıları İçin Erişim Kontrolü

Büyük Dil Modellerinin (LLM) hızlı yükselişi, yapay zeka sistemlerini eğitmek üzere devasa veriler kazıyan yeni bir bot dalgası yarattı. Hepsi kötü niyetli olmasa da, kısıtlanmamış erişim, tescilli içeriklerinizin istemediğiniz şekillerde kullanılmasına yol açabilir.

Robots.txt dosyası, bu yapay zeka botlarına karşı sınırlar belirlemek için elinizdeki ana araçtır. Her ne kadar pek çok bot kuralları ihlal etse de, proaktif bir duruş sergileyerek standartları belirlemek, bu yeni gerçeklikte size çok önemli bir kontrol katmanı sağlar.

İlk Robots.txt Dosyanızı Oluşturma

Şimdi kolları sıvayıp ilk dosyamızı oluşturalosun. Herhangi bir temel metin düzenleyiciyle yazabileceğiniz bu dosyada karmaşık kodlar yoktur. Ancak arama motorlarının dosyanızı bulabilmesi için iki katı kurala uymanız şarttır:

• İsimlendirme: Dosyanızın adı tamamı küçük harflerle, tam olarak robots.txt olmalıdır. Farklı varyasyonlar kabul edilmez.
• Konum: Sitenizin doğrudan kök dizininde yer almalıdır. (Yani şu şekilde ulaşılabilmelidir: siteniz.com/robots.txt)

Temel Yönergeleri Anlamak

Dosyanız, tarayıcılara belirli talimatlar veren birkaç basit yönerge ile inşa edilir.

• User-agent: Kuralların hangi ağ tarayıcısı için geçerli olduğunu belirtir. Yıldız (*) tüm botları kapsayan bir joker karakterdir.
• Disallow: Belirtilen tarayıcının o URL yolunu taramasını engeller.
• Allow: Bir Disallow kuralını geçersiz kılarak, spesifik bir sayfa için istisna yaratır.
• Sitemap: XML site haritanızı işaret ederek botların indekslenmesini istediğiniz sayfaları hızlıca bulmasına yardımcı olur.

İlk Kurallarınızı Belirleme

Diyelim ki hedeflerimiz şunlar: Bitmemiş bir test (staging) alanını gizlemek, botları site içi arama sonuçlarından uzak tutmak ve tüm botlara genel bir kural atamak.

Önce tüm uyumlu botları kapsamak için User-agent: * yazarız. Ardından engellemek istediğimiz dizinleri belirtiriz:

Disallow: /staging/ Disallow: /search/

Profesyonel İpucu: Özgüllük her zaman kazanır. Tarayıcılar bir URL için geçerli olabilecek birden fazla kural gördüğünde, her zaman en belirgin olanı seçer. Örneğin, Allow: /images/logo.png kuralı, daha genel olan Disallow: /images/ kuralına her zaman üstün gelir.

Allow Yönergesi ile İstisnalar Yaratmak

Tüm özel klasörü engellediğinizi, ancak Google'ın içindeki herkese açık bir PDF raporuna erişmesini istediğinizi varsayalım. Bu durumda Allow yönergesi pratik bir istisna sunar:

User-agent: * Disallow: /private/ Allow: /private/yillik-rapor.pdf

Bu kurulum sayesinde, belirtilen dosya haricindeki tüm alt sayfalar botların erişimine kapatılır. Dosyanızın en altına Sitemap: https://www.siteniz.com/sitemap.xml yönergesini eklemek ise tarama haritasını doğrudan arama motorlarına sunarak verimliliği maksimize eder.

Gelişmiş Yönergeler ve Joker Karakterler

Temel kuralları oturtmanızın ardından, robots.txt dosyanızı nokta atışı operasyonlar için kullanabilirsiniz. Özellikle büyük e-ticaret siteleri veya geniş çaplı yayıncılar için tarama bütçesi optimizasyonu bu aşamada başlar.

Etkili Kurallar İçin Joker Karakterleri Kullanma

Yüzlerce URL'yi manuel listelemek yerine joker karakterler (wildcards) kullanabilirsiniz.

• *Yıldız ():** Herhangi bir karakter dizisiyle eşleşen genel bir tutucudur.
• Dolar İşareti ($): Kuralı URL'nin tam sonuna sabitler. "Yalnızca bu uzantıyla bitiyorsa kuralı uygula" anlamına gelir.

Sitenizde arama motorları tarafından dizine eklenmesini istemediğiniz eski .pdf dosyalarını engellemek için şu kuralı kullanabilirsiniz:

User-agent: Disallow: /.pdf$

Bu satır sayesinde, sonu ".pdf" ile biten tüm dosyalar tarayıcıların dikkatinden kaçırılır. E-ticaret sitelerindeki dinamik filtreleme (örn: ?sort=price) gibi kopya sayfa kirliliği yaratan parametreleri engellemek için ise şu yönerge hayat kurtarır:

Disallow: /?

Bu komut botlara, içinde soru işareti (?) bulunan tüm URL'leri görmezden gelmelerini söyler.

Crawl-delay Yönergesi: Geçerliliği Kalmadı mı?

Crawl-delay komutu botların sayfaları taramadan önce belirli bir saniye beklemesini söyler (Örn: Crawl-delay: 10). Ancak Googlebot başta olmak üzere modern arama motorları artık bu yönergeyi tamamen görmezden gelmekte ve kendi hız algoritmalarını kullanmaktadır. Tarama hızını ayarlamak istiyorsanız, bunu doğrudan Google Search Console ayarlarından yapmanız çok daha profesyonel bir yaklaşımdır.

Yapay Zeka Tarayıcıları ve Geleceğin İnterneti İçin Optimizasyon

Arama ekosisteminde artık sadece Google ve Bing yok. LLM'leri eğitmek için veri kazıyan yapay zeka botları da sitenizi aktif olarak ziyaret ediyor. İzinsiz içerik toplama trafiğini engellemek istiyorsanız doğru bot isimlerini kullanmalısınız.

Yaygın Yapay Zeka Botlarını Engelleme

Aşağıdaki komutları dosyanıza ekleyerek yaygın yapay zeka tarayıcılarını direkt olarak engelleyebilirsiniz:

• OpenAI GPTBot: User-agent: GPTBot ve Disallow: /
• Google Vertex AI: User-agent: Google-Extended ve Disallow: /
• Anthropic ClaudeBot: User-agent: ClaudeBot ve Disallow: /

Geleceğin SEO stratejisi, yapay zekayı tamamen dışlamak yerine ona net bir oyun kitabı sunmaktan geçer. Blog yazılarınızın özetlenmesine izin verirken, ticari değeri yüksek verilerinizi veya eğitim setlerinizi korumak, markanızın dijital varlığını güvende tutar.

Dosyanızı Test Etme ve Güvenle Yayınlama

Dosyanızı yayına almadan önce test etmek, kritik önem taşıyan bir adımdır. Yanlış yerleştirilmiş tek bir karakter, tüm sitenizi Google için görünmez kılabilir.

Kurallarınızı Google Search Console'da Doğrulayın

Google Search Console'un robots.txt test aracı, Googlebot'un dosyanızı tam olarak nasıl okuyacağını simüle eder. Sitenizden hem engellemek hem de izin vermek istediğiniz URL'leri araca yapıştırarak, komutların doğru çalışıp çalışmadığını anında doğrulayabilirsiniz.

Güvenli Yükleme

Test aşamasını başarıyla geçtikten sonra robots.txt dosyanızı sitenizin kök dizinine yüklemelisiniz. Bu işlemi FileZilla gibi bir FTP istemcisiyle ana klasörünüze (public_html) aktararak veya WordPress, Shopify gibi platformların içerik yönetim sistemleri üzerinden doğrudan yapabilirsiniz. Dosyanızın UTF-8 kodlamasına sahip düz bir metin dosyası olduğundan emin olun.

Sıkça Sorulan Sorular

Robots.txt dosyam yoksa ne olur? Arama motorları her sayfaya tam erişimleri olduğunu varsayar. Tarama bütçesi kontrolünüzü kaybedersiniz ve tüm verileriniz kazıyıcı botlara açık hale gelir. Kapsamlı bir stratejiniz olmasa bile mutlaka temel bir robots.txt dosyası oluşturmalısınız.

Sadece tek bir sayfayı engelleyebilir miyim? Evet. İlgili URL'nin tam yolunu yazmanız yeterlidir. Örneğin: Disallow: /ozel-kampanya.html

Disallow kuralı, sayfayı Google dizininden siler mi? Hayır. Bu kural yalnızca sayfanın taranmasını durdurur. Sayfa daha önceden indekslenmişse arama sonuçlarında görünmeye devam edebilir. Bir sayfayı dizinden kesin olarak kaldırmak için HTML kodunun içine <meta name="robots" content="noindex"> etiketi eklemeli ve robots.txt dosyanızın botun bu sayfaya gidip o etiketi okumasına izin verdiğinden emin olmalısınız.