Robots.txt Dosyası: Crawl Budget (Tarama Bütçesi) ve Arama Motoru Botlarını Yönetmek
Web siteniz yayına girdiği an, internetin karanlık odalarından yüzlerce farklı bot sitenizi ziyarete başlar. Googlebot, Bingbot, YandexBot gibi iyi niyetli (Arama Motoru) botların yanı sıra; Ahrefs, Semrush, MJ12bot gibi veri madencileri veya sunucunuzu yoran kötü niyetli "Scraper" botlar da kapınızı çalar. 1994 yılında geliştirilen "Robots Exclusion Protocol" (REP) standartlarına uyan robots.txt dosyası, sitenizin kök dizininde (root) yer alan ve bu botlara "Kapıdaki Güvenlik Görevlisi" gibi davranarak neleri tarayabileceklerini (Crawl), neleri tarayamayacaklarını dikte eden ilk .txt dosyasıdır.
Çoğu webmaster, CMS sistemlerinin (Örn: WordPress) oluşturduğu varsayılan robots.txt dosyasına güvenerek devasa SEO fırsatlarını kaçırır. Aracımız aracılığıyla oluşturduğunuz profesyonel robots.txt komutları, sunucunuzun yükünü hafifletirken, Google'ın sitenize ayırdığı kısıtlı Crawl Budget (Tarama Bütçesi) kaynağının çöp sayfalarda harcanmasını engeller.
Crawl Budget (Tarama Bütçesi) Neden Hayatidir?
Googlebot'un sitenizi taramak için sonsuz zamanı veya sunucu kaynağı yoktur. Sitenizin otoritesine (PageRank) ve güncelleme sıklığına bağlı olarak size günlük/haftalık bir "kota" (Crawl Limit) verir. Eğer bu bütçeyi doğru yönetemezseniz, yazdığınız yeni, harika ve SEO odaklı içerikler haftalarca dizine (Index) eklenmeyebilir. Çünkü Googlebot bütçesini, arama sonuçlarında (SERP) görünmesini asla istemediğiniz şu çöp sayfalarda tüketiyor olabilir:
/wp-admin/veya/login/gibi sadece yetkili giriş sayfaları.- Etiket (Tags), yazar (Author) veya sonsuz döngüye giren takvim (Archive) klasörleri.
?sort=price_ascveya?color=bluegibi e-ticaret filtrelerinden oluşan dinamik (Faceted) sonsuz URL parametreleri.- Sepet (Cart), Ödeme (Checkout) veya Teşekkürler sayfası gibi tamamen kişisel (Private) session sayfaları.
Kritik Syntax ve Komut Yapıları
Robots.txt dosyasında kullanılan direktifler, çok basit görünse de tek bir "/" (Slash) hatasıyla tüm sitenizi Google'dan silebilecek güce sahiptir. Temel komut setleri şu şekildedir:
🚫 Disallow ve Allow Parametreleri
User-agent: * ile tüm botlara seslendikten sonra, Disallow: /wp-admin/ komutu o klasörün tüm alt dosyalarıyla birlikte taranmasını engeller. Ancak /wp-admin/admin-ajax.php dosyasının taranmasına mecbursanız, altına bir Allow: /wp-admin/admin-ajax.php ekleyerek hiyerarşik istisna (Override) yapabilirsiniz.
⏱️ Crawl-Delay (Tarama Gecikmesi)
Özellikle paylaşımlı (Shared) bir hosting kullanıyorsanız, agresif botlar CPU'nuzu kilitleyebilir. Crawl-delay: 10 komutu, botun sunucunuza her istek (Request) atışında 10 saniye beklemesini zorunlu kılar. (Not: Googlebot Crawl-delay komutunu dikkate almaz, Search Console üzerinden hız sınırı ayarlanmalıdır. Bing ve Yandex dikkate alır).
Sıkça Sorulan Sorular (S.S.S.)
Sitemap (Site Haritası) yolunu robots.txt içine eklemek zorunlu mu?
Zorunlu değildir ancak SEO dünyasında "Kesinlikle tavsiye edilen" (Best Practice) bir hamledir. Dosyanın en altına Sitemap: https://siteniz.com/sitemap_index.xml eklediğinizde, sitenizi ilk kez keşfeden tüm arama motoru botlarına "İçerik ağacım burada, tek tek arama, haritayı al" demiş olursunuz (Ping mekanizması).
Disallow ile engellediğim bir sayfa yine de Google'da görünüyor, neden?
En yaygın teknik SEO yanılgısıdır! Disallow komutu sayfanın "Taranmasını" engeller, "İndekslenmesini" (Dizine eklenmesini) değil. Eğer o gizli sayfanıza başka bir siteden backlink verilmişse, Googlebot sayfayı tarayamasa bile URL'yi arama sonuçlarına ekler. Bir sayfanın Google'dan tamamen silinmesi için robots.txt'den engellemek YANLIŞTIR. Doğru yöntem sayfaya <meta name="robots" content="noindex"> etiketi eklemektir (Ve bu etiketi botun okuyabilmesi için robots.txt'den o sayfaya İZİN verilmiş olmalıdır!).
Jeneratör ile kodu ürettim, şimdi ne yapacağım?
Çıkan metni kopyalayıp bir Not Defterine (Notepad) yapıştırın ve adını robots.txt olarak kaydedin. Ardından bu dosyayı hosting FTP panelinizde (FileZilla, cPanel, Plesk vb.) public_html (veya sitenizin kök dizini neresi ise) klasörünün tam ana dizinine atın. Tarayıcıdan siteniz.com/robots.txt yazdığınızda bu metni görüyorsanız işlem başarılıdır.
Sunucu kaynaklarınızı vampir gibi emen çöp botları engellemek ve Googlebot'u sitenizin en değerli sayfalarına yönlendirmek için Bu sitede sunulan Robots.txt Üretici'yi teknik SEO envanterinizin bir parçası yapın.