Robots TXT Dosyası Nedir? Web Siteniz İçin Doğru Yapılandırma Rehberi
Web sitenizin arama motoru botları tarafından nasıl görüldüğünü hiç merak ettiniz mi? Bir web sitesi sahibi veya SEO uzmanı olarak, Googlebot gibi tarayıcıların sitenizin her köşesine girmesini istemezsiniz. İşte tam bu noktada robots txt dosyası devreye girer. Bu basit metin dosyası, sitenizin dijasi (dijital) kapısındaki bir güvenlik görevlisi gibidir; hangi odalara girilebileceğini, hangi koridorların kapalı tutulacağını belirler.
Doğru yapılandırılmamış bir robots txt dosyası, tarama bütçenizin (crawl budget) boşa harcanmasına veya kritik sayfalarınızın yanlışlıkla dizinden kaldırılmasına neden olabilir. Kendi deneyimlerimde, yanlış bir “Disallow” komutu yüzünden değerli içeriklerin Google sonuçlarından silindiğini defalarca gördüm. Bu rehberde, teknik detaylara boğulmadan, profesyonel bir yapılandırmayı nasıl kuracağınızı adım adım inceleyeceğiz.
robots.txt Dosyasının Önemi ve İşlevi
Arama motoru botları, web sitenizi ziyaret ettiklerinde ilk olarak kök dizindeki bu dosyayı kontrol ederler. Eğer bu dosya doğru talimatları içeriyorsa, botlar sitenizin derinliklerine inmeden önce hangi yolları izleyeceklerini bilirler. Bu durum, özellikle binlerce sayfası olan e-ticaret sitelerinde tarama verimliliğini doğrudan artır bir etkendir.
Dosyanın temel işlevlerini şu şekilde sıralayabiliriz:
- Tarama Bütçesi Yönetimi: Botların gereksiz (admin paneli, sepet sayfası vb.) alanlarda vakit kaybetmesini önler.
- İçerik Kontrolü: Sadece kullanıcılar için değerli olan sayfaların dizine eklenmesini sağlar.
- Sunucu Yükünü Azaltma: Botların sürekli aynı veya anlamsız URL’leri taramasını engelleyerek sunucu kaynaklarını korur.
” alt=”Robots.txt Dosyası Yapısı”>Robots.txt Dosyası Oluşturma Adımları
Bir robots txt dosyası oluşturmak aslında teknik olarak çok basittir; sadece düz metin (plain text) formatında bir dosya hazırlamanız yeterlidir. Dosyanın adının küçük harflerle “robots.txt” olduğundan ve web sitenizin ana dizininde (root directory) bulunduğundan emin olmalısınız. Örneğin; https://siteniz.com/robots.txt şeklinde erişilebilir olmalıdır.
Dosyayı oluştururken bir not defteri (Notepad) veya VS Code gibi bir editör kullanabilirsiniz. İçeriği yazarken her komutun yeni bir satırda olması ve standartlara uygun yazılması kritik önem taşır. Dosyayı sunucuya yükledikten sonra, tarayıcınızdan URL’yi kontrol ederek dosyanın doğru yüklendiğini teyit edin.
” alt=”Robots TXT Oluşturulur”>User-agent: Nedir ve Nasıl Belirlenir?
Dosyanın en başında yer alan user-agent: ifadesi, talimatın hangi arama motoru botuna hitap ettiğini belirtir. Eğer tüm botlara aynı kuralı uygulamak istiyorsanız, evrensel bir joker karakter olan yıldız simgesini (*) kullanmalamasını öneririm. Bu, “tüm robotlar için geçerlidir” anlamına gelir.
Spesifik botlar için ayrı kurallar yazmak da mümkündınız. Örneğin, sadece Googlebot’un belirli bir klasöre girmesini istemiyorsanız, doğrudan o botu hedefleyebilirsiniz. Ancak genellikle genel bir kural seti oluşturup, özel durumlar için ek tanımlamalar yapmak daha yönetilebilir bir yapı sunar.
Disallow Komutu ile Erişim Engelleme
Disallow: komutu, robots txt dosyasının en güçlü silahıdır. Belirlediğiniz bir URL yolunun veya klasörün arama motorları tarafından taranmasını yasaklar. Ancak dikkatli olun; bu komut sayfanın Google’dan tamamen silineceği anlamına gelmez, sadece taranmayacağı anlamına gelir. Eğer sayfa başka bir yerden linklenmişse, içeriği snippet olarak görünebilir.
Örnek kullanım senaryoları:
Disallow: /admin/— Yönetim panelini botlara kapatır.Disallow: /private-folder/— Gizli tutulması gereken klasörleri engeller.Disallow: /*?search=— Arama sonuç sayfalarının taranmasını durdurarak yinelenen içerik (duplicate content) sorununu çözer.
Allow Komutu ile İzin Verme
Bazen bir klasörü tamamen kapatmak istersiniz ama o klasörün içindeki tek bir dosyanın veya alt klasörün taranmasına izin vermeniz gerekir. İşte burada Allow: komutu devreye girer. Bu komut, Disallow ile kapatılmış bir alanın içindeki belirli bir yolu “istisna” olarak tanımlamanıza olancaak.
Örneğin, `/images/` klasörünü tamamen kapatıp, sadece `/images/logo.png` dosyasının taranmasına izin vermek istiyorsanız, Allow komutunu Disallow satırının hemen altına eklemelisiniz. Bu hiyerarşik yapı, karmaşık web sitelerinde çok ince ayar yapmanıza olanak tanır.
Özel Sayfalar İçin Erişim Kuralları Belirleme
Web sitenizdeki her sayfa aynı değere sahip değildir. Kullanıcı giriş sayfaları, sepet içerikleri veya üyelik formları gibi sayfalar, arama sonuçlarında yer almamalıdır. Bu tür sayfaları robots txt üzerinden yönetmek, sitenizin SEO kalitesini artırır. Yanlışlıkla değerli bir blog yazısını engellemek, yapabileceğiniz en büyük SEO hatalarından biridir.
Kural belirlerken şu mantığı izleyebilirsiniz: “Bu sayfa kullanıcıya bir değer katıyor mu, yoksa sadece teknik bir süreç mi?” Eğer cevap sadece teknik bir süreçse (örneğin bir filtreleme sonucu), o zaman engelleme yoluna gitmelisiniz. Bu saylaşımla, botların sadece “kaliteli” içeriğe odaklanmasını sağlayarak tarama bütçenizi optimize edebilirsiniz.
” alt=”SEO Stratejisi ve Planlama”>Sitemap Eklemek ve robots.txt Dosyasına Entegre Etme
Robots txt dosyasının en alt kısmına mutlaka Sitemap: komutunu eklemelisiniz. Bu, arama motoru botlarına “Tüm site yapım burada, buradan başlayarak tarayabilirsin” demenin en kısa yoludur. Site haritanızın (sitemap.xml) tam URL’sini buraya yazmak, botların sitenizi keşfetme hızını ciddi oranda artırır.
Doğru bir entegrasyon için şu yapıyı takip edin:
- Sitemap URL’sini tam (absolute) olarak yazın:
Sitemap: https://www.siteniz.com/sitemap.xml - Dosyanın en sonuna ekleyin, böylece botlar önce kuralları okur, sonra haritaya yönlenir.
- Sitemap dosyanızın güncelliğinden emin olun; robots txt sadece bir köprüdür.
Dosyayı Test Etme ve Hataları Giderme Yöntemleri
Dosyayı yayınlamadan önce mutlaka test etmelisiniz. Yanlış bir karakter veya eksik bir eğik çizgi (/) tüm sitenizin Google’dan silinmesine yol açabilir. Google Search Console içindeki “Robots.txt Test Aracı” (eski sürümde hala çok kullanışlıdır) veya benzeri üçüncü taraf araçları kullanarak URL’lerinizin engellenip engellenmediğini kontrol edin.
| Hata Türü | Belirti | Çözüm |
|---|---|---|
| Yanlış Disallow | Önemli sayfalar dizinden düşer | Kuralı daha spesifik hale getirin |
| Eksik Sitemap | Botlar siteyi geç keşfeder | Sitemap URL’sini dosyaya ekleyin |
| Sözdizimi Hatası | Komutlar geçersiz sayılır | Dosyayı düz metin formatında kontrol edin |
Eğer bir hata fark ederseniz, dosyayı hemen güncelleyip sunucuya tekrar yükleyin. Değişikliklerin Google tarafından fark edilmesi birkaç gün sürebilir, bu yüzden düzenli olarak Search Console üzerinden “Yeniden Tarama” talebinde bulunmayı ihmal etmeyin.
Sonuç ve SEO İçin İpuçları
Robots txt dosyası, web sitenizin temel yapı taşlarından biridir. Doğru yapılandırılmış bir dosya, tarama bütçenizi korur ve arama motorlarına sitenizin hiyerarşisini net bir şekilde anlatır. Unutmayın, bu dosya bir güvenlik duvarı değil, bir yönlendirme rehberidir. Hassas verileri (şifreler, kişisel bilgiler) korumak için robots txt’ye değil, `.htaccess` veya yetkilendirme sistemlerine güvenmelisiniz.
Web sitenizin SEO performansını bir üst seviyeye taşımak ve teknik hatalardan arındırmak için profesyonel bir destek almak isterseniz, stratejik SEO danışmanlığı hizmetlerimizle yanınızdayız. Sitenizin görünürlüğünü artırmak için doğru adımları birlikte atalım.
