Crawl Nedir?
Google Kapını Çalmazsa, Evde Yoksun Demektir.
Crawl Nedir?
Dürüst olalım: Dünyanın en iyi içeriğini yazmış olabilirsin. Tasarımın Apple'ın web sitesinden bile daha havalı olabilir. Ama Google'ın botları (örümcekleri) sitene gelip o sayfayı taramazsa (crawl), internetin karanlık bir köşesinde kendi kendine konuşuyorsun demektir.
Crawl (Tarama); Googlebot gibi arama motoru botlarının, web sitene gelmesi, sayfalarını gezmesi, linkleri takip etmesi ve "Burada ne varmış?" diye içeriğini analiz etmesi işlemidir. Bu, indekslemenin (dizine eklemenin) ilk ve en hayati adımıdır. Tarama yoksa, sıralama da yok. Nokta.
"Botlar duygu sömürüsü yapmaz, rüşvet yemez. Sadece teknik veriyi ve ulaşılabilirliği okurlar. Onlara kapıyı açmayı öğrenmelisin."
Neden Umursamalısın?
✕ Amatör SEO
"Yazı Girdim Bekliyorum"
İçeriği yayınlar ve Google'ın lütfedip gelmesini bekler. Robot.txt dosyasının varlığından bile habersizdir. Sayfalar aylar sonra indekse girer (veya hiç girmez). "Neden hit alamıyorum?" diye ağlar.
✓ Neuro-SEO Mimarı
"Bota Yol Haritası Çiziyorum"
Crawl Bütçesini optimize eder. Botun hangi sayfaya, ne sıklıkla geleceğini manipüle eder. Gereksiz sayfaları (admin paneli, sepet vb.) botun yolundan çeker. İçeriği yayınladığı dakika Google'ın kapısına dayanır.
Bilmen Gereken Terimler
Googlebot (Spider)
Google'ın sahadaki işçisidir. Linkleri takip eder, HTML kodlarını okur ve veriyi merkeze (indeks) taşır. Yorulmaz ama kafası karışabilir.
Crawl Budget
Google'ın sitenize ayırdığı zaman ve kaynak limitidir. Siten yavaşsa veya çok hatayla doluysa, bot "Zamanım bitti" der ve yeni sayfalarını taramadan gider.
Robots.txt
Sitenin kapıdaki güvenliğidir. Bota "Buraya gir (Allow)" veya "Burası yasak (Disallow)" komutunu verir. Yanlış yapılandırırsan botu tamamen engellersin.
Sitemap.xml
Botun eline verdiğin haritadır. "En önemli sayfalarım bunlar, bunları mutlaka gez" dersin. İçeriğin dağınıksa bu harita hayat kurtarır.
User-Agent
Siteni ziyaret eden botun kimliğidir. Googlebot Desktop ve Googlebot Smartphone en yaygın olanlarıdır. Siteniz artık %100 mobil bota göre taranıyor.
Status Codes
Botun sitenle konuştuğu dildir. 200 (Her şey yolunda), 404 (Sayfa yok), 500 (Sunucu patladı), 301 (Taşındık). Bot bu kodlara göre hareket eder.
Sistemi Nasıl Yönetirsin?
Kapıdaki Güvenliği Ayarla (Robots.txt)
Eğer robots.txt dosyan yanlışsa, dünyanın en iyi SEO uzmanını da getirsen işe yaramaz. Botu sitene davet etmelisin, ama yatak odana (admin paneline) sokmamalısın.
domain.com/robots.txtadresine git.User-agent: *(Tüm botlar için)Disallow:komutlarına dikkat et. Ana dizini engellemediğinden emin ol.
İç Linkleme ile Botu Yönlendir
Botlar linkleri takip ederek hareket eder. Eğer bir sayfana sitenin hiçbir yerinden link vermediysen (Orphan Page / Yetim Sayfa), bot orayı bulamaz.
Taktik: En önemli sayfalarına ana sayfadan ve popüler blog yazılarından link ver. Botu elinden tut ve "Bak bu sayfa çok önemli, burayı mutlaka tara" de.
Sakın Yapma!
NoIndex Koyup Beklemek
Sayfaya 'noindex' etiketi koymak taramayı engellemez, sadece indeksi engeller. Bot hala oraya gidip kaynak harcar. Taramayı engellemek için robots.txt kullan.
Yavaş Sunucu Yanıtı
Googlebot sabırsızdır. Sunucun 2 saniyede yanıt vermiyorsa, bot sayfayı taramadan terk eder. Hız, crawl bütçesini artırır.
Sonsuz Link Döngüleri
Takvim sayfaları veya bitmeyen filtreler botu tuzağa düşürür (Spider Trap). Bot sonsuz sayıda URL üretip hepsini taramaya çalışırsa siten batar.
Kafana Takılanlar
Crawl ile Index arasındaki fark nedir?
Crawl (Tarama), botun sayfayı bulması ve okumasıdır. Index (Dizin), okuduğu bu bilgiyi veritabanına kaydetmesidir. Her taranan sayfa indekse girmez, ama taranmayan sayfa asla indekse giremez.
Google sitemi ne sıklıkla tarar?
Bu sitenin otoritesine ve güncelleme sıklığına bağlıdır. Haber siteleri dakikada bir taranırken, statik bir blog haftada bir taranabilir. "Crawl Stats" raporundan bunu görebilirsin.
Botların sitemi taramasını nasıl hızlandırırım?
Sunucu yanıt süresini düşür, site haritanı GSC'ye gönder, iç linklemeyi güçlendir ve en önemlisi düzenli, özgün içerik gir. Bot hareketliliği sever.
🚀 Siten Google'ın Radarına Girmiyor mu?
Crawl bütçen çöp mü oluyor? Sayfaların indekse girmekte zorlanıyor mu? Teknik SEO ve tarama sorunlarını profesyonel bir bakış açısıyla, cerrah titizliğinde çözelim.
Gökhan Vatancı ile Hızlıca Görüşün