Crawl Budget arama motorlarının bir site için ayırdığı tarama bütçesidir. Arama motorları milyonlarca siteyi ve sayfayı taradığı için, belirli kısıtlamaların yapılması da şart olmaktadır. Bütçe kavramı burada devreye girerek, farklı etmenlere bağlı şekilde tarama limitlerini belirtir.
İndex’te yer alan gereksiz sayfalarınızı tespit edip Google’a bildirirseniz botların bu sayfaları taramasını engelleyebilir böylece Crawl Budget optimizasyonu sağlayabilirsiniz.
Burada internet sitelerine düşen ilk görev Crawl Budget limitlerini optimize kullanmak ve index’te olmasına gerek olmayan sayfaları index’ten kaldırmaktır veya yönlendirmektir.
Gerek Google gerekse diğer arama robotları, herhangi bir internet sitesine girdiğinde doğrudan incelese de eğer robots.txt dosyası varsa, önce bunu taranmaktadır. Ardından buna göre, engellenen alt dizinler bir istisna olarak tüm linkleri yeniden tarar.
Ardından taranan sayfalarda mevcut olan komut ve stil dosyaları çalışır hale getirilir. Bu çerçevede gereksiz sayfalar, hatalı bölümler engellenebileceği için daha iyi sonuçlar almanız sağlanır. Bu durum SEO kapsamına da girer.
Zira algoritmayı doğru bir şekilde yönlendireceğiniz için hatalı sayfaların taranmasını önleyebilir, böylece Google’a site sağlığı açısından olumlu bir izlenim bırakıp Google sıralamanızın daha yukarıda olmasına yardımcı olabilirsiniz. Eğer index kontrolü üzerine uzmanlarla çalışırsanız, en iyi sonuçları elde edebilirsiniz.
İnternet Sitelerinin Tarama Süreci Nasıl İşler?
Tarama bütçesi, sitelerinizi daha iyi yönetmeniz için oldukça önemlidir. Böylece hangi sayfaların taranıp taranmayacağını Google algoritmasına söyleyebilirsiniz.
Google algoritması, bir sayfayı tararken en temelde arama motoru botunun ziyaret etmesini, ilgili web sitesinin robots.txt dosyasını görüntülemesini sağlar. Tarama direktifleri kontrol edilerek, yer alan içerikler incelenir.
İnternet sitesinde bulunan herhangi bir sayfanın, Google tarafından taranıp taranmayacağı söz konusu dosyada bulunan disallow ve allow komutları sayesinde belirlenir. Eğer taranmasını istemediğiniz sayfa varsa, URL adresi ile belirtmeniz yeterlidir. Gereksiz sayfalar böylece tanımlanmış olur.
Sayfaya taranabilir URL üzerinden gelen arama motoru botları, sayfanın kaynaklarını bulunduran server’a istek gönderir. Böylece CSS, HTML ve JS gibi kaynakları alarak, sayfanın ne olduğunu çözmek için bir sayfa meydana getirir. Ardından da dizine kaydetmek üzere veri tabanına gönderir. Ayrıca sayfada bulunan linkleri de takip eder.
Arama motoru header, footer ve sidebar dahil tarama yaptığı için oldukça geniş bir kapsamı vardır.
Tarama Bütçesini Ne Etkiler?
Tarama bütçesini etkileyen birçok unsur olmakla beraber, en başında içeriğin kalitesi gelmektedir. Teknoloji geliştikçe arama motorları içerikleri detaylı şekilde incelemeye başlamış; zayıf ve güçlü olanları birbirinden ayırt eder hale gelmiştir.
Bu kapsamda zayıf içerikler, arama sonuçları dışında tutulur hale gelmiştir. Dolayısıyla tüm içeriklerinizi özgün, güvenilir, kaliteli ve seo ile uyumlu oluşturmanız, crawl budget çalışmalarında oldukça önemlidir. Ayrıca şu konulara da dikkat edilmesi şarttır;
- Kopya içerikler
- Spam ve zayıf içerikler
- Http 404 linkler
- İçerik kalitesi
Tarama bütçesi profesyonel bir şekilde yapılırsa, siteleriniz Google üzerinde daha fazla görünür hale gelebilir.
Tarama Bütçesi Nasıl Optimize Edilebilir?
Crawl Budget optimizasyonu, temel olarak tarama bütçesini olumsuz etkileyen unsurların ele alınmasıyla gerçekleşir. Bu her web sitesi için farklı olacağından özel çalışmalar gerçekleştirilir. Siteler incelendikten sonra sorunlar tespit edilmekte, ardından çözümler uygulanmaktadır.
İndex Kontolü Nasıl Yapılır?
Öncelikle sitenizin index alan sayfalarını tespit etmek için Google’a site:siteadınız şeklinde arama yaparak inceleme yapabilirsiniz. Örneğin benim sitem için bu çalışmayı site:gokhanvatanci.com şeklinde arama yaparak yapıyorum. Ardından gereksiz olarak gördüğünüz URL’leri not alarak kaldırıp ya da yönlendirerek Crawl Budget optimizasyonu sağlayabilirsiniz.
- KVKK metinleri,
- Açık Rıza Metni
- Gizlilik Sözleşmesi vs hukuksal metinler
- Filtreleme sayfaları
- Login sayfaları
- Arama sonuç sayfaları indexte yer almışsa bunlar gereksiz ve index almasına lüzum olmayan sayfalardır.
Sayfada Bulunan Teknik Hataların Düzenlenmesi
Tarama bütçesi düzenlemesi yaparken, sitede mevcut olan tüm sayfalar incelenmektedir. Böylece teknik yapıları kontrol edilerek, hatalı sayfalar tespit edilir. Soft 404, HTTP 404 durum kodları ve diğer sorunlar, bütçeyi negatif etkiler.
Dolayısıyla bunlar tespit edildikten sonra çözüme kavuşturularak, daha iyi sonuçlar almanız sağlanır.
[box type=”note” align=”” class=”” width=””]404 veren sayfalarınızı en alakalı sayfaya 301 yönlendirmesi yaparak optimize edebilirsiniz.[/box]
Sitelerde Belirli Sayfaların Taramaya Kapanması
Crawl budget yaparken bir diğer işlem de sitede bulunan belirli alanların taramaya kapatılmasıdır. Robots.txt dosyası kullanılarak, bu işlemler kısa sürede yapılabilir. Böylece Google tarafından kullanılan botlar sitenizi daha verimli tarayacak, bütçenizi daha doğru değerlendirecektir.
Google Url Kaldırma Aracı
301 yönlendirmesi yapamadığınız ve indexte gereksiz olarak gördüğünüz sayfaları Google Search Console dan URL Kaldırma Aracı sayesinden indexten kaldırabilirsiniz. Bu da Crawl Budget optimizasyonunuza katkı sağlayacak bir çalışmadır.
Ayrıca İlginizi Çekebilecek Diğer İçeriklerim: