Robots.txt ile Web Sitesi Tarama Kontrolü Nasıl Yapılır?

Robots.txt dosyası, bir web sitesinin belirli bölümlerinin arama motorları tarafından taranmasını kontrol etmenin etkili bir yoludur. Doğru yapılandırılmış bir robots.txt dosyası, arama motoru optimizasyonu (SEO) çabalarınızı desteklerken, yanlış yapılandırmalar organik trafiğinizde olumsuz etkilere neden olabilir. Bu makalede, robots.txt dosyasının nasıl oluşturulacağını ve web sitenizin arama motorları tarafından doğru bir şekilde taranmasını nasıl kontrol edebileceğinizi açıklayacağız.

Robots.txt Dosyasının Temel Yapısı

Robots.txt dosyası, sitenizin kök dizininde bulunan basit bir metin dosyasıdır. Dosyanın temel yapısı şu şekildedir:

User-agent: [Arama Motoru Bot Adı]
Disallow: [Erişilmesi İstenmeyen Dizin veya Sayfa]
Allow: [Erişime İzin Verilen Dizin veya Sayfa]

User-agent

User-agent, belirli bir arama motoru botunu hedefler. Örneğin, Google botunu hedeflemek için “User-agent: Googlebot” kullanılabilir. Tüm botlar için genel bir kural oluşturmak isterseniz, “User-agent: *” kullanabilirsiniz.

Disallow

Disallow, belirli bir botun hangi dizinleri veya sayfaları taramaması gerektiğini belirtir. Örneğin, “/private-data/” dizini için tarama engellemek istiyorsanız, “Disallow: /private-data/” şeklinde yazabilirsiniz.

Allow

Allow, daha önce Disallow ile engellenen bir dizin veya sayfa içinde belirli bir bölüm için izin vermek istediğinizde kullanılır. Örneğin, “/private-data/” dizinini engelleyip, içindeki “public-info.html” sayfasını izinli bırakmak istiyorsanız:

Disallow: /private-data/
Allow: /private-data/public-info.html

Robots.txt Dosyasını Oluşturma Adımları

1. Web Sunucunuzda Kök Dizinine Erişin:
Robots.txt dosyası, web sitenizin kök dizininde yer almalıdır. Sunucu dizininize, bir sanal sunucu veya cloud sunucu kullanarak erişebilirsiniz.

2. Metin Düzenleyici Kullanarak Dosya Oluşturma:
Kök dizininde boş bir metin dosyası açarak adına “robots.txt” verin. Notepad, Visual Studio Code gibi herhangi bir metin düzenleyicisi kullanabilirsiniz.

3. İstediğiniz Kuralları Belirleyin:
Örnek kuralları belirleyin. Örneğin:

   User-agent: *
   Disallow: /admin/
   Disallow: /user-profile/
   Allow: /user-profile/public-info.html

4. Dosyayı Kaydet ve Kök Dizine Yükle:
Dosyayı kaydedin ve kök dizinize yükleyerek aktif hale getirin.

Yaygın Robots.txt Hataları ve Çözümleri

Yanlışlıkla Tüm Siteyi Engelleme:

Yanlış bir Disallow kullanımı tüm sitenin arama motorları tarafından taranmasını engelleyebilir. Örneğin:

User-agent: *
Disallow: /

Bu, tüm botları tüm sitenizi taramaktan engeller. Yanlışlıkla böyle bir kural eklemiş olabilirsiniz. Bunun yerine, sadece spesifik dizinleri engelleyerek sitenizin genel taranabilirliğini koruyun.

Yanlış Dizin veya Dosya Yolu:

Yanlış dizin veya dosya yolu belirtmek de yaygın bir hatadır. Doğru yolu belirlediğinizden emin olun ve özellikle büyük/küçük harf duyarlılığını kontrol edin.

Robots.txt Dosyasının Test Edilmesi

Robots.txt dosyanızı test etmek için Google Search Console'''un Robots.txt Test Aracı'''nı kullanabilirsiniz. Bu araç, belirlediğiniz kuralların arama motoru botları tarafından nasıl algılanacağını görmenizi sağlar. Sorunlu alanları tespit etmek ve düzeltmek için bu araçtan faydalanabilirsiniz.

Eğer barındırma hizmetlerinizi değerlendirmek isterseniz, dedicated veya web hosting seçeneklerini tercih edebilirsiniz.

Robots.txt dosyasının dikkatli yönetimi, web sitenizin SEO başarısında önemli rol oynayabilir. Bilinçli bir yapılandırma sayesinde hem arama motorları hem de ziyaretçilerinize sorunsuz bir deneyim sunabilirsiniz.