WordPress robots.txt Nedir? robots.txt Dosyası Oluşturma

Arama motoru optimizasyonu (SEO) çalışmalarınız için robots.txt dosyası web sitenizde olmazsa olmaz konular arasında en başta yer alır.

Robots.txt Nedir?

Robots.txt dosyası arama motorlarına ait botların web sitesini tararken ilk uğradığı nokta olarak bilinmektedir. Botların ziyaret etmesine izin verdiği ve vermediği sayfaları robots.txt dosyasına bildirerek taramanın şekillenmesini sağlamalısınız. Bu içerikte ideal bir robots.txt dosyası nasıl oluşturulur bunu öğreneceksiniz.

Sitenizin mimarisine göre arama kısmını, farklı buildeleri arama motoru botlarına taratmamak için bir alt satıra inerek Disallow: /search? gibi fonksiyonları taratmamasını sağlayabilirsiniz.

WordPress robots.txt Dosyası Oluşturma

WordPress sitelerde ilk kurulumda robots.txt dosyası sistem tarafından otomatik oluşturulmaktadır. Herhangi bir aksi durumda botların gereksiz sayfaları tarayarak tarama bütçesini düşürmesine engel olmanız için özel olarak robots.txt dosyası oluşturmanız gerekebilir. robots.txt dosyasını oluşturmak için aşağıdaki adımları izleyebilirsiniz.

• Hosting paneline girerek dosya yöneticisini açın.
• public_html (cPanel) / httpdocs (Plesk) klasörüne girerek robots.txt adında bir dosya oluşturun.
• Aşağıdaki kodu dosya içerisinde yapıştırın.

User-agent: * 
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://domain.com/sitemap_index.xml

Robots.txt Dosyasını Oluştururken Dikkat Etmeniz Gerekenler

Robots.txt dosyasında bazı alt klasörleri, görselleri yada sayfaları engellemek istiyorsanız aşağıdaki kısmı inceleyebilirsiniz.

Arama motoru / CMS botlarını tam engellemek için;

• Google: Googlebot
• Google Haberler: Googlebot-News
• Google Resimler: Googlebot-Image
• Google Videolar: Googlebot-Video
• Bing: Bingbot
• DuckDuckGo: DuckDuckBot
• Baidu: Baiduspider
• Yandex: YandexBot
• ChatGPT: ChatGPT- User
• Exalead: ExaBot

Yukarıdan hangi şirketin botunu engellemek istiyorsanız robots.txt dosyanızda bir alt paragrafa inerek aşağıdaki kodu ekleyiniz.

User-agent: Googlebot
Disallow: /

Alt klasörün taranmasını engellemek istiyorsanız;

User-agent: *
Disallow: /cms/

Tüm botların hiçbir dizini taramasını istemiyorsanız;

User-agent: *
Disallow: /

Görselin yada alt sayfaların botlar tarafından taranmasını istemiyorsanız;

User-agent:
Disallow: /dosya.html
Disallow: /images/example.jpg

Sitenizdeki tüm görsel dosyalarının taranmasını istemiyorsanız (Görsellerin .jpg olduğu varsayılmıştır, özelleştirebilirsiniz);

User-agent: *
Disallow: /*.jpg$

Robots.txt dosyasını oluştururken aklınıza takılan sorular olursa yorum olarak sormaktan çekinmeyin, iyi çalışmalar.