Seo Açısından Robots.txt

Robots.txt önemli sayfaları engelliyor mu?

Google Search Console’da bu hatayı aldıysak eğer bu yazımız size oldukça faydalı olacaktır.

Web tasarımın konusunu bitirdikten sonra sıra seoya geliyor.Yani google gibi arama motorları için sitemizi optimize etmemiz gerekiyor.Search Console da googlenin bize sunduğu en büyük seo analiz aracı olduğunu söyleyebiliriz.

Search Console bize sitemiz ile alakalı bir çok analizi sunarken doğru ve yanlış yaptığımız noktalarda da bilgi iletiyor.Bugün sizlere robots.txt önemli sayfaları engelliyor mu adlı hatadan bahsedeceğiz.

Böyle bir hata aldıysanız xxx.com/robots.txt dosyanızı açıp gözden geçirmeniz gerekiyor.

Örnek bir robots.txt dosyası :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: http://siberajans.co/sitemap.xml

Bu dosyada disallow ve allowlar ile yani türkçe anlamıyla bazı dizinlere izin ver ya da verme.Ve hemen altında ise sitemap’ın bulunduğu konum belirtiliyor.

Gördüğünüz gibi sadece bir dizine izin veriyor ve admin yolunu engelliyor.Şimdi size vereceğimiz örnek robots.txt ile sizde seo uyumlu bir şekilde kendi websitenize entegre edebilirsiniz.

Konuyu uzatmadan hemen wordpress için örnek robots.txt dosyamızı koyalım.

Sitemap: http://siberajans.co/sitemap.xml

User-agent: *
Disallow: /*ref=*
Disallow: /*?ref=*
Disallow: /?ref=*
Disallow: /wp-*
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /wp-admin/
Disallow: /xmlrpc.php
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: *?replytocom
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/

# Resimler
Allow: /wp-content/uploads/
# Google Image
User-agent: Googlebot-Image
Allow: /
# Google
User-agent: Googlebot
Allow: /
# Google Mobil
User-agent: Googlebot-Mobile
Allow: /
# Google AdSense
User-agent: Mediapartners-Google*
Allow: /
# Google Ads
User-agent: Adsbot-Google
Allow: /
# Archive
User-agent: ia_archiver
Disallow: /

NOT : Site ismini kendi sitenize göre düzenlemeyi unutmayınız !

siberajans

Dünyayı değiştirenler, ancak bunu yapabileceklerini düşünecek kadar çılgın olan insanlardır.

Tüm Blog Yazıları