Başlıktada dediğim gibi google siteyi indexleme sürecinde hazırlanan robots.txt dosyasındaki bilgileri okuyormuş.peki bu robots.txt dosyası nasıl düzenleniyor.bununla ilgili bilgisi olan arkadaşlar yardım edebilirmi acaba.
Dostum bu arama motorlarının sayfanı indexlemesini kolaylaştırır. Sitendeki tüm sayfaları indexlemesi için User-agent: * allow: / yazmalısın robot.txt te...düzenlemeyi html ya da asp vs. onun içindeki meta tagında yapacaksın. sayfanın arama motorunda indexlenmesini istemiyorsan disallow , tek sayfa içinde <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
bu kodu robot.txt adında oluşturduğun text belgesinin içine yapıştır ve servera gönder
<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">
bu kodu da arama motorlarının indexlemesini istediğin sayfaların kaynagında Head tagı araasına yapıştır.
indexlenmesini istemediğin sayfalarda örn: admin paneli falan o sayfalarda da <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> kodunu head tagı arasına yapıştır.
Başlıktada dediğim gibi google siteyi indexleme sürecinde hazırlanan robots.txt dosyasındaki bilgileri okuyormuş.peki bu robots.txt dosyası nasıl düzenleniyor.bununla ilgili bilgisi olan arkadaşlar yardım edebilirmi acaba.
Saygılarımla.