Sitenizin arama motorlarinda üst siralarda çikmasini ve sitenizin içeriginin daha iyi indexlenmesi için ana dizininize

siteniz.com/robots.txt

robots.txt dosyasi olusturun ve içine su kodu yazin:

Kod:
User-agent: *
allow: /


Bu kod bütün siteyi indexler.Buradaki Kod:
User-agent: *
parametresi bütün arama örümcekleri sitemi indexlesin demek.
Benim sitemi google indexlesin yeter derseniz

Kod:
User-agent:Googlebot
yapmaniz gerekmektedir.bunu tavsiteye etmem hepsi gelsin indexlesin

Arama motorlarinda çikmasin dediginiz dizin varsa Disallow yapmaniz gerekmektedir.Örnegin admin klasörü yada cgi-bin klasörü gibi dizinler

İçeriğin devamı sadece üyeler içindir!