robots.txt

sitenizin haritasıdır. google,yandex vb. arama motorlarının botları bu harita sayesinde sitenizde dolaşır ve sitenizi indexler.
arama motoru botlarının ilk uğradıkları yer.
arama motorlarının botlarını kandırma dosyası :)