O robots.txt é uma das peças fundamentais para para seu blog ou site, pois ele é a porta de entrada dos buscadores é o primeiro arquivo que procuram para saber o que podem ou não indexar no site. Nele foi vai ditar as regras do site, por isso tome muito cuidado ele usado de forma errada por prejudicar seu site.
Nenhum comentário:
Postar um comentário