Robots.txt 1.1 - управление поисковыми пауками
Опубликовано: 22.12.2014 13:19
Просмотров: 2013
Robots.txt - незаменимая программа для вебмастеров, которых интересует как поисковые пауки просматривают их сайт.
Robots.txt - редактор, который позволяет контролировать процесс индексации вших сайтов поисковыми пауками. Программа содержит стандартные файлы, которые помогут контролировать визиты пауков.
Программа позволяет:
- создавать стандартизированные файлы robots.txt;
- запрещать доступ к сайту нежелательным ботам;
- подсказывать путь для роботов в многоязычных сайтах;
- ограничить доступ к системным и административным файлам на сервере;
- заливать на сервер созданный файл robots.txt;
- мониторить посещения сайта роботами;
- выгружать отчеты о посещении сайта роботами в форматы HTML, CSV и XML.
Советуем почитать
