Robots.txt 1.1 - управление поисковыми пауками

•  Печать 
• E-mail

Robots.txt - незаменимая программа для вебмастеров, которых интересует как поисковые пауки просматривают их сайт.

 Robots.txt - редактор, который позволяет контролировать процесс индексации вших сайтов поисковыми пауками. Программа содержит стандартные файлы, которые помогут контролировать визиты пауков.

Программа позволяет:

• создавать стандартизированные файлы robots.txt;
• запрещать доступ к сайту нежелательным ботам;
• подсказывать путь для роботов в многоязычных сайтах;
• ограничить доступ к системным и административным файлам на сервере;
• заливать на сервер созданный файл robots.txt;
• мониторить посещения сайта роботами;
• выгружать отчеты о посещении сайта роботами в форматы HTML, CSV и XML.

скачать бесплатно Robots.txt

Советуем почитать

Бесплатный PHP парсер сайтов на PhantomJS	Январь 2015. С чего мы начинали.	Умная методика и пример семантического ядра
Советы по работе в ссылочных биржах на примере Sape	Устаревшие теги в HTML 5	Установка WordPress на хостинг