Robots.txt 1.1 - управление поисковыми пауками

•  Печать 
• E-mail

Robots.txt - незаменимая программа для вебмастеров, которых интересует как поисковые пауки просматривают их сайт.

 Robots.txt - редактор, который позволяет контролировать процесс индексации вших сайтов поисковыми пауками. Программа содержит стандартные файлы, которые помогут контролировать визиты пауков.

Программа позволяет:

• создавать стандартизированные файлы robots.txt;
• запрещать доступ к сайту нежелательным ботам;
• подсказывать путь для роботов в многоязычных сайтах;
• ограничить доступ к системным и административным файлам на сервере;
• заливать на сервер созданный файл robots.txt;
• мониторить посещения сайта роботами;
• выгружать отчеты о посещении сайта роботами в форматы HTML, CSV и XML.

скачать бесплатно Robots.txt

Советуем почитать

50 SEO советов для продвижения сайта	Google Panda. 5 советов по внутренней перелинковке сайта	Как стать программистом. Главные этапы становления личности.
Странное SEO, или продвижение сайта своими руками V 1.0 Начало	Зачем создавать зеркало сайта	Увеличение трафика поисковых роботов