Robots.txt 1.1 - управление поисковыми пауками

Опубликовано: 22.12.2014 13:19
Просмотров: 670

Robots.txt - незаменимая программа для вебмастеров, которых интересует как поисковые пауки просматривают их сайт.

 Robots.txt - редактор, который позволяет контролировать процесс индексации вших сайтов поисковыми пауками. Программа содержит стандартные файлы, которые помогут контролировать визиты пауков.

Программа позволяет:

  • создавать стандартизированные файлы robots.txt;
  • запрещать доступ к сайту нежелательным ботам;
  • подсказывать путь для роботов в многоязычных сайтах;
  • ограничить доступ к системным и административным файлам на сервере;
  • заливать на сервер созданный файл robots.txt;
  • мониторить посещения сайта роботами;
  • выгружать отчеты о посещении сайта роботами в форматы HTML, CSV и XML.

скачать бесплатно Robots.txt

скачать бесплатно Robots.txt

  • Комментарии не найдены

Оставьте свой комментарий

Оставить комментарий от имени гостя

0 / 2000 Ограничение символов
Ваш текст должен быть в пределах 10-2000 символов
Ваш комментарий будет отправлен на модерацию