[решено] анализ robots.txt - Компьютерный форум OSzone.net

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)

- Программирование и базы данных (http://forum.oszone.net/forumdisplay.php?f=21)

- - [решено] анализ robots.txt (http://forum.oszone.net/showthread.php?t=290428)

makatuk

04-11-2014 20:56 2424673

анализ robots.txt

Вложений: 1

при проверки robots.txt в результате указывает на "Обнаружена неизвестная директива"в чём может быть проблема ?

Master-It

05-11-2014 08:58 2424821

makatuk, у вас в robots.txt совершенно не те данные, которые нужны. Это данные sitemap.xml, что-то вы перепутали.
Пример роботс.тхт:

Код:

User-agent: *

 #Для всех роботов

Allow: /страница.html

 #Разрешает сканировать страницу

Disallow: /папка/

 #Закрывает от индексации директорию папка

Disallow: /администратор.html

 #Закрывает от индексации страницу администратор.html

Синтаксис и правила составления robots.txt смотрите здесь.

makatuk

05-11-2014 16:39 2425049

Цитата:

Цитата Master-It

в robots.txt совершенно не те данные »

подскажите что нужно прописать в строках которые у Вас указаны на русском языке?
я не программист,сайт делал через конструктор WebSite X5 Evolution 11,сейчас хочу его оптимизировать

Master-It

05-11-2014 17:00 2425063

makatuk, в вашем случае будет достаточно разрешить всем ботам (User-agent: *) сканировать весь сайт (Allow: /), указать главное зеркало для Яндекса и добавить карту сайта sitemap.xml.
В итоге вот этого кода для вашего сайта будет достаточно:

Код:

User-agent: *

Allow: /

Host: www.optimanerud.com

Sitemap: http://www.optimanerud.com/sitemap.xml

Все остальное нужно удалить, после этого проверьте robots.txt в валидаторе.

Если на сайте есть админка, или другая папка, сценарий (html или Php страница) и вы не хотите, чтобы роботы их индексировали, то добавьте в роботс инструкцию:
Disallow: /папка/
Disallow: /страница.html

makatuk

05-11-2014 17:10 2425068

Цитата:

Цитата Master-It

User-agent: *
Allow: /
Host: www.optimanerud.com
Sitemap: http://www.optimanerud.com/sitemap.xml »

премного благодарен за ответ !

Время: 17:29.