[Coutty]

Я думаю, что и для обычных сайтов карта уже не нужна. Это раньше поисковикам подсказки всякие нужны были: карта сайта, meta-тэги description, keywords и подобная фигня. А сейчас они уже достаточно развились, чтобы ориентироваться самостоятельно.

[Smoke2k]

Я думаю, что и для обычных сайтов карта уже не нужна. Это раньше поисковикам подсказки всякие нужны были: карта сайта, meta-тэги description, keywords и подобная фигня. А сейчас они уже достаточно развились, чтобы ориентироваться самостоятельно. »

Как раз тут тот же самый Google говорит об обратном, если посмотреть в Google WebMaster Tool, то они очень даже рекомендуют использоваьт sitemap. К тому же в SiteMap можно контролировать что конкретно допускать к индексации, а что нет. Например если кто-то ведёт двойной блог, один публичный, профессиональный или просто для всех, а другой личный, только для близских друзей, родственников и т.п. или например блог компании в котором есть внутрекорпоративная, и есть публичная для клиентов. Так что инструмент SiteMap вряд ли изживёт себя в близжайшее время... А вот по части форума тут сложнее, как мне кажется, и потому возник вопрос, возможно что как раз на счёт форума вы правы, хотя тоже можно наткнуться на перекрёстные ссылки на одни и те же сообщения, а это уже поисковики очень не любят

[Habetdin]

что конкретно допускать к индексации »

Для этого есть robots.txt
P.S.: как закрыть страницу от индексации, используя sitemap?

[Smoke2k]

P.S.: как закрыть страницу от индексации, используя sitemap? »

Я не притендую на спеца, потому как новечёк сам, но из того что я прочитал, понял что всё зависит от движка. Например в WordPress есть очень даже хорошие плагины которые в которых можно указать категории или какие-то спицефические параметры которые будут фильтровать страницы по содержанию что допустить в sitemap, а что нет. И на сколько я понял в robots.txt можно указать только физические пути на сервере куда роботам нельзя заходить. Или можно блокировать страницы перечисляя их... хотя если так подумать, то какая разница что генерировать Sitemap.xml или robots.txt. Хотя мне кажется передать поисковику список страниц значительно лучше нежели фильтровать доступ для бота

И всё же вопрос остаётся открытым, нужен ли такой фаил (robots.txt или sitemap.xml) в форуме? или есть ещё какие-то системы индыксации которые больше подходят для форумов? Или это вообще делать не нужно?

[Habetdin]

что допустить в sitemap, а что нет. »

Это не то же самое, что "что конкретно допускать к индексации" Для запрета индексации - robots.txt

какая разница что генерировать Sitemap.xml или robots.txt »

Первое дает поисковику информацию о структуре сайта, а второе указывает, что из содержимого сайта нельзя показывать в поиске

нужен ли такой фаил »

Sitemap облегчает поисковику жизнь, нужен он или нет - решать вам

---

мне кажется передать поисковику список страниц значительно лучше нежели фильтровать доступ для бота »

Одно другому не мешает, но что здесь значит "лучше"? Что-то вроде "Лучше ребенку показать тарелку с печеньками, чем запрещать ему лезть во вторую, с конфетами" - как по вашему связаны такие тарелки?..

[Smoke2k]

Habetdin, ок с этим лично мне всё понятно, когда речь идёт о сайте, портале или блоге. А как же форумы? ведь здесь всё динамическое, как поступают с ними? делают ли sitemap или используют какие-то инные технологии для улучшения индексации?