После наблюдения за индексацией проектов на Wordpress-е и не только на нем, вижу интересную тенденцию.
Первые странички – которые индексируются гуглом – странички в адрессе которых /tag/ (например site.com/tag/SEO).
Варианта два:
1) Гугл видит много ссылок на странички тегов
2) Гугл знает что по ТЕГ-ам можно достаточно быстро определить тематику сайта – не анализируя весь контент
На одном из проектов – вообще интересная ситуация, изначальная индексация нового сайта по sitemap – в котором главная + странички контента. Но в поиске все равно появились сначала главная потом странички тегов – потом контент странички.
Ссылок на теги с главной – тоже не было… Робот мог о них узнать только с контент страниц.
Вообще – давно интересно – поисковики подгоняют-учат роботов своих под определенные CMS?
Под тот же мега-популярный Wordpress/drupal/joomla?
Научив робота – типичной структуре – многих CMS – робот будет значительно быстрее справлятся с обходом их.
-
unicom.ru
