Варианта два:

1) Гугл видит много ссылок на странички тегов
2) Гугл знает что по ТЕГ-ам можно достаточно быстро определить тематику сайта – не анализируя весь контент

На одном из проектов – вообще интересная ситуация, изначальная индексация нового сайта по sitemap – в котором главная + странички контента. Но в поиске все равно появились сначала главная потом странички тегов – потом контент странички.
Ссылок на теги с главной – тоже не было… Робот мог о них узнать только с контент страниц.

Вообще – давно интересно – поисковики подгоняют-учат роботов своих под определенные CMS?
Под тот же мега-популярный Wordpress/drupal/joomla?
Научив робота – типичной структуре – многих CMS – робот будет значительно быстрее справлятся с обходом их.

// some configuration data data
define(‘FORUM_DOMAIN_ROOT’, ‘http://’.$_SERVER['HTTP_HOST'].’/');
$disallow = array(‘none’);
define(‘IN_PHPBB’, true);
$phpbb_root_path = ‘./’;
$phpEx = substr(strrchr(__FILE__, ‘.’), 1);
include($phpbb_root_path . ‘common.’.$phpEx);

/**
* Lets start a Party
*/
// send xml header…
header (“content-type: text/xml”);
echo ‘<?xml version=”1.0″ encoding=”UTF-8″?>’.”\n”;
// get forumID (siteMap id from get
if ($_GET['fid']){
$fid = (int) $_GET['fid'];
}

if (isset($fid)) {

if ($fid == ‘65535′) {
// if id 65535 show forum forums index…
echo ‘  <urlset xmlns=”http://www.google.com/schemas/sitemap/0.84″>’.”\n”;
echo ‘    <url>
<loc>’.FORUM_DOMAIN_ROOT.’</loc>
<changefreq>daily</changefreq>
</url>’;

$sql = ‘SELECT forum_id,forum_name FROM ‘.$table_prefix.’forums’;
$result = $db->sql_query($sql);
while ($data = $db->sql_fetchrow($result)) {
if (!array_search($data['forum_name'], $disallow)) {
echo ‘
<url>
<loc>’. FORUM_DOMAIN_ROOT .’viewtopic.php?f=’. $data['forum_id'] .’</loc>
<changefreq>daily</changefreq>
</url>’;
}
}
echo ‘  </urlset>’;
$db->sql_freeresult($result);
} else {
// Let’s check it’s not a restricted forum
$sql = ‘SELECT forum_id FROM ‘.$table_prefix.’forums WHERE forum_id = “‘.$fid.’”‘;
$result = $db->sql_query($sql);
$data = $db->sql_fetchrow($result);
$db->sql_freeresult($result);
if ($data['forum_id'] == $fid) {
echo ‘  <urlset xmlns=”http://www.google.com/schemas/sitemap/0.84″>’.”\n”;
$sql = ‘SELECT t.*, u.username, u.user_id, u2.username as user2, u2.user_id as id2, p.post_username, p2.post_username AS post_username2, p2.post_time
FROM ‘.$table_prefix.’topics t, ‘.$table_prefix.’users u, ‘.$table_prefix.’posts p, ‘.$table_prefix.’posts p2, ‘.$table_prefix.’users u2, ‘.$table_prefix.’forums f
WHERE t.forum_id = f.forum_id and t.forum_id = ‘.$fid.’ AND t.topic_poster = u.user_id AND p.post_id = t.topic_first_post_id AND p2.post_id = t.topic_last_post_id AND u2.user_id = p2.poster_id ORDER BY t.topic_type DESC, t.topic_last_post_id DESC’;
$result = $db->sql_query($sql);
while ($data = $db->sql_fetchrow($result)) {
echo ‘    <url>
<loc>’. FORUM_DOMAIN_ROOT .’viewtopic.php?f=’. $data['forum_id'] .’&amp;t=’. $data['topic_id'] .’</loc>
<lastmod>’.date(‘Y-m-d’, $data['post_time']),’</lastmod>
</url>’;
}
echo ‘  </urlset>’;
$db->sql_freeresult($result);
}
}
} else {
echo ‘  <sitemapindex xmlns=”http://www.google.com/schemas/sitemap/0.84″>’.”\n”;
// Let’s create a link to the main forum index sitemap
echo ‘    <sitemap>
<loc>’.FORUM_DOMAIN_ROOT.’sitemap.php?fid=65535</loc>
</sitemap>’;
// Let’s do a loop here and list all the forums!
$sql = ‘SELECT forum_id,forum_name FROM ‘.$table_prefix.’forums’;// WHERE auth_view = “0″ and auth_read = “0″‘;
$result = $db->sql_query($sql);
while ($data = $db->sql_fetchrow($result)) {
if (!array_search($data['forum_name'], $disallow)) {
echo ‘
<sitemap>
<loc>’.FORUM_DOMAIN_ROOT.’sitemap.php?fid=’.$data['forum_id'].’</loc>
</sitemap>’;
}
}
echo “\n”.’  </sitemapindex>’;
$db->sql_freeresult($result);
}
?>

Также – можно скачать Sitemap generator для phpBB3 одним файлом тут http://aver.kiev.ua/dl/sitemap.php.zip

Установить просто!
1) скачать архив…
2) разархивировать – залить на хостинг в папку форума в корень файл  sitemap.php
3) все! По адресу  http://SampleSiteForum.com/forum/sitemap.php – ваша карата сайта – форума

Далее можно добавить в robots.txt строку вида
sitemap: http://SampleSiteForum.com/forum/sitemap.php

дабы поисковики нашли сайтмепы вашего сайта.
Также можно воспользоваться центром помощи веб мастеру от Google https://www.google.com/webmasters/tools/ и Yandex http://webmaster.yandex.ru/ – проверив все ли нормалько с картой сайта и как там идет индексация его!
Удачи всем =)

Например при запросе google выдается вот такое:

Далее, если пользователь все же думает перейти по ссылке – гугл предупреждает таким текстом:

На днях проскакивала информации о закрытии googl-ом совместного с Мозилой проекта по предупреждению о опасных сайтах для пользователей старых версий FireFox.
Возможно когда отключали – зацепили и сам google?

Обновление (через 20 минут после поломки):

После сбоя с алгоритма определения опасных сайтов начались проблемы и на других сервисах компании.
Так на сервисе поддержки компании http://www.google.com/support/ красуется
Server Error
The server encountered a temporary error and could not complete your request.Please try again in 30 seconds

В принципе как для раздела супорта – такое вполне логично во время сбоя….

Но вот почему отвалился сервис НОВОСТЕЙ (http://news.google.com/) ?!?!

Гугл заметает следы???

update #2:

А вот так упала трафикогенерация от гугла по СНГ-нету за это время:

(с) Liveinternet, roem

Официальное сообщение от google: http://googleblog.blogspot.com/2009/01/this-site-may-harm-your-computer-on.html
Как оказалось всему виной “/” в списке сайтов который гугл получает от stopbadware.org!
Программисты гугла не предусмотрели проверки получаемых от туда адресов! и Вуа-ля.. гугля поломалась из-за мелочного недочёта…
Кстати, сама организация stopbadware.org заявляет следующее о проблеме: http://blog.stopbadware.org/2009/01/31/google-glitch-causes-confusion

Компания Google опубликовала рейтинг поисковых запросов за 2008 год.
Смотреть тут: http://www.google.com/intl/en/press/zeitgeist2008/world.html
Рейтинг отражает статистику наиболее популярных тем, интересующих пользователей поисковой системы в уходящем году.
Про Украину как всегда забыли (( Но данные по РуНету есть. А они по традиции – нам очень близкие (в рейтинге есть наш бумбокс и казантип)

Итак рейтинг

Cамые быстро растущие (Fastest Rising)

1. в контакте
2. одноклассники
3. википедия
4. переводчик
5. mail.ru
6. скачать игры
7. qip
8. картинки
9. яндекс
10. новости

Cамые популярные (Most Popular)

1. фото
2. игры
3. карта
4. mp3
5. погода
6. одноклассники
7. nokia
8. работа
9. картинки
10. в контакте

Самые важные события 2008 года

1. олимпиада в пекине
2. евро 2008
3. война грузия осетия
4. кризис
5. коллайдер
6. евровидение
7. лига чемпионов
8. казантип
9. формула 1
10. helloween

Самые популярные публичные люди

1. ранетки
2. дима билан
3. путин
4. бритни спирс
5. медведев
6. тимати
7. бумбокс
8. linkin park
9. tokio hotel
10. metallica

Рейтинг “Кто такой…?”

1. ктулху
2. девид блейн
3. менеджер
4. кто ты такой
5. медведев
6. бог
7. кенни
8. копирайтер
9. нуб
10. модератор

Рейтинг “Хочу изменить…”

1. цвет глаз
2. голос
3. цвет волос
4. имидж
5. судьбу
6. мужу
7. прическу
8. карму
9. пол
10. форму носа

Кстати срез поисковых запросов по УаНету доступен на портале Бигмир:  http://index.bigmir.net/sewords
А также на liveinternet:  http://www.liveinternet.ru/stat/ru/queries.html?slice=ukr&id=9543&id=11068&id=11894&id=10792&id=14216&per_page=100

Итак, то о чём я догадывался месяц назад – походу свершилось!
Google теперь в украинских сетях и в UA-IX в частности.

http://www.colocall.net/uaix/?host=google.com

При чём вместе с гуглом, другие ресурсы которыми владеет компания тоже в UA-IX теперь.
Например YouTube пока свою морду нам не дал, но зато сервера с видео файлами (тобищь – то что как раз самое больше по объему трафика, а значит – цене и скорости).

Например v1.cache.googlevideo.com – ua-ix.
Именно от туда бодренько отдавал 21МБ ролик мне YouTube

Поздравляю Гугл и наших провайдеров которые были причастны – с приходом в УаНет Нетворк Лист и уаикс )
Жаль, что гугл на нас пока забивает в сервисном плане, но может после прихода c паритетами – и за сервисы возьмется

p.s. все же не увлекайтесь YouTube-ом вдруг проскакивать ролики не в UA-IX будут

За минувшие две недели пост-советский интернет потрясли два события.
Первым ньюс- мейкером стал Украинский холдинг Bigmir-internet.
Который порадовал своих пользователей и клиентов двумя новостями.
Переходом их поискового сервиса с выдачи Yandex.XML на Пользовательский поиск от Google.
(Сам поиск был внедрен через Ajax запросы к серверам Гугла. Что фактически лишает сам портал манипуляций и адаптации поиска к Украинскому рынку. Не совсем правильный шаг ИМХО).

Но на Украинском сегменте такой ход уже не сильно отразится, так как портал генерирует около 1 % всего поискового трафика в Украине, и доля снижается что четко видно на графике ниже.

Или тут http://index.bigmir.net/se

Второй новостью стало то что Bigmir-internet стал официальным дистрибьютором Google AdWords в Украине.
Суть в том, что теперь за 10 % от сделки клиенты компании смогу размешать свою рекламу в Google AdWords.
Для Google в данном случаи такой ход является ощутимым плюсом. Так при сотрудничестве с Бигмиром доля рекламы через Google AdWords в Украине существенно возрастет.
Так как через холдинг “Бигмир – интернет” по некоторым подсчетам проходит половина рекламных бюджетов в Украинском Интернете.
И Google перенаправил % данных бюджетов себе.

Ну и на последок, с началом сотрудничества Бигмира и Гугла в Украине стало на одну технологию меньше.
AdSearch – система контекстной рекламы портала, разработанная его сотрудниками уходит в небытие.
До этого Бигмир по сути лишился собственной почты (сейчас google), и частично банерной сети BigBN (сейчас Adriver).

Братские народы, повторяют подвиги

К концу недели пришла более  серьёзная новость с России.
Там Google выкупил у Рамблер медиа систему контекстной рекламы begun за 140 млн. долларов!
По аналоги с бигмиром сам рамблер переходит на посковую выдачу все того же Гугла.
(новость с сайта Рамблер-Медиа Англ. Или новость с сайта Google)

Комментарии по данному поводу можно почитать тут: http://roem.ru/2008/07/18/begun/

Выводы.

По сути в обеих случаях Google покупает базу клиентов в регионе.
Теперь те клиенты которые работали с бигмиром или рамблеровским бегуном – будут работать с решениями от Google.
Что, как мне кажется, значительно увеличивает долю Google на рынке Интернет рекламы СНГ.

И это дает повод задуматься по сути единственному конкуренту Гугла в регионе – компании Яндекс.
Который уже дает комментарии в своем блоге:
http://company.yandex.ru/blog/message.xml?msg=103021

Вот такие вот маневры гугла в СНГ-нете

Ключевая фраза которая понравилась:
«Я наслаждаюсь моей работой. Не важно, богатый или нет, я — счастливый, потому что я наслаждаюсь тем, что я делаю. И это на самом деле главное богатство» (с) Сергей Брин.

Вот бы и себе так….

Началось все с утра, когда мы решили заглянуть что день грядущий нам готовит, тут то нас и порадовал weather.co.ua актуальной погодой для насяльника от Равшана и Джамшуда.

Далее зайдя на крупнейший интернет портал Украины – bigmir)net , мы обнаружили что в логотипе появился кот.
Кот видимо искал ту крыску – которая атаковала сервера бигмира на новый год.

Надумав ознакомится с ситуацией в мире, мы увидели что новостей больше нету, остались только Старости.UA.
Которые предлагают пройти уникальный тест IQ.

Тут то мы и задумались, а может что то не то? Какая дата сегодня?
Тут нам помог другой крупный Украинский портал Online.ua.
Который принес радостную новость, что в марте уже 32 дня!

Ну и завершилась прогулка по сети, в почтовой системе от Google – Gmail.
Которая предоставила революционную функциональность – отправку писем в прошлое!!!

Помимо компании Гугл, порадовала нас и социальная сеть ВСОЮЗЕ! Видимо с Гуглом они все согласовали, и радовали товаришей пользователей интерфейсом в духе СССР!

Вот такая у нас веселая сеть
Если что забыто – пишите вставлю в обзор.