На протязі останнього місяця я активно (пасивно-сонно – точніше) розробляв сервіс по збору статистики та аналізу українського твітеру – проекту twitwi.net (ТвіТві).

Основні цілі-складові-завдання сервісу:

Рейтинг тегів

За допомогою даного інструменту можна відслідковувати  тенденції в реальному часі з життя країни та твітерян.
Аналогів для УкрТвітеру наразі немає!

Рейтинг твітерян

Дати можливість знайти та обрати кого фоловити а кого ні.
Ну і ТвіТомірка якась для УкрТві, без присмаку РуНету =)
Сподіваюсь рейтинг стимулюватиме Твітерян писати більше і краще!
І розвивати УкрТві…

Аналіз Укр Твітеру

Аналіз ставлення до компаній, брендів, особистостей та явиш в твітері.
Наприклад як люди відносяться до того чи іншого політика, як вони реагують на новий продукт ітд
Аналіз та побудова зв’язків між людьми (на базі даних про фоловерів в твітері).

Пошук лише в Українському твітері

В самому твітері зробити пошук по Україні наразі неможливо.
Тож варто спробувати це зробити за нього =)

і багато іншого…

Технічна складова проекту

Проект наразі розробляется на базі PHP MVC фреймворку CodeIgniter.
Для отримання данних використовуется стандартне АПІ Твітеру.
Система працює на базі серверів під  FreeBDS та Linux Debian.
Використовуються MySQL  для зберігання даних та Sphinx для частин пошуку та аналізу.

Проміжні результати

За місяць роботи в альфа режимі системою зібрано більше 200 000 твітів від 7500+ користувачів.
Є проблеми з невідслідковуванням частини Українського твітеру, або навпаки з попаданням в систему твітів від іноземців (Польша-Китай-Росія-Молдова ітд).
Також незрозуміло що робити з твітер-фідами сайтів, блокувати їх повністю – чи лише не брати данні для аналізу?

Ось мабуть і все
Будь-які побажання, питання можна задати тут або на пошту twitwi@mediacolo.com
Або мені в icq: 311007731 чи звісно твітер http://twitter.com/tkachenko

Тві-Тві!!!

// some configuration data data
define(‘FORUM_DOMAIN_ROOT’, ‘http://’.$_SERVER['HTTP_HOST'].’/');
$disallow = array(‘none’);
define(‘IN_PHPBB’, true);
$phpbb_root_path = ‘./’;
$phpEx = substr(strrchr(__FILE__, ‘.’), 1);
include($phpbb_root_path . ‘common.’.$phpEx);

/**
* Lets start a Party
*/
// send xml header…
header (“content-type: text/xml”);
echo ‘<?xml version=”1.0″ encoding=”UTF-8″?>’.”\n”;
// get forumID (siteMap id from get
if ($_GET['fid']){
$fid = (int) $_GET['fid'];
}

if (isset($fid)) {

if ($fid == ‘65535′) {
// if id 65535 show forum forums index…
echo ‘  <urlset xmlns=”http://www.google.com/schemas/sitemap/0.84″>’.”\n”;
echo ‘    <url>
<loc>’.FORUM_DOMAIN_ROOT.’</loc>
<changefreq>daily</changefreq>
</url>’;

$sql = ‘SELECT forum_id,forum_name FROM ‘.$table_prefix.’forums’;
$result = $db->sql_query($sql);
while ($data = $db->sql_fetchrow($result)) {
if (!array_search($data['forum_name'], $disallow)) {
echo ‘
<url>
<loc>’. FORUM_DOMAIN_ROOT .’viewtopic.php?f=’. $data['forum_id'] .’</loc>
<changefreq>daily</changefreq>
</url>’;
}
}
echo ‘  </urlset>’;
$db->sql_freeresult($result);
} else {
// Let’s check it’s not a restricted forum
$sql = ‘SELECT forum_id FROM ‘.$table_prefix.’forums WHERE forum_id = “‘.$fid.’”‘;
$result = $db->sql_query($sql);
$data = $db->sql_fetchrow($result);
$db->sql_freeresult($result);
if ($data['forum_id'] == $fid) {
echo ‘  <urlset xmlns=”http://www.google.com/schemas/sitemap/0.84″>’.”\n”;
$sql = ‘SELECT t.*, u.username, u.user_id, u2.username as user2, u2.user_id as id2, p.post_username, p2.post_username AS post_username2, p2.post_time
FROM ‘.$table_prefix.’topics t, ‘.$table_prefix.’users u, ‘.$table_prefix.’posts p, ‘.$table_prefix.’posts p2, ‘.$table_prefix.’users u2, ‘.$table_prefix.’forums f
WHERE t.forum_id = f.forum_id and t.forum_id = ‘.$fid.’ AND t.topic_poster = u.user_id AND p.post_id = t.topic_first_post_id AND p2.post_id = t.topic_last_post_id AND u2.user_id = p2.poster_id ORDER BY t.topic_type DESC, t.topic_last_post_id DESC’;
$result = $db->sql_query($sql);
while ($data = $db->sql_fetchrow($result)) {
echo ‘    <url>
<loc>’. FORUM_DOMAIN_ROOT .’viewtopic.php?f=’. $data['forum_id'] .’&amp;t=’. $data['topic_id'] .’</loc>
<lastmod>’.date(‘Y-m-d’, $data['post_time']),’</lastmod>
</url>’;
}
echo ‘  </urlset>’;
$db->sql_freeresult($result);
}
}
} else {
echo ‘  <sitemapindex xmlns=”http://www.google.com/schemas/sitemap/0.84″>’.”\n”;
// Let’s create a link to the main forum index sitemap
echo ‘    <sitemap>
<loc>’.FORUM_DOMAIN_ROOT.’sitemap.php?fid=65535</loc>
</sitemap>’;
// Let’s do a loop here and list all the forums!
$sql = ‘SELECT forum_id,forum_name FROM ‘.$table_prefix.’forums’;// WHERE auth_view = “0″ and auth_read = “0″‘;
$result = $db->sql_query($sql);
while ($data = $db->sql_fetchrow($result)) {
if (!array_search($data['forum_name'], $disallow)) {
echo ‘
<sitemap>
<loc>’.FORUM_DOMAIN_ROOT.’sitemap.php?fid=’.$data['forum_id'].’</loc>
</sitemap>’;
}
}
echo “\n”.’  </sitemapindex>’;
$db->sql_freeresult($result);
}
?>

Также – можно скачать Sitemap generator для phpBB3 одним файлом тут http://aver.kiev.ua/dl/sitemap.php.zip

Установить просто!
1) скачать архив…
2) разархивировать – залить на хостинг в папку форума в корень файл  sitemap.php
3) все! По адресу  http://SampleSiteForum.com/forum/sitemap.php – ваша карата сайта – форума

Далее можно добавить в robots.txt строку вида
sitemap: http://SampleSiteForum.com/forum/sitemap.php

дабы поисковики нашли сайтмепы вашего сайта.
Также можно воспользоваться центром помощи веб мастеру от Google https://www.google.com/webmasters/tools/ и Yandex http://webmaster.yandex.ru/ – проверив все ли нормалько с картой сайта и как там идет индексация его!
Удачи всем =)

Интересно другое.
Возможность использования ресурсов пользовательских ПК для атаки на другие сайты, распознавания капч и других действий требующими ресурсов системы.
Схема достаточно примитивная – у нас есть посещаемый сайт, в его html-код мы вставляем ява скрипт  который производит определённые расчёты на стороне пользователя (начиная от распознавания captcha изображений, генерацией md5 хешей и их перебором до вполне полезной число-дробилки на стороне клиента – скажем для изучения ДНК человека).
После расчётов, данные отсылаются на наш сервер, браузером ничего не замечающего юзера.

Так и видится в будушем, сети порно сайтов распознающие средствами пользователей – капчи гугла, и научные js-кластера для анализа генома человека и другого дата майнинга.

4 октября 2008 года состоится 13-й ежегодный Конкурс IT-специалистов «Программания-2008».
Вы можете попробовать свои силы в конкурсе-анкете-тесте по таким пункам как: .NET (Programming Languages, CLR and Base Class Library, Application Development, Advanced Topics), .NET 3.0, C++ (STL, ATL, COM), Java, Visual Basic, Delphi, Perl, PHP, Data Bases, Dynamic HTML, XML, Flash/Flex, AJAX, Windows Development (Windows API), Object-Oriented Design, Quality Assurance, System Administration, IT-projects management. Дополнительные разделы: технический английский и логические тесты.
В среднем обещают по 10-15 вопросов на технологию.
По анкетам всех участников будет розыгрыш лотарее. Ну и естественно самым лучшим – набравшим наибольшие количество балов – тоже достанется…. призы в смысле и слава
Заинтересовались?
Регистрируйтесь тут: http://programmania.com/Competitor.aspx

З.Ы. В очередной раз радуюсь за GlobalLogic – организатора конкурса. Молодцы!
Даже на бигборды по киеву раскошелились!
Скептики могут конечно сказать – что єто ход HR-отдела, и ничто иное как массовый сбор данных о лучших кадрах в ИТ, в надежде переманить к себе.
Ну так а кто вам мешает? Или жаба давит?

На сайте http://kevin.vanzonneveld.net/techblog/ нашолся интересный проект ‘Porting PHP to Javascript’.
Основная цель проекта предоставить разработчику набор знакомых ему PHP функций, для использования в JavaScript приложениях.
На текущий момент доступны такие функции:

# abs
# addslashes
# array
# array_change_key_case
# array_chunk
# array_combine
# array_count_values
# array_diff
# array_diff_assoc
# array_diff_key
# array_fill
# array_flip
# array_keys
# array_key_exists
# array_map
# array_pad
# array_pop
# array_product
# array_push
# array_rand
# array_reduce
# array_reverse
# array_search
# array_shift
# array_sum
# array_unique
# array_unshift
# array_values
# array_walk
# array_walk_recursive
# base64_decode
# base64_encode
# basename
# bin2hex
# call_user_func_array
# checkdate
# chr
# compact
# count
# count_chars
# crc32
# create_function
# date
# defined
# dirname
# echo
# empty
# end
# explode
# file
# file_get_contents
# floatval
# function_exists
# get_class
# get_included_files
# htmlentities
# htmlspecialchars
# htmlspecialchars_decode
# html_entity_decode
# http_build_query
# implode
# include
# include_once
# intval
# in_array
# ip2long
# isset
# is_array
# is_int
# is_null
# is_numeric
# is_object
# is_string
# join
# krsort
# ksort
# levenshtein
# long2ip
# ltrim
# md5
# md5_file
# mktime
# nl2br
# number_format
# ord
# parse_str
# preg_quote
# printf
# print_r
# rand
# range
# require
# require_once
# reset
# round
# rsort
# rtrim
# serialize
# setcookie
# sha1
# sha1_file
# shuffle
# sizeof
# sort
# soundex
# split
# sprintf
# strcasecmp
# strchr
# strcmp
# stripos
# stripslashes
# strip_tags
# stristr
# strlen
# strnatcmp
# strpbrk
# strpos
# strrev
# strripos
# strrpos
# strstr
# strtolower
# strtoupper
# str_ireplace
# str_pad
# str_repeat
# str_replace
# str_rot13
# str_split
# substr
# substr_count
# time
# trim
# ucfirst
# ucwords
# unserialize
# urldecode
# urlencode
# utf8_decode
# utf8_encode
# var_export
# wordwrap

Для их использования достаночно подключить в ваше приложение файл: http://kevin.vanzonneveld.net/code/php_equivalents/php.js

Удачного PHP.JS-debug-а )

На phpimpact.wordpress.com опубликованы схемы подключение файлов популярных CMS и Framework-ов на PHP.
В обзор попали:

• WordPress 2.2.1
• MediaWiki 1.12
• phpBB 3.0
• phpMyAdmin 2.9.1.1
• Symfony 1.1
• Zend Framework 1.5.2
• CakePHP
• CodeIgniter

ИМХО по схемам достаточно неплохо проилистрирована запутанность данных проектов, и время которое понадобится разработчику чтобы освоится в них.
Так что милости просим на phpimpact.wordpress.com

По сути единственное что меня останавливало от полного перехода на FireFox3 отсутствие любимого мной (если не единственного используемого) плагина – FireBug.
И вуаля Firebug 1.2.0b4 работает в FireFox 3!!!
Вот теперь я уже окончательно перейду на 3-ю лису )

З.Ы. Мож и боян. Но я только заметил

На ХабраХабре повесили новый баннер.
Но новость не про это
Ярко красный баннер (открыто символизирующий желания пролить кровь в лагере СУБД? что ли ) ведет нас на сайт компании Оракл и страничку призывающий сменить СУБД с MySQL на Oracle.
Ниже пару ключевых фактов (от туда):

Компания MySQL AB успешно продвигала свою трехуровневую DBMS MySQL для отделов веб-разработки и малых предприятий. Однако неясные перспективы MySQL после покупки компанией Sun могут внести раскол в привычное сообщество DB. Все это приведет к замедлению разработки и снижению качества продуктов. Учитывая это, мы представляем сообществу MySQL продукт технологии Oracle DB, который можно СВОБОДНО использовать и СВОБОДНО распространять в составе решений – Oracle Database Express Edition.

Поддержка коммерческих приложений. Нишей системы MySQL являются типичные приложения Web 2.0, она никогда не используется в крупных “коробочных” коммерческих (COTS) решениях, включая Oracle, SAP, Peoplesoft, Siebel и т. д.

MySQL наилучшим образом подходит для таких приложений, как Web 2.0 с простыми требованиями к средствам развертывания – MySQL плохо предназначен для сложного развертывания DSS или OLTP с высокими требованиями к многозадачности.

Чем так Ораклу Web 2.0 и вебприложения (за которыми однозначно будущее!) не угодили?
И корректно ли так открыто сопоставлять продукты?
Даже не знаю…

Seedcamp – это международный саммит, где в одном месте собираются команды молодых предпринимателей, инвесторы и топ менеджеры международных IT компаний.Необходимость привлечения стартового капитала, наработка профильных связей и разработка бизнес модели – вот основные трудности с которыми сталкиваются начинающие бизнесмены, при становлении IT компании.

Наша миссия – предоставляя начальные инвестиции и высокопрофессиональный консалтинг, стимулировать развитие новой генерации европейских IT специалистов.

Если у вас есть интересная идея, дружественная команда, желание подвинуть Гугл и седла свой СтарТап- то вам именно сюда! Seedcamp.com.ua
Поспешите регистрация до 11 Мая!

15 марта в гостинице “Русь” (г. Киев) пройдет седьмая всеукраинская конференция по динамическим языкам программирования (Python, Ruby, SmallTalk, Groovy и REBOL).
Детальнее о конференции вы можете прочитать тут: exception.org.ua
Участие платное, но символические 10 у.е. ИМХО погоды не играют. Тем более для такого события
Регистрация на конференцию открыта до 13 марта, по данному линку.

Отсебятинка: Скорей всего буду, тем более что в последнее время проснулся интерес к Python.
Главное что б там не забили представителей PHP фронтов