База блогов Яндекс(Yandex)

Автор: admin. 01 Дек 2008, 13:32

Напарсил базу блогов Yandex. В базе около 6 милионов блогов. Сссылка для скачавания тут:
качать тут ( 40 M)
Сделал из нее выжимку, удалив всякие ЖЖ и подобные, получилось более 100к блогов:
Качать тут (0.6 M)
Популярность: 81%

Популярность: 81%

Читать полностью >>

Парсер Yandex блогов

Автор: admin. 28 Ноя 2008, 15:09

Если вы хотите собрать базу яндекс блогов ( yandex blog base), то предлагаю вам программку для сбора URL блогов.
<?php
error_reporting(E_ALL);
$page=1;
while(true)
{
$content = file_get_contents(”http://blogs.yandex.ru/top/?page=$page”);
preg_match_all(’/<a href=\”(.*)\” class=\”container\”/’, $content, $piece);
//print_r($piece[1]);
$fl = fopen(”links.txt”, “a+”);
foreach($piece[1] as $v)
{
fputs($fl, $v.”\n”);
}
fclose($fl);
echo(”Complite page = “.$page.”, links = “.count($piece[1]).”\n”);
$page++;
}
?>
Программу можно запускать там, где есть php в режиме cgi. Примерно так:
php-cgi yandex_blogs.php
База блогов Яндекса ( не полная) здесь.
Популярность: [...]

Популярность: 59%

Читать полностью >>