Продается, свежая база сайтов Яндекс каталога (Ноябрь, 2014)

Что вы получите:

База предоставляется в виде одного .xls файла разбитого на листы/категории.

Основная категория - количество уникальных URL адресов:

Hi-Tech - 10459 (-162)
Работа - 974 (+208)
Учёба - 10803 (-8)
Дом - 31849 (-172)
Общество - 5345 (-353)
Развлечения - 5148 (-11)
Отдых - 9437 (-311)
Культура - 16567 (-34)
Спорт - 6100 (-1010)
СМИ - 3749 (-587)
Бизнес - 46411 (-1945)
Справки - 3728 (-243)
Авто - 5521 (-145)
Порталы - 785 (-27)
Универсальное - 905 (-95)

Дополнительная выборка:

Новые сайты - 850 (-150)
Мобильный ЯК - 1268 (-103)

Всего (URL адресов): основной ЯК - 157 781 (-4895), мобильный ЯК - 1268 (-103).

В скобках указаны изменения, по сравнению с предыдущим обновлением базы.

Описание полей в таблице:

1. Название категории в Яндекс каталоге, вида: категория/подкатегория/субкатегория/... полный уровень вложенности
2. Количество сайтов присутствующих в данной категории на момент парсинга
3. URL адрес категории в ЯК
4. URL адрес сайта
5. ТИц сайта (по яндекс бару)
6. Google PageRank сайта
7. Присвоенный регион (по яндекс бару)
8. Присвоенная тематика (по яндекс бару)
9. Название сайта в каталоге
10. Описание сайта в каталоге
11. Ссылка на скриншот сайта в каталоге
12. Ссылка на Whois данные сайта (для поддоменов и различных экзотических доменных зон ссылка может быть некорректна)

Особенности:

- С целью уменьшения количества дублей в процессе парсинга были исключены ссылки на категории, содержащие в себе /synt2/ и /geo/
- База почищена на дубли (по полному совпадению URL адреса). Дубли вычищаются в пределах основной категории (например, Hi-Tech) начиная от самых маленьких и заканчивая самыми крупными категориями/подкатегориями. Размер категории определяется по количеству сайтов присутствующих в данной категории на момент парсинга.
- Дополнительно предоставляется нечищеный на дубли вариант базы в .txt формате. Помимо наличия дублей в таком варианте отсутствуют следующие параметры: ТИц, PageRank, Присвоенный регион и тематика, Ссылка на whois.

Обновление базы:

Обновление раз в три месяца или чаще. Обновление платное – всем ранее купившим базу скидка 50% от стоимости базы на момент обновления.