A-parser - продвинутый парсер ПС, Pr, Wordstat, всего более 35 парсеров!, Google, Yandex, Bing, Suggest, PR, Whois, AOL, Alexa, MajesticSEO... |
|
|
|
|
  18.2.2013, 13:44
|
Участник
Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата
|
Что такое A-Parser?Это быстрый парсер с уклоном на универсальность, удобность и производительность. На данный момент умеет парсить: Поисковые системыКаждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу Для Яндекса есть возможность распознавания каптчи через сервис AntiGate(или любой другой с поддержкой их API) Парсеры кейвордовСервисы поиска ключевых слов- (IMG:http://a-parser.com/img/parsers/yandex-wordstat.gif) Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики. Может сам подставляет найденные ключевые слова в запросы до указанного уровня. Поддерживает распознавание каптчи через АнтиКаптчу.
Подсказки поисковых систем- Подсказки и релейтед кеи Google
- Подсказки и релейтед Bing
- Подсказки, релейтед и трендовые кеи Yahoo
- Подсказки и релейтед Yandex
Для подсказок Google и Yandex умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится Параметры сайтов и доменов- Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, топ рейтинг по стране, саму страну и количество бек-линков
- Rank::MajestiSEO - парсер количества беклинков с сервиса majesticseo.com, парсит количество ссылающихся страниц, количество уникальных IP-адресов, подсетей класса C и количество уникальных доменов
- Rank::SEMrush - проверяет рейтинг SEMrush, количество SE траффика и его стоимость, количество Ads траффика и его стоимость
- Rank::OpenSiteExplorer - проверяет рейтинг домена\страницы по OpenSiteExplorer, а так же количество беклинков и бекдоменов
- SE::Google::Position - проверка позиции домена по ключевому слову в Google
- SE::Yandex::Position - проверка позиции домена по ключевому слову в Yandex
- SE::QIP::Position - проверка позиции домена по ключевому слову в search.qip.ru
- SE::Google::PageRank - PR страниц и доменов
- SE::Google::SafeBrowsing - проверка домена в блеклисте гугла(подпись harm в выдачи)
- SE::Yandex::TIC - проверка тематического индекса цитирования домена в Яндексе(тИЦ)
- SE::DMOZ - наличие сайта в каталоге DMOZ
- SE::Google::TrustCheck - проверка сайта на траст(доверие) гугла(дополнительный блок ссылок в выдаче и т.п.)
- Net::Whois - определяет зарегистрирован домен или нет, а так же дату окончания регистрации
- SE::Bing::LangDetect - определение языка сайта через поисковик Bing
- Net::DNS - парсер резолвит домены в IP адреса
- Rank::Category - автоматически определяет категорию сайта на английском языке, категории такие же как в dmoz.org, например google.com - Computers/Internet/Searching
- Rank::CMS - определение около 200 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков
Парсеры различных сервисов- SE::YouTube - полноценный парсер YouTube, парсит ссылку на ролик, титл, описание, длину ролика, дату добавления, имя пользователя и количество просмотров. Поддерживает все фильтры YouTube
- SE::Google::Maps - парсер ссылок в результатах выдачи в картах Гугла(Google Maps), позволяет искать сайты привязанные к определенной местности
- SE::Yandex::Direct - парсер direct.yandex.ru, парсит список всех объявлений(титл, текст, домен) и кол-во объявлений по определенному запросу
- SE::Google::Images - парсер Google Images, парсит прямые ссылки на картинки, сниппеты, разрешение и размер
- SE::Bing::Translator - переводчик через сервис www.bing.com/translator/, поддерживает все языки сервиса, включая автоопределение языка оригинала текста
- Util::AntiGate - распознавание каптчи через сервис AntiGate, служит для настройки и тестирования распознавания каптч
Парсинг контента- HTML::LinkExtractor - парсит внешние и внутренние ссылки с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня.
- Net::HTTP - скачивает указанную страницу, поддерживает многостраничный парсинг.
Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры. Обработка и фильтрация результатов- Фильтрация любого результата по вхождению строки, эквивалентности строк, регулярному выражению, больше, меньше, равно и т.п.
- Уникализация любого результата по строке, домену, главному домену, папке, строке без учета параметров.
- Парсинг любого результата с использованием регулярных выражений.
Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:- Полностью интерактивный мега-юзабильный веб интерфейс
- Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
- Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
- Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
- Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
- Поддержка русского и английского языка
- Огромная скорость работы, подробнее тут: Производительность
- Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
- User API - интеграция возможностей парсера в свои скрипты, подробнее тут: User API, взаимодействие с другими программами и скриптами
- Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
- Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
- Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki
Более подробное описание и скриншотыWiki - дополнительная информация, инструкции и т.д.Скриншот интерфейса: (IMG: http://a-parser.com/img/add-task.png) На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременная уникализация по домену всех результатов Ценовая политикаНа данный момент продается версия Pro(все парсеры) и Enterprise(все парсеры + API) - Цена лицензии - 200$
- Первый год обновления бесплатны, после первого года использования абонентская плата за обновления - 15$ за каждые 3 месяца(возможность работы без обновлений сохраняется)
- Цена лицензии с API: +50$ к стоимости основной лицензии
- Всем клиентам кто имеет лицензию на A-Poster - цена всего 150$
- Комплект A-Parser + A-Poster всего за 300$!
- Специальное предложение - всем покупателям A-Parser'а предоставляются приватные прокси на 20 потоков на 2 недели!
Лицензия позволяет запускать A-Parser на одном сервере\компьютере(напоминаю поддерживается работа на всех версиях Windows и Linux). Переносить можно бесплатно, нельзя запускать на нескольких компьютерах одновременно. Для покупки парсера зарегистрируйтесь на сайте http://a-parser.com и свяжитесь со мной по любому из следующих контактов: - ICQ 777889
- Jabber/GoogleTalk forbidden2k@gmail.com
- Skype frb403
Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а также возможно обсуждение реализации недостающего вам функционала.
Сообщение отредактировал Forbidden - 18.2.2013, 13:45
|
|
|
|
|
|
|
|
12.3.2013, 11:56
|
Участник
Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата
|
A-Parser - версия 0.9.383Добавлен парсер (IMG: https://www.blackseo.com/imgcache/2712.png) Check::BackLink - проверяет нахождение вашей ссылки(ссылок) по базе ссылок: - Проверяет закрыта ли от индексации страница через robots.txt
- Проверяет meta тег robots на наличие атрибутов noindex и nofollow
- Проверяет наличие rel=nofollow у найденной ссылки
Парсер (IMG: http://a-parser.com/img/parsers/ahrefs.gif) Rank::Ahrefs возвращен обратно Теперь парсер (IMG: http://a-parser.com/img/parsers/yandex.gif) собирает до 1000 результатов с каждого запроса Так же значительно обновлена Документация, теперь она готова примерно на 70%, а в скором времени будет приятное обновление сайта. Исправлено: - Импортированние пресетов заданий не работало, ошибка появилась в предыдущей версии
- Исправлен парсер (IMG:http://a-parser.com/img/parsers/aol.gif) SE::AOL - теперь требуется гораздо меньше попыток на выполнение запроса
Связанные задачи:Цитата Ошибка #402: Import preset not work
Ошибка #406: Fix parser crash when start paused task after server restart
Ошибка #418: Дубли имен заданий на закладке "Добавить" в поле "Сохр. задание"
Ошибка #419: Fix {size} result in SE::Google::Images
Ошибка #420: Remove unsupported 'deflate' method from accept-encoding header
Ошибка #421: Fix SE::AOL parser
Улучшение #254: Проверка базы ссылок на наличие обратной ссылки + noindex + nofollow
Улучшение #393: Return Rank::Ahrefs parser
Улучшение #403: Now SE::Yandex can parse up to 1000 links per query Цитата(Chin @ 23.2.2013, 20:27)  Цитата(Forbidden @ 18.2.2013, 15:55) собирает всю выдачу Сомнительно, даже с доп словами для парсинга основной фразы (IMG: http://4seo.biz/style_emoticons/default/baaa.gif) А вообще - удачи продукту! (IMG: http://4seo.biz/style_emoticons/default/smile.gif) Спасибо, а по поводу выдачи - он автоматически подставляет доп слова(буквы и их комбинации) + возможность указать свои подстановки в самых разных вариациях P.S. уведомление о новых сообщениях в теме не приходят на почту
|
|
|
|
|
|
|
|
13.3.2013, 20:29
|
Участник
Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата
|
(IMG: http://a-parser.com/img/1year.jpg) Прошёл ровно год с выхода первой бета-версии парсера, за это время A-Parser вырос до стабильной версии и зарекомендовал себя с лучшей стороны среди SEO-гуру, оставив всех конкурентов далеко позади. Всего за год была проделана огромная работа: - Выпущено 39 обновлений
- Сделано 195 улучшений
- Закрыта 141 ошибка
Теперь A-Parser содержит в себе 40 полноценных парсеров поисковых систем и различных сервисов. В честь такого праздника всем новым пользователям, которые приобретут A-Parser в период с 13.03.2013 до 20.03.2013, предоставляется 2 года бесплатных обновлений.
|
|
|
|
|
|
|
|
18.3.2013, 9:37
|
Участник
Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата
|
A-Parser - версия 0.9.389Парсер (IMG: http://a-parser.com/img/parsers/google.gif) SE::Google теперь поддерживает распознавание каптчи через сервис АнтиКаптча (IMG: http://a-parser.com/img/scr/aRxjv.png) В парсере (IMG: http://a-parser.com/img/parsers/net-http.png) Net::HTTP появилась возможность загружать только заголовки страницы, для увеличения скорости и экономии трафика Парсер (IMG: http://a-parser.com/img/parsers/yandex.gif) SE::Yandex теперь парсит время индексации страницы, с возможностью фильтрации результатов по этому параметру (IMG: http://a-parser.com/img/scr/GTpXr.png) Улучшен парсер (IMG: http://a-parser.com/img/parsers/check-backlink.png) Check::BackLink: - Теперь можно определить был ли редирект на странице нахождения беклинка
- В результат можно вывести актуальные ссылки страницы беклинка и проверяемой ссылки, а так же анкор проверяемой ссылки
- Можно вывести весь список найденных ссылок(анкоров и nofollow) подпадающих под проверяемую ссылку
Добавлена кнопка выхода из парсера(повторный запрос пароля) Исправлен парсер (IMG: http://a-parser.com/img/parsers/html-linkextractor.gif) HTML::LinkExtractor - при использовании опции перехода по соседним ссылкам неверно добавлял дополнительные ссылки. Связанные задачи:Цитата Ошибка #427: Fix HTML::LinkExtractor parse to level option(wrong anchors adding to parsing queue)
Улучшение #401: Подключение antigate.com к парсеру Google
Улучшение #414: Сделать парсер http заголовков
Улучшение #416: Яндекс - дата индекса ссылки
Улучшение #422: сделать кнопку логаута
Улучшение #423: Улучшение модуля Check::BackLink
Улучшение #428: Normalize urls for HTML::LinkExtractor and Check::BackLink
|
|
|
|
|
|
|
|
22.3.2013, 20:15
|
Участник
Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата
|
Цитата А кстати, ботмастер эти капчи автоматом не научился распознавать еще? да вроде нет в хрефере, да вообще как то апарсер с хрефером сравнивать кхм (IMG: http://4seo.biz/style_emoticons/default/smile.gif) , на самом деле каптчи нужны только тем кто не хочет с прокси парится(прокси все равно нужны, но уже их качество почти не играет роли) - все можно парсить спокойно без каптч
Сообщение отредактировал Forbidden - 22.3.2013, 20:16
|
|
|
|
|
|
|
|
29.3.2013, 14:49
|
Участник
Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата
|
Расширение функциональной части A-Parser'а подтолкнуло меня на изменение мажорной версии (IMG:http://4seo.biz/style_emoticons/default/smile.gif) Встречайте версию 1.0.0!(IMG: http://a-parser.com/img/scr/snEDG.png) Главное нововведение - конструктор запросов:(IMG: http://a-parser.com/img/scr/JrSFY.png) Конструктор запросов позволяет разделять исходный запрос на части и\или преобразовывать запросы. Основные возможности: - Разделение запроса на части с помощью регулярного выражения
- Замена подстроки в запросе или замена регулярным выражением
- Выделение домена\главного домена из ссылки
- Добавление знака ! перед каждым словом в запросе(необходимо для парсера (IMG:http://a-parser.com/img/parsers/yandex-wordstat.gif) SE::Yandex::WordStat)
- Приведение запроса к верхнему\нижнему регистру
Более подробно и с примерами можно прочитать на странице документации: Query Builder - конструктор запросовЗабегая вперёд расскажу о ближайших планах расширения функциональности: - Конструктор результатов - аналогично с запросами, только применимо к результатам, например будет возможно автоматически вырезать HTML теги из сниппетов
- Парсинг цепочками - многоэтапная обработка запросов, когда результат от одного парсера будет подаваться на вход другому. Позволит объединить несколько действий в одном задании, например сбор ключевых слов и одновременная проверка частоты и конкурентности
Это приоритетные направления, помимо этого в задачах ещё множество идей которые будут воплощены в жизнь (IMG: http://4seo.biz/style_emoticons/default/smile.gif) Другие изменения в этой версии: Связанные задачи:Цитата Ошибка #430: Fix Rank::OpenSiteExplorer crash when IP banned
Ошибка #431: не правильный парсинг Алекса Ранк
Ошибка #432: 2 запроса {query}
Ошибка #437: Check::BackLink падает на некоторых ресурсах
Ошибка #438: Fix long SE::Yandex regex
Улучшение #380: Query builder
Улучшение #433: Число страниц определенного сайта в индексе Qip выводить числом
|
|
|
|
|
|
|
|
11.4.2013, 7:22
|
Участник
Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата
|
A-Parser - версия 1.0.11Обновилось API, добавлено 3 метода: - addTask - полноценное добавление задания, со всеми настройками
- getTaskState - получение состояния задания(статистика выполнения, текущий статус)
- changeTaskStatus - изменение статуса задания(пауза\старт\стоп\удаление)
Подробнее на страницы руководства: User API, взаимодействие с другими программами и скриптамиВ конструкторе запросов теперь возможно разделять запрос через произвольный разделитель Парсер (IMG: http://a-parser.com/img/parsers/youtube.gif) SE::YouTube теперь дополнительно парсит ссылку на превью ролика Исправлено: Связанные задачи:Цитата Ошибка #412: Can't edit task created from quick task menu Ошибка #413: In quick task need to set unique queries for Parse to level with suggests Ошибка #440: Fix {origquery} macros(bug introduced in 1.0.0) Ошибка #445: Не работает парсер Youtube Ошибка #449: SE::Yandex: баги с поиском даты Улучшение #273: в API нету добавления задания Улучшение #439: Разделение запроса через произвольный разделитель Улучшение #441: сохранение прокси без указания типа( http://, socks://) Улучшение #444: Парсер Youtube - ссылка на превью ролика Улучшение #446: Get task state and change task status with API
|
|
|
|
|
|
|
|
29.4.2013, 13:17
|
Участник
Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата
|
A-Parser - версия 1.0.21Улучшения: Исправления: Цитата Ошибка #447: AOL parser not work again
Ошибка #452: Fix charset detecting for <meta charset= tag
Ошибка #460: Fix related keywords parsing in SE::Google
Улучшение #450: Добавить в модуль Net::HTTP {proxy}
Улучшение #451: Смена языка во всех парсерах yahoo(SE::Yahoo, SE::Yahoo::Suggest)
Улучшение #453: Добавить в Rank::MajesticSEO парсинг показателей Trust Flow и Citation Flow
Улучшение #454: API addTask брать настройки из Task preset
Улучшение #455: Ability for select save good proxies with type or not
Улучшение #456: Add yandex.kz domain for SE::Yandex
Улучшение #457: Add 'Detect charset on content' for Net::HTTP - automaticaly detect charset of content if meta charset/charset-encoding not specified
Улучшение #458: Now result {proxy} from Query Builder used as proxy for current query
|
|
|
|
|
|
|
|
16.5.2013, 6:31
|
Участник
Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата
|
A-Parser - версия 1.0.27Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает: (IMG: http://a-parser.com/img/scr/JzZ0A.png) - Поиск и извлечение данных по регулярному выражению
- Замена по регулярному выражению
- Разделение строки по произвольному разделителю
- Замена подстроки в строке
- Извлечение домена/главного домена из ссылки
- Приведение к верхнему\нижнему регистру
- Удаление HTML-тегов из текста
- Преобразование HTML-entities(спец-символов начинающихся с амперсанда &) в соответствующий UTF-8 текст
Новый парсер (IMG: http://a-parser.com/img/parsers/google-compromised.png) SE::Google::Compromised - проверка наличия надписи This site may be compromised в гугле Исправлено:
|
|
|
|
|
|
|
|
26.7.2013, 8:16
|
Ветеран
Группа: Кандидат
Сообщений: 183
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата
|
A-Parser - версия 1.0.81В этой версии только экстренные исправления в связи с изменением в выдаче: Также исправлена некорректная работа парсера при использовании UTF-8 в регулярных выражениях Подробнее тут: 1.0.81 Перенос парсера на новую платформу, начатый около 2ух недель назад, подходит к концу и в ближайшее время будет доступна бета-версия.
|
|
|
|
|
|
6 чел. читают эту тему (гостей: 6, скрытых пользователей: 0)
Пользователей: 0
|
|
