IPB

Здравствуйте, гость ( Вход | Регистрация )

7 страниц V   1 2 3 > »   
Ответить в данную темуНачать новую тему
 A-parser - продвинутый парсер ПС, Pr, Wordstat, всего более 35 парсеров!, Google, Yandex, Bing, Suggest, PR, Whois, AOL, Alexa, MajesticSEO...
Forbidden
сообщение 18.2.2013, 13:44
Сообщение #1


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



Что такое A-Parser?

Это быстрый парсер с уклоном на универсальность, удобность и производительность.
На данный момент умеет парсить:

Поисковые системы



Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц

Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу

Для Яндекса есть возможность распознавания каптчи через сервис AntiGate(или любой другой с поддержкой их API)

Парсеры кейвордов

Сервисы поиска ключевых слов

  • (IMG:http://a-parser.com/img/parsers/yandex-wordstat.gif) Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики. Может сам подставляет найденные ключевые слова в запросы до указанного уровня. Поддерживает распознавание каптчи через АнтиКаптчу.


Подсказки поисковых систем

  • Подсказки и релейтед кеи Google
  • Подсказки и релейтед Bing
  • Подсказки, релейтед и трендовые кеи Yahoo
  • Подсказки и релейтед Yandex


Для подсказок Google и Yandex умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится

Параметры сайтов и доменов

  • Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, топ рейтинг по стране, саму страну и количество бек-линков
  • Rank::MajestiSEO - парсер количества беклинков с сервиса majesticseo.com, парсит количество ссылающихся страниц, количество уникальных IP-адресов, подсетей класса C и количество уникальных доменов
  • Rank::SEMrush - проверяет рейтинг SEMrush, количество SE траффика и его стоимость, количество Ads траффика и его стоимость
  • Rank::OpenSiteExplorer - проверяет рейтинг домена\страницы по OpenSiteExplorer, а так же количество беклинков и бекдоменов
  • SE::Google::Position - проверка позиции домена по ключевому слову в Google
  • SE::Yandex::Position - проверка позиции домена по ключевому слову в Yandex
  • SE::QIP::Position - проверка позиции домена по ключевому слову в search.qip.ru
  • SE::Google::PageRank - PR страниц и доменов
  • SE::Google::SafeBrowsing - проверка домена в блеклисте гугла(подпись harm в выдачи)
  • SE::Yandex::TIC - проверка тематического индекса цитирования домена в Яндексе(тИЦ)
  • SE::DMOZ - наличие сайта в каталоге DMOZ
  • SE::Google::TrustCheck - проверка сайта на траст(доверие) гугла(дополнительный блок ссылок в выдаче и т.п.)
  • Net::Whois - определяет зарегистрирован домен или нет, а так же дату окончания регистрации
  • SE::Bing::LangDetect - определение языка сайта через поисковик Bing
  • Net::DNS - парсер резолвит домены в IP адреса
  • Rank::Category - автоматически определяет категорию сайта на английском языке, категории такие же как в dmoz.org, например google.com - Computers/Internet/Searching
  • Rank::CMS - определение около 200 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков



Парсеры различных сервисов

  • SE::YouTube - полноценный парсер YouTube, парсит ссылку на ролик, титл, описание, длину ролика, дату добавления, имя пользователя и количество просмотров. Поддерживает все фильтры YouTube
  • SE::Google::Maps - парсер ссылок в результатах выдачи в картах Гугла(Google Maps), позволяет искать сайты привязанные к определенной местности
  • SE::Yandex::Direct - парсер direct.yandex.ru, парсит список всех объявлений(титл, текст, домен) и кол-во объявлений по определенному запросу
  • SE::Google::Images - парсер Google Images, парсит прямые ссылки на картинки, сниппеты, разрешение и размер
  • SE::Bing::Translator - переводчик через сервис www.bing.com/translator/, поддерживает все языки сервиса, включая автоопределение языка оригинала текста
  • Util::AntiGate - распознавание каптчи через сервис AntiGate, служит для настройки и тестирования распознавания каптч


Парсинг контента

  • HTML::LinkExtractor - парсит внешние и внутренние ссылки с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня.
  • Net::HTTP - скачивает указанную страницу, поддерживает многостраничный парсинг.


Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.

Обработка и фильтрация результатов

  • Фильтрация любого результата по вхождению строки, эквивалентности строк, регулярному выражению, больше, меньше, равно и т.п.
  • Уникализация любого результата по строке, домену, главному домену, папке, строке без учета параметров.
  • Парсинг любого результата с использованием регулярных выражений.



Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:


  • Полностью интерактивный мега-юзабильный веб интерфейс
    • Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
    • Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
    • Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
    • Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
    • Поддержка русского и английского языка

  • Огромная скорость работы, подробнее тут: Производительность
  • Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
  • User API - интеграция возможностей парсера в свои скрипты, подробнее тут: User API, взаимодействие с другими программами и скриптами
  • Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
  • Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
  • Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki


Более подробное описание и скриншоты

Wiki - дополнительная информация, инструкции и т.д.

Скриншот интерфейса:
(IMG:http://a-parser.com/img/add-task.png)

На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременная уникализация по домену всех результатов

Ценовая политика

На данный момент продается версия Pro(все парсеры) и Enterprise(все парсеры + API)
  • Цена лицензии - 200$
  • Первый год обновления бесплатны, после первого года использования абонентская плата за обновления - 15$ за каждые 3 месяца(возможность работы без обновлений сохраняется)
  • Цена лицензии с API: +50$ к стоимости основной лицензии
  • Всем клиентам кто имеет лицензию на A-Poster - цена всего 150$
  • Комплект A-Parser + A-Poster всего за 300$!
  • Специальное предложение - всем покупателям A-Parser'а предоставляются приватные прокси на 20 потоков на 2 недели!


Лицензия позволяет запускать A-Parser на одном сервере\компьютере(напоминаю поддерживается работа на всех версиях Windows и Linux). Переносить можно бесплатно, нельзя запускать на нескольких компьютерах одновременно.

Для покупки парсера зарегистрируйтесь на сайте http://a-parser.com и свяжитесь со мной по любому из следующих контактов:
  • ICQ 777889
  • Jabber/GoogleTalk forbidden2k@gmail.com
  • Skype frb403

Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а также возможно обсуждение реализации недостающего вам функционала.

Сообщение отредактировал Forbidden - 18.2.2013, 13:45
Перейти в начало страницы
 
+Цитировать сообщение
Chin
сообщение 23.2.2013, 19:46
Сообщение #2


Администратор
****

Группа: root
Сообщений: 7813
Регистрация: 17.3.2007
Пользователь №: 1
Вставить ник
Цитата



Цитата(Forbidden @ 18.2.2013, 15:55) *
собирает всю выдачу

Сомнительно, даже с доп словами для парсинга основной фразы (IMG:http://4seo.biz/style_emoticons/default/baaa.gif)
А вообще - удачи продукту! (IMG:http://4seo.biz/style_emoticons/default/smile.gif)
Перейти в начало страницы
 
+Цитировать сообщение
Forbidden
сообщение 12.3.2013, 11:56
Сообщение #3


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



A-Parser - версия 0.9.383

Добавлен парсер (IMG:https://www.blackseo.com/imgcache/2712.png) Check::BackLink - проверяет нахождение вашей ссылки(ссылок) по базе ссылок:
  • Проверяет закрыта ли от индексации страница через robots.txt
  • Проверяет meta тег robots на наличие атрибутов noindex и nofollow
  • Проверяет наличие rel=nofollow у найденной ссылки


Парсер (IMG:http://a-parser.com/img/parsers/ahrefs.gif) Rank::Ahrefs возвращен обратно

Теперь парсер (IMG:http://a-parser.com/img/parsers/yandex.gif) собирает до 1000 результатов с каждого запроса

Так же значительно обновлена Документация, теперь она готова примерно на 70%, а в скором времени будет приятное обновление сайта.

Исправлено:
  • Импортированние пресетов заданий не работало, ошибка появилась в предыдущей версии
  • Исправлен парсер (IMG:http://a-parser.com/img/parsers/aol.gif) SE::AOL - теперь требуется гораздо меньше попыток на выполнение запроса


Связанные задачи:
Цитата
Ошибка #402: Import preset not work
Ошибка #406: Fix parser crash when start paused task after server restart
Ошибка #418: Дубли имен заданий на закладке "Добавить" в поле "Сохр. задание"
Ошибка #419: Fix {size} result in SE::Google::Images
Ошибка #420: Remove unsupported 'deflate' method from accept-encoding header
Ошибка #421: Fix SE::AOL parser
Улучшение #254: Проверка базы ссылок на наличие обратной ссылки + noindex + nofollow
Улучшение #393: Return Rank::Ahrefs parser
Улучшение #403: Now SE::Yandex can parse up to 1000 links per query


Цитата(Chin @ 23.2.2013, 20:27) *
Цитата(Forbidden @ 18.2.2013, 15:55) *
собирает всю выдачу

Сомнительно, даже с доп словами для парсинга основной фразы (IMG:http://4seo.biz/style_emoticons/default/baaa.gif)
А вообще - удачи продукту! (IMG:http://4seo.biz/style_emoticons/default/smile.gif)


Спасибо, а по поводу выдачи - он автоматически подставляет доп слова(буквы и их комбинации)
+ возможность указать свои подстановки в самых разных вариациях

P.S. уведомление о новых сообщениях в теме не приходят на почту
Перейти в начало страницы
 
+Цитировать сообщение
Chin
сообщение 12.3.2013, 17:13
Сообщение #4


Администратор
****

Группа: root
Сообщений: 7813
Регистрация: 17.3.2007
Пользователь №: 1
Вставить ник
Цитата



Цитата(Forbidden @ 12.3.2013, 14:07) *
P.S. уведомление о новых сообщениях в теме не приходят на почту

Да тут и форум вообще в оффлайне был наверное больше недели (IMG:http://4seo.biz/style_emoticons/default/sad.gif)
Перейти в начало страницы
 
+Цитировать сообщение
Forbidden
сообщение 13.3.2013, 20:29
Сообщение #5


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



(IMG:http://a-parser.com/img/1year.jpg)

Прошёл ровно год с выхода первой бета-версии парсера, за это время A-Parser вырос до стабильной версии и зарекомендовал себя с лучшей стороны среди SEO-гуру, оставив всех конкурентов далеко позади.

Всего за год была проделана огромная работа:
  • Выпущено 39 обновлений
  • Сделано 195 улучшений
  • Закрыта 141 ошибка


Теперь A-Parser содержит в себе 40 полноценных парсеров поисковых систем и различных сервисов.

В честь такого праздника всем новым пользователям, которые приобретут A-Parser в период с 13.03.2013 до 20.03.2013, предоставляется 2 года бесплатных обновлений.
Перейти в начало страницы
 
+Цитировать сообщение
Forbidden
сообщение 18.3.2013, 9:37
Сообщение #6


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



A-Parser - версия 0.9.389

Парсер (IMG:http://a-parser.com/img/parsers/google.gif) SE::Google теперь поддерживает распознавание каптчи через сервис АнтиКаптча
(IMG:http://a-parser.com/img/scr/aRxjv.png)

В парсере (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP появилась возможность загружать только заголовки страницы, для увеличения скорости и экономии трафика

Парсер (IMG:http://a-parser.com/img/parsers/yandex.gif) SE::Yandex теперь парсит время индексации страницы, с возможностью фильтрации результатов по этому параметру
(IMG:http://a-parser.com/img/scr/GTpXr.png)

Улучшен парсер (IMG:http://a-parser.com/img/parsers/check-backlink.png) Check::BackLink:
  • Теперь можно определить был ли редирект на странице нахождения беклинка
  • В результат можно вывести актуальные ссылки страницы беклинка и проверяемой ссылки, а так же анкор проверяемой ссылки
  • Можно вывести весь список найденных ссылок(анкоров и nofollow) подпадающих под проверяемую ссылку


Добавлена кнопка выхода из парсера(повторный запрос пароля)

Исправлен парсер (IMG:http://a-parser.com/img/parsers/html-linkextractor.gif) HTML::LinkExtractor - при использовании опции перехода по соседним ссылкам неверно добавлял дополнительные ссылки.

Связанные задачи:
Цитата
Ошибка #427: Fix HTML::LinkExtractor parse to level option(wrong anchors adding to parsing queue)
Улучшение #401: Подключение antigate.com к парсеру Google
Улучшение #414: Сделать парсер http заголовков
Улучшение #416: Яндекс - дата индекса ссылки
Улучшение #422: сделать кнопку логаута
Улучшение #423: Улучшение модуля Check::BackLink
Улучшение #428: Normalize urls for HTML::LinkExtractor and Check::BackLink
Перейти в начало страницы
 
+Цитировать сообщение
Chin
сообщение 22.3.2013, 19:48
Сообщение #7


Администратор
****

Группа: root
Сообщений: 7813
Регистрация: 17.3.2007
Пользователь №: 1
Вставить ник
Цитата



А кстати, ботмастер эти капчи автоматом не научился распознавать еще?
Перейти в начало страницы
 
+Цитировать сообщение
Forbidden
сообщение 22.3.2013, 20:15
Сообщение #8


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



Цитата
А кстати, ботмастер эти капчи автоматом не научился распознавать еще?


да вроде нет в хрефере, да вообще как то апарсер с хрефером сравнивать кхм (IMG:http://4seo.biz/style_emoticons/default/smile.gif) , на самом деле каптчи нужны только тем кто не хочет с прокси парится(прокси все равно нужны, но уже их качество почти не играет роли) - все можно парсить спокойно без каптч

Сообщение отредактировал Forbidden - 22.3.2013, 20:16
Перейти в начало страницы
 
+Цитировать сообщение
Chin
сообщение 22.3.2013, 20:20
Сообщение #9


Администратор
****

Группа: root
Сообщений: 7813
Регистрация: 17.3.2007
Пользователь №: 1
Вставить ник
Цитата



Да я не сравнивал, мне технический аспект взлома капчи интересен. Еще в свое время, когда тулзы для 4сео на фрилансерских сайтах заказывал (давно уже), видел объявы ботмастера с вполне приличными бюджетами именно на предмет дешифрации капчей.
Перейти в начало страницы
 
+Цитировать сообщение
Forbidden
сообщение 29.3.2013, 14:49
Сообщение #10


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



Расширение функциональной части A-Parser'а подтолкнуло меня на изменение мажорной версии (IMG:http://4seo.biz/style_emoticons/default/smile.gif) Встречайте версию 1.0.0!

(IMG:http://a-parser.com/img/scr/snEDG.png)

Главное нововведение - конструктор запросов:

(IMG:http://a-parser.com/img/scr/JrSFY.png)

Конструктор запросов позволяет разделять исходный запрос на части и\или преобразовывать запросы. Основные возможности:

  • Разделение запроса на части с помощью регулярного выражения
  • Замена подстроки в запросе или замена регулярным выражением
  • Выделение домена\главного домена из ссылки
  • Добавление знака ! перед каждым словом в запросе(необходимо для парсера (IMG:http://a-parser.com/img/parsers/yandex-wordstat.gif) SE::Yandex::WordStat)
  • Приведение запроса к верхнему\нижнему регистру


Более подробно и с примерами можно прочитать на странице документации: Query Builder - конструктор запросов

Забегая вперёд расскажу о ближайших планах расширения функциональности:
  • Конструктор результатов - аналогично с запросами, только применимо к результатам, например будет возможно автоматически вырезать HTML теги из сниппетов
  • Парсинг цепочками - многоэтапная обработка запросов, когда результат от одного парсера будет подаваться на вход другому. Позволит объединить несколько действий в одном задании, например сбор ключевых слов и одновременная проверка частоты и конкурентности


Это приоритетные направления, помимо этого в задачах ещё множество идей которые будут воплощены в жизнь (IMG:http://4seo.biz/style_emoticons/default/smile.gif)

Другие изменения в этой версии:


Связанные задачи:
Цитата
Ошибка #430: Fix Rank::OpenSiteExplorer crash when IP banned
Ошибка #431: не правильный парсинг Алекса Ранк
Ошибка #432: 2 запроса {query}
Ошибка #437: Check::BackLink падает на некоторых ресурсах
Ошибка #438: Fix long SE::Yandex regex
Улучшение #380: Query builder
Улучшение #433: Число страниц определенного сайта в индексе Qip выводить числом
Перейти в начало страницы
 
+Цитировать сообщение
Forbidden
сообщение 11.4.2013, 7:22
Сообщение #11


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



A-Parser - версия 1.0.11

Обновилось API, добавлено 3 метода:
  • addTask - полноценное добавление задания, со всеми настройками
  • getTaskState - получение состояния задания(статистика выполнения, текущий статус)
  • changeTaskStatus - изменение статуса задания(пауза\старт\стоп\удаление)

Подробнее на страницы руководства: User API, взаимодействие с другими программами и скриптами

В конструкторе запросов теперь возможно разделять запрос через произвольный разделитель

Парсер (IMG:http://a-parser.com/img/parsers/youtube.gif) SE::YouTube теперь дополнительно парсит ссылку на превью ролика

Исправлено:


Связанные задачи:
Цитата
Ошибка #412: Can't edit task created from quick task menu
Ошибка #413: In quick task need to set unique queries for Parse to level with suggests
Ошибка #440: Fix {origquery} macros(bug introduced in 1.0.0)
Ошибка #445: Не работает парсер Youtube
Ошибка #449: SE::Yandex: баги с поиском даты
Улучшение #273: в API нету добавления задания
Улучшение #439: Разделение запроса через произвольный разделитель
Улучшение #441: сохранение прокси без указания типа(http://, socks://)
Улучшение #444: Парсер Youtube - ссылка на превью ролика
Улучшение #446: Get task state and change task status with API
Перейти в начало страницы
 
+Цитировать сообщение
Forbidden
сообщение 29.4.2013, 13:17
Сообщение #12


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



A-Parser - версия 1.0.21

Улучшения:
  • Парсер (IMG:http://a-parser.com/img/parsers/majesticseo.gif) Rank::MajesticSEO теперь также парсит показатели Trust Flow и Citation Flow
  • Возможность выбора языка результатов для парсеров (IMG:http://a-parser.com/img/parsers/yahoo.gif) SE::Yahoo и (IMG:http://a-parser.com/img/parsers/google-suggest.gif) SE::Yahoo::Suggest
  • В парсер (IMG:http://a-parser.com/img/parsers/yandex.gif) SE::Yandex добавлена поддержка домена yandex.kz
  • Теперь возможно вручную указать прокси для любого запроса, для этого необходимо создать результат {proxy} через Query Builder
  • В парсер (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP добавлена опция Detect charset on content, позволяющая автоматически определять кодировку страницы
  • В парсер (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP добавлен результат {proxy}, позволяющий отобразить использованный прокси при запросе
  • В API теперь возможно добавлять задания на основе ранее сохранённого пресета из интерфейса


Исправления:


Цитата
Ошибка #447: AOL parser not work again
Ошибка #452: Fix charset detecting for <meta charset= tag
Ошибка #460: Fix related keywords parsing in SE::Google
Улучшение #450: Добавить в модуль Net::HTTP {proxy}
Улучшение #451: Смена языка во всех парсерах yahoo(SE::Yahoo, SE::Yahoo::Suggest)
Улучшение #453: Добавить в Rank::MajesticSEO парсинг показателей Trust Flow и Citation Flow
Улучшение #454: API addTask брать настройки из Task preset
Улучшение #455: Ability for select save good proxies with type or not
Улучшение #456: Add yandex.kz domain for SE::Yandex
Улучшение #457: Add 'Detect charset on content' for Net::HTTP - automaticaly detect charset of content if meta charset/charset-encoding not specified
Улучшение #458: Now result {proxy} from Query Builder used as proxy for current query
Перейти в начало страницы
 
+Цитировать сообщение
Forbidden
сообщение 16.5.2013, 6:31
Сообщение #13


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



A-Parser - версия 1.0.27

Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает:
(IMG:http://a-parser.com/img/scr/JzZ0A.png)
  • Поиск и извлечение данных по регулярному выражению
  • Замена по регулярному выражению
  • Разделение строки по произвольному разделителю
  • Замена подстроки в строке
  • Извлечение домена/главного домена из ссылки
  • Приведение к верхнему\нижнему регистру
  • Удаление HTML-тегов из текста
  • Преобразование HTML-entities(спец-символов начинающихся с амперсанда &) в соответствующий UTF-8 текст


Новый парсер (IMG:http://a-parser.com/img/parsers/google-compromised.png) SE::Google::Compromised - проверка наличия надписи This site may be compromised в гугле

Исправлено:
Перейти в начало страницы
 
+Цитировать сообщение
Forbidden
сообщение 31.5.2013, 10:38
Сообщение #14


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



A-Parser - полностью обновленный сайт

Несколько важных новостей:

  • У нас полностью новый сайт, с полной интеграции с форумом. Все пользователи, новости и задачи были успешно перенесены
  • Мы подключили мерчант InterKassa, теперь мы принимаем к оплате:
    (IMG:http://a-parser.com/img/buy/systems.png)

    Подробнее на странице покупки A-Parser'а: Купить A-Parser
  • У нас новый саппорт: Viktoria (контакты)
  • Ко всем существующим видам связи(ICQ, Skype, Jabber, GoogleTalk, E-mail) мы добавили онлайн-чат с оператором на сайте


Подписывайтесь на новости и общайтесь на форуме!
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 3.6.2013, 15:08
Сообщение #15


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - версия 1.0.37

Улучшения:
  • При добавлении быстрого задания теперь количество попыток выполнить запрос(Request retries) установлено в 200

Исправления:
  • Исправлен парсер (IMG:http://a-parser.com/img/parsers/youtube.png) SE::YouTube в связи с изменением в выдачи
  • Исправлено импортирование заданий(ошибка появилась в предыдущей версии)
  • Исправлена обработка каптчи у парсера (IMG:http://a-parser.com/img/parsers/google.png) SE::Google
  • Исправлен подсчет количества результатов(ошибка появилась в предыдущей версии)


Связанные задачи:
Цитата
Ошибка #516: SE::YouTube broken
Ошибка #515: Bug when importing/loading tasks(introduced in 1.0.27)
Ошибка #479: Fix again Google captcha
Ошибка #478: Fix counting results from arrays(bug introduced in 1.0.27)
Улучшение #523: Tasks added from Quick Task now have Request retries = 200
Улучшение #480: Validating parser/preset exists before adding task
Перейти в начало страницы
 
+Цитировать сообщение
Forbidden
сообщение 11.6.2013, 13:23
Сообщение #16


Участник
**

Группа: Кандидат
Сообщений: 13
Регистрация: 18.7.2007
Пользователь №: 347
Вставить ник
Цитата



A-Parser - версия 1.0.49

Улучшения в парсере гугла:
  • CaptchaKiller - убийца каптчи для парсера (IMG:http://a-parser.com/img/parsers/google.png) SE::Google - теперь можно парсить inurl: даже на паблик проксях!

    В последнее время Google довольно сильно ужесточил парсинг с операторами(inurl:, site: и т.д.), постоянно показывая каптчу(проверочную картинку), что не позволяло спарсить результаты выдачи без использования хороших проксей или сервиса АнтиКаптча. Это улучшение позволяет A-Parser'у автоматически обходить каптчу без использования сервисов

    (IMG:http://a-parser.com/img/scr/MqTxc.png)

    Сравнение парсинга с CaptchaKiller и без на форуме

  • Теперь дополнительно парсятся рекламные блоки - ссылка, анкор и сниппет, что позволяет собрать список конкурентов в Google AdWords
  • Также парсер (IMG:http://a-parser.com/img/parsers/google.png) SE::Google теперь сохраняет сессии что позволяет парсить еще быстрее, получая меньшее число ошибок

Улучшения в сохранении результатов:
  • Теперь в имени файла результата можно использовать все макросы доступные в Result format, что позволяет в имени файла использовать любую часть результата или запроса(пример: при парсинге Google PR сохранять ссылки в файлы 0.txt - 10.txt, где цифра означает PageRank)
  • Теперь возможно указать папку(с неограниченной вложенностью) для сохранения результата
  • Комплексный пример: {date}_{time}/parser1({pr}).txt - будет создавать новую папку с текущей датой и временем и автоматически сортировать результаты по файлам

Остальные улучшения:
  • В качестве запросов можно использовать файлы из папки с результатами
  • В парсере (IMG:http://a-parser.com/img/parsers/yandex.png) SE::Yandex появился новый результат {misspell} определяющий посчитал ли Яндекс запрос опечаткой или нет
  • В ProxyChecker изменена проверочная ссылка по умолчанию
  • В API теперь возможно отключить ведение логов
  • В парсерe (IMG:http://a-parser.com/img/parsers/yahoo.png) SE::Yahoo убраны результаты {totalcount} и trending[] в связи с изменением в выдаче
  • В ProxyChecker теперь возможно отключить проверку загруженных проксей - все прокси будут считаться живыми

Исправления парсеров в связи с изменением в выдаче:


Полный список изменений тут: 1.0.49
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 14.6.2013, 6:41
Сообщение #17


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - версия 1.0.60

Улучшения в CaptchaKiller для парсера (IMG:http://a-parser.com/img/parsers/google.png) SE::Google

Исправлена загрузка каптчи в (IMG:http://a-parser.com/img/parsers/yandex-wordstat.png) SE::Yandex::WordStat и работа фильтров в (IMG:http://a-parser.com/img/parsers/youtube.png) SE::YouTube

Полный список изменений тут: 1.0.60
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 3.7.2013, 10:17
Сообщение #18


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - версия 1.0.69

Новый парсер (IMG:http://a-parser.com/img/parsers/html-textextractor.png) HTML::TextExtractor - парсит текстовые блоки с указанной страницы, можно использовать для парсинга огромного количества текста для наполнения своих сайтов и доров, можно настроить минимальную длину текстового блока для парсинга

(IMG:http://a-parser.com/img/scr/MeHRq.png)

В парсере (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP появилась возможность использовать POST и HEAD запросы, пример парсинга с POST запросом:

(IMG:http://a-parser.com/img/scr/iPxVQ.png)

Другие улучшения:

  • Теперь в формате результата есть возможность указать исходный запрос - {firstquery}, позволяет при парсинге в глубину сохранять результаты по файлам с именами изначальных запросов
  • В парсер (IMG:http://a-parser.com/img/parsers/whois.png) Net::Whois добавлен парсинг NS серверов и статусов доменов
  • В парсере (IMG:http://a-parser.com/img/parsers/whois.png) Net::Whois теперь используется единый формат даты регистрации и окончания регистрации - dd.mm.yyyy для всех зон
  • Новые результаты для всех парсеров:
    • {retries} - использованное количество попыток на данный запрос
    • {querynum} - порядковый номер запроса
    • {lvl} - уровень вложенности запроса(при использовании опций Parse all results, Parse to level)
  • Для парсера (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP добавлен параметр Max redirects count - определяет максимальное количество редиректов
  • Для всех парсеров (IMG:http://a-parser.com/img/parsers/google.png) SE::Google::* добавлен домен www.google.by
  • Теперь есть возможно указать задержку между запросами(актуально только при парсинге в 1 поток)

Исправления:
  • Исправлен парсинг подсказок (IMG:http://a-parser.com/img/parsers/bing-suggest.png) SE::Bing::Suggest
  • Исправлено сохранение результатов с двоичными данными(изображения, видео и т.п.)

Подробнее тут: 1.0.69
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 12.7.2013, 12:00
Сообщение #19


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - версия 1.0.71

Мини-апдейт, исправляет ошибки:
  • В предыдущей версии перестал работать (IMG:http://a-parser.com/img/parsers/util-antigate.png) Util::AntiGate, следствием чего перестала работать возможность распознавания каптчи(в парсерах Google, Yandex и т.п.)
  • В конструкторе результатов(Results builder) не работала функция замены по регулярному выражению(Regex Replace)
  • Парсер падал если не мог создать папку с результатами

Подробнее тут: 1.0.71

В данный момент ведется активный перенос парсера на обновленную платформу и сокращение времени выпуска новых версий(на данный момент компиляция всем пользователям занимает около 2ух дней)
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 26.7.2013, 8:16
Сообщение #20


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - версия 1.0.81

В этой версии только экстренные исправления в связи с изменением в выдаче:

Также исправлена некорректная работа парсера при использовании UTF-8 в регулярных выражениях

Подробнее тут: 1.0.81

Перенос парсера на новую платформу, начатый около 2ух недель назад, подходит к концу и в ближайшее время будет доступна бета-версия.
Перейти в начало страницы
 
+Цитировать сообщение

7 страниц V   1 2 3 > » 
Ответить в данную темуНачать новую тему
3 чел. читают эту тему (гостей: 3, скрытых пользователей: 0)
Пользователей: 0

 



RSS Текстовая версия Сейчас: 17.8.2018, 9:12