IPB

Здравствуйте, гость ( Вход | Регистрация )

6 страниц V  « < 4 5 6  
Ответить в данную темуНачать новую тему
 A-parser - продвинутый парсер ПС, Pr, Wordstat, всего более 35 парсеров!, Google, Yandex, Bing, Suggest, PR, Whois, AOL, Alexa, MajesticSEO...
A-Parser Support
сообщение 16.1.2017, 10:11
Сообщение #101


Активный участник
***

Группа: Кандидат
Сообщений: 92
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



1.1.726 - новые возможности планировщика, множество исправлений

(IMG:https://a-parser.com/img/scr/h4xt2.png)

Улучшения

  • В планировщик добавлена возможность ежемесячного запуска заданий, с возможностью выбрать определенный день месяца
  • В планировщике теперь можно указать уникальность задания, если задание активно в очереди то при попытке его запуска через планировщик оно будет отложено до следующего запуска
  • Файл логов задания теперь удаляется одновременно с удалением задания
  • В тестовом парсинге улучшен дебагер и предпросмотр HTML кода


Исправления в связи с изменениями в выдачи


Исправления

  • В парсере (IMG:https://a-parser.com/img/parsers/net-whois.png) Net::Whois исправлен парсинг дат для множества доменных зон
  • Функция добавления ! перед каждым словом(для снятия частотности по WordStat) в некоторых случаях работала некорректно
  • Исправлена ошибка при работе прокси с использованием только одной попытки(Request retries)
  • Исправлена ошибка при которой парсер падал при неверно составленном Конструкторе результатов
  • В некоторых случаях использование XPath могло приводить к зависанию парсера
  • В парсере (IMG:https://a-parser.com/img/parsers/seo-ping.png) SEO::Ping исправлена обработка ответов для некоторых сервисов
  • В некоторых случаях ошибка задания могла отображаться некорректно


Так же, мы хотели бы ещё раз поздравить наших победителей которые получили лицензии A-Parser'a: Сергея Чернова, Романа Лисина и Илью Нечаева. Поздравляем вас ещё раз!

Объявление победителей
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 1.2.2017, 12:23
Сообщение #102


Активный участник
***

Группа: Кандидат
Сообщений: 92
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



В этом видео вы узнаете как собрать тысячи и миллионы профилей в социальной сети ВКонтакте:

Смотреть видео


В уроке рассмотрены:
  • Создание парсера профилей соцсети ВКонтакте: имя, город, телефон, семейной положение, время последнего захода и ссылку на аватар(фотографию)
  • Использование регулярных выражений для фильтрации данных результата
  • Использование конструктора результатов для модификации результатов
  • Использование Cookies в запросах


Подписывайтесь на наш канал, ставьте лайки и оставляйте в комментариях пожелания для следующих уроков!
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 8.2.2017, 10:48
Сообщение #103


Активный участник
***

Группа: Кандидат
Сообщений: 92
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах

(IMG:https://files.a-parser.com/img/6TCRx.png)

В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также добавлены новые примеры: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)

Улучшения
  • В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
  • В парсере (IMG:https://a-parser.com/img/parsers/se-yahoo.png) SE::Yahoo теперь определяется бан прокси по IP
  • Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога

Исправления в связи с изменениями в выдаче

Исправления
  • Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
  • В парсере (IMG:https://a-parser.com/img/parsers/html-linkextractor.png) HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)

Исправления в JavaScript парсерах
  • Настройки checkbox воспринимались некорректно
  • Исправлена ошибка в работе this.cookies.setAll
  • В интерфейсе не отображались измененные параметры конфига
  • Исправлены утечки памяти
  • Исправлено игнорирование параметра success
  • Исправлено поведение при использовании Override настроек
  • Исправлена ошибка при получении результатов из другого парсера

Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 27.2.2017, 11:10
Сообщение #104


Активный участник
***

Группа: Кандидат
Сообщений: 92
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



1.1.764 - шаблонизатор в полях конфига, выбор языка в SE::Bing

(IMG:https://files.a-parser.com/img/6TCRx.png)

Улучшения

  • В парсер (IMG:https://a-parser.com/img/parsers/se-bing.png) SE::Bing добавлена возможность выбора языка результатов поиска
  • Во всех полях конфигурации каждого парсера теперь есть возможность использовать шаблонизатор, тем самым позволяя использовать запрос или его часть как значение конфига, а также добавлять произвольную логику(пример - использование переменного DNS сервера)
  • В JavaScript парсерах добавлена возможность установки одиночного cookie(this.cookies.set)
  • В парсере (IMG:https://a-parser.com/img/parsers/se-yandex-wordstat.png) SE::Yandex::WordStat SE::Yandex::WordStat уменьшено потребление каптчи


Исправления в связи с изменениями в выдачи


Исправления

  • Исправлена утечка памяти при использовании логов в задании
  • В парсере (IMG:https://a-parser.com/img/parsers/se-ask.png) SE::Ask не определялся бан прокси
  • Исправлена работа опции allow_outside_files
  • Исправлена работа с utf8 в исходниках tools.js и JavaScript парсерах
  • В редких случаях при неудачном парсинге 2ой или последующих страниц запрос мог считаться успешным

Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 27.3.2017, 10:00
Сообщение #105


Активный участник
***

Группа: Кандидат
Сообщений: 92
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



1.1.790 - экспорт множества заданий и JavaScript парсеров

(IMG:https://a-parser.com/img/scr/mvl55.png)


A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:


(IMG:https://a-parser.com/img/scr/5kn8d.png)


Улучшения

  • Новый экспорт заданий
  • В JavaScript парсерах добавлена возможность указать иконку парсера
  • В JavaScript парсерах добавлен функционал для работы с CAPTCHA
  • Добавлено автоматическое версионирование JavaScript парсеров
  • В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос
  • В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток
  • В JavaScript парсерах добавлен функционал управления прокси
  • В парсере (IMG:https://a-parser.com/img/parsers/check-backlink.png) Check::BackLink улучшена обработка nofollow


Исправления в связи с изменениями в выдачи



Исправления

  • В парсере (IMG:https://a-parser.com/img/parsers/se-qip.png) SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов
  • A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов
  • В парсере SE::Bing в серп могли попадать рекламные блоки
  • В парсере Net::Whois собиралась дата для некоторых доменов
  • В JavaScript парсерах исправлен вывод ошибок в коде
  • В JavaScript парсерах исправлен подсчет HTTP запросов для статистики
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 6.4.2017, 11:36
Сообщение #106


Активный участник
***

Группа: Кандидат
Сообщений: 92
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах

(IMG:https://a-parser.com/img/scr/4m5m5.png)

В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.

Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.

Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах

Улучшения
  • Новый парсер (IMG:https://a-parser.com/img/parsers/shop-amazon.png) Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
  • Новый парсер (IMG:https://a-parser.com/img/parsers/shop-yandex-market.png) Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
  • Новый парсер (IMG:https://a-parser.com/img/parsers/se-rambler.png) SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
  • Новый парсер (IMG:https://a-parser.com/img/parsers/se-ixquick.png) SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google
  • Добавление ссылок в индекс Бинга - (IMG:https://a-parser.com/img/parsers/se-bing-addurl.png) SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
  • Новый парсер (IMG:https://a-parser.com/img/parsers/rank-opensiteexplorer-extended.png) Rank::OpenSiteExplorer::Extended - расширенная версия парсера (IMG:https://a-parser.com/img/parsers/rank-opensiteexplorer.png) Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице
  • JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
  • В парсере (IMG:https://a-parser.com/img/parsers/se-yandex.png) SE::Yandex добавлен сбор времени последнего кэширования страницы


Исправления в связи с изменениями в выдаче
  • SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
  • SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
  • В парсере Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
  • SE::Google::Trends - полностью обновлен парсер и список собираемых значений
  • Rank::LinkPad, Rank::MajesticSEO, SE::Seznam


Исправления
  • Проблема с прокруткой в Планировщике
  • Проблема с кодировкой в tools.parseJSON
  • Ошибка импорта JavaScript парсеров

Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 20.4.2017, 13:42
Сообщение #107


Активный участник
***

Группа: Кандидат
Сообщений: 92
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



1.1.832 - новые парсеры, выбор языка интерфейса в Google

(IMG:https://a-parser.com/img/scr/wszlf.png)

Улучшения

Исправления в связи с изменениями в выдаче
  • SE::Bing, Rank::Archive, SE::AOL, SE::IxQuick, SE::Yahoo, Rank::Linkpad

Исправления
  • JavaScript парсеры: исправлена обработка checkbox в настройках
  • JavaScript парсеры: исправлено падение при одновременном запуске нескольких заданий
  • SE::Bing::AddURL - исправлена работа при неверно разгаданной каптче
  • SE::Google::Trends - исправлена работа с неанглийскими запросами
  • В парсере Net::HTTP исправлена работа опции Check next page в редких случаях
  • Исправлена работа со сжатым контентом для редких сайтов
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 1.5.2017, 11:18
Сообщение #108


Активный участник
***

Группа: Кандидат
Сообщений: 92
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



1.1.853 - новые парсеры и каталог пресетов

(IMG:https://a-parser.com/img/scr/zldhe.png)

У нас появился каталог парсеров и пресетов, на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно (IMG:http://4seo.biz/style_emoticons/default/smile.gif)

Улучшения
  • Новый парсер (IMG:https://a-parser.com/img/parsers/html-emailextractor.png) HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)
  • Новый парсер (IMG:https://a-parser.com/img/parsers/rank-social-signal.png) Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn
  • Добавлена возможность устанавливать приоритет заданиям, подробное обсуждение
  • Оптимизирована работа при большом числе активных заданий
  • Оптимизирована версия A-Parser для ОС Linux x64
  • Для парсера (IMG:https://a-parser.com/img/parsers/se-qip.png) SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты
  • В парсере (IMG:https://a-parser.com/img/parsers/se-google-trends.png) SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"

Исправления в связи с изменениями в выдаче

Исправления
  • В парсере (IMG:https://a-parser.com/img/parsers/se-google.png) SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского
  • В парсере (IMG:https://a-parser.com/img/parsers/rank-similarweb.png) Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb
  • Исправлен парсинг выдачи в SE::Bing если выбран язык отличный от английского
  • Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры

Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 15.5.2017, 12:12
Сообщение #109


Активный участник
***

Группа: Кандидат
Сообщений: 92
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту

В версии A-Parser 1.1.873 добавлен новый парсер (IMG:https://a-parser.com/img/parsers/se-google-fast.png) SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи

(IMG:https://a-parser.com/img/scr/r5ege.png)

Улучшения
  • Новый парсер (IMG:https://a-parser.com/img/parsers/se-google-fast.png) SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
  • Новый парсер (IMG:https://a-parser.com/img/parsers/se-google-byimage.png) SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
  • В парсере (IMG:https://a-parser.com/img/parsers/rank-similarweb.png) Rank::SimilarWeb добавлена поддержка антикаптчи
  • В парсере (IMG:https://a-parser.com/img/parsers/rank-linkpad.png) Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
  • JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
  • В инструменты tools добавлена возможность кодировать и декодировать base64
  • Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс

Исправления в связи с изменениями в выдаче

Исправления
  • Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
  • Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
  • При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
  • Исправлена работа tools.js на ОС Linux
  • Исправлена утечка памяти при использовании JavaScript парсеров
  • Исправлена работа опции Динамический лимит потоков
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 5.6.2017, 11:06
Сообщение #110


Активный участник
***

Группа: Кандидат
Сообщений: 92
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



Новый каталог парсеров и пресетов

Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик

(IMG:https://files.a-parser.com/img/7MKvw.png)

Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:

Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность (IMG:http://4seo.biz/style_emoticons/default/smile.gif) Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!
Перейти в начало страницы
 
+Цитировать сообщение

6 страниц V  « < 4 5 6
Ответить в данную темуНачать новую тему
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 



RSS Текстовая версия Сейчас: 28.6.2017, 1:20