IPB

Здравствуйте, гость ( Вход | Регистрация )

7 страниц V  « < 2 3 4 5 6 > »   
Ответить в данную темуНачать новую тему
 A-parser - продвинутый парсер ПС, Pr, Wordstat, всего более 35 парсеров!, Google, Yandex, Bing, Suggest, PR, Whois, AOL, Alexa, MajesticSEO...
A-Parser Support
сообщение 18.8.2015, 8:26
Сообщение #61


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube

8-й выпуск сборника рецептов. В нем мы будем парсить базу организаций из каталога 2GIS, научимся парсить подсказки из Youtube и напишем кастомный парсер Google translate.

Парсинг 2GIS
2GIS - это довольно большой справочник организаций России (и не только...) с возможностью просмотра их расположения на карте. База содержит более 1580000 организаций в 270 городах России. После парсинга представляет интерес как справочник сайтов, электронных адресов и телефонов организаций.
(IMG:http://img.a-parser.com/dgCZZ.png)

Парсинг Google Translate
В данной статье рассмотрен способ написания кастомного парсера Google translate на основе (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP. Также реализована возможность задавать направление перевода. Можно использовать для пакетного перевода больших обьемов текста.
(IMG:http://img.a-parser.com/mpitC.png)

Парсинг подсказок Youtube
Парсинг подсказок поисковых систем - довольно популярный способ поиска ключевых слов. В данной статье также используется (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP, с помощью которого создается кастомный парсер подсказок Youtube. Реализована возможность задавать язык и страну, а также использовать уже спаршенные подсказки в качестве новых запросов на нужную глубину.
(IMG:http://img.a-parser.com/3reXU.png)

Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:

Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 16.9.2015, 5:39
Сообщение #62


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность

9-й выпуск Сборника рецептов. В нем мы будем работать с ключевыми словами: проверять их сезонность и искать свободные ниши в рунете, проверяя "полезность" ключевиков.

Определение сезонности ключевых слов через Wordstat
Использование нужных ключевых слов в нужное время - один из способов привлечения дополнительного трафика на сайт. Для определения сезонности ключевых слов существует немало различных способов и сервисов. О том, как это делать с помощью А-Парсера - читайте по ссылке выше.
(IMG:http://img.a-parser.com/BUR2G.png)

Поиск свободных ниш в RU сегменте интернета
Используя на сайте не только сезонные, а и "полезные" ключевые слова, можно значительно повысить шансы попасть в ТОП10 поисковиков. И если о сезонности мы писали ранее, то о "полезности", а точнее о "незанятости" ключевых слов мы поговорим в данной статье. Полезные или незанятые - это такие КС, которые пользователи часто ищут, но конкуренция по которым не очень высокая. Как их искать - читайте по ссылке выше.
(IMG:http://img.a-parser.com/cXyrn.png)

Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 7.10.2015, 4:31
Сообщение #63


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - 1.1.292 - парсинг JSON, улучшения использования памяти, множество исправлений

Улучшения
  • Поддержка разбора JSON структур в шаблонизаторе
  • Добавлена опция "Конструктор запросов на всех уровнях", позволяющая использовать конструктор запросов на всех уровнях вложенного парсинга
  • При просмотре статистики работы задания теперь отображается общее число HTTP запросов
  • Новый инструмент отладки Gladiator, позволяющий быстро локализовать возможные утечки памяти

Исправления в связи с изменениями в выдачи

Исправления
  • Исправлен парсер (IMG:http://a-parser.com/img/parsers/se-yandex-tic.png) SE::Yandex::TIC - ресурсы у которых тИЦ был неопределен отображались как тИЦ = 0, исправлено на тИЦ = -1
  • Исправлено множество утечек памяти
  • При замене в регулярных выражениях не работал символ переноса \n
  • При использовании большого числа переменных в конструкторе запросов или результатов они могли не влезать в видимую область
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 14.10.2015, 6:54
Сообщение #64


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий

10-й выпуск Сборника рецептов. В нем мы сделаем кастомный парсер поисковика search.disconnect.me и научимся парсить категории из сайтов с сохранением иерархии и путей к ним.

Парсер search.disconnect.me или альтернатива inurl Google
В одном из сообщений на форуме был упомянут довольно интересный сервис search.disconnect.me. Также в последнее время все чаще стали появляться сообщения о проблемах при парсинге Гугла с поисковыми операторами. А так как вышеупомянутый сервис позволяет парсить Гугл, при этом не выдавая каптч и без бана прокси, можно попробовать сделать для него парсер на основе [parser]Net::HTTP[/parser]. Что из этого получилось - можно посмотреть по ссылке выше.

(IMG:http://img.a-parser.com/6VNYu.png)

Парсинг дерева категорий с сохранением структуры
В версии 1.1.292 появилась новая опция Query Builders on all levels. С ее помощью можно регулировать, когда применять Конструктор запросов при парсинге "в глубину". И благодаря этой опции стало возможным парсить дерево категорий из сайтов с сохранением структуры. Как это работает - можно посмотреть по ссылке выше.
(IMG:http://img.a-parser.com/XJ2E4.png)

Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 22.10.2015, 8:46
Сообщение #65


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - 1.1.323 - парсинг с помощью XPath, поддержка JavaScript в шаблонизаторе, тестировщик заданий

Улучшения


(IMG:http://a-parser.com/img/scr/cj0zi.png)

Исправления в связи с изменениями в выдачи

Исправления
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 3.11.2015, 6:28
Сообщение #66


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!

Розыгрыш призов, условия акции смотри в конце!

11-й выпуск сборника рецептов. В нем мы разберем пример парсинга Авито, научимся расшифровывать телефонные номера, скрытые за JS и будем анализировать тексты.

Парсинг Авито
Если просмотреть сайты с вакансиями для фрилансеров, то можно увидеть, что очень часто требуется парсить популярный сайт объявлений avito.ru. Чаще всего в результате нужна база телефонов, реже - списки объявлений и цены. Данная информация может быть необходима маркетологам, для изучения ситуации на рынке, спамерам для рассылки смс и т.д...
Задачу по парсингу Авито можно решить также с помощью А-Парсера. О том как это сделать - читайте по ссылке выше.
(IMG:http://img.a-parser.com/hnit6.png)

Выборочная обработка java script: расшифровка телефонов
Бывает, что при парсинге различных ресурсов можно наткнуться на информацию, которая скрыта скриптом на JavaScript. До недавнего времени A-Parser не умел обрабатывать JS, и такие сайты оставались в "зоне недоступности". Но начиная с версии 1.1.318 A-Parser научился выборочно работать с JS. Поэтому теперь есть возможность более эффективно парсить такие ресурсы и получать нужную информацию.
Как это делать и больше подробностей о поддержке JS в А-Парсере читайте по ссылке выше.
(IMG:http://img.a-parser.com/ZiTpN.png)

Анализ текста

Иногда возникает необходимость проанализировать спаршенный или написанный текст по различным параметрам (например: тошнота, водность, определить тематику и язык, найти наиболее повторяющиеся слова и т.п.). Для этого существует много различных приложений и онлайн-сервисов. Парсинг одного из таких сервисов будет показан по ссылке выше.
(IMG:http://img.a-parser.com/d7ri3.png)

Почти 3 месяца назад у нас появилась Платная услуга по составлению заданий для А-Парсера. Она оказалась очень актуальна среди новых пользователей парсера, а также среди тех, у кого не хватает времени на его изучение. За время ее существования было составлено более 70 заданий, при этом 75% состояли из 2-х и более пресетов. Среднее время на составление одного заказа, от согласования деталей до получения готового набора пресетов, составляет около 4 часов. При этом, каждый пресет тщательно тестируется, а получаемый результат обсуждается с клиентом.

Так как A-Parser - это программа для парсинга различной информации, 26 ноября, во Всемирный день информации, будет разыграно:
  • 5 пакетов прокси (100 потоков на месяц)
  • 3 бесплатных составления 1-го задания для А-Парсера

В акции принимают участие все, кто ретвитнет нашу новость об этой акции в Twitter. Подписывайтесь на наши каналы в Twitter: русскоязычный @a_parser и англоязычный @a_parser_en и следите за новостями на сайте! Победители акции будут определены случайно с помощью сервиса random.org. Видео определения победителей будет выложено вместе с результатами акции.

Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 27.11.2015, 9:08
Сообщение #67


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



Снижение комиссии при оплате PayPro и Итоги акции

В связи с плохой проходимостью платежей в системе Interkassa было принято решение снизить комиссию PayPro до 3%. PayPro теперь является рекомендуемым способом оплаты, который принимает все популярные платежные системы: PayPal, Visa/MasterCard, QIWI, Yandex.Money, Wire Transfer

Напоминаю что всегда доступен прием WebMoney без комиссии

Одновременно с этим мы перевели Members Area на русский язык, добавили систему уведомлений на e-mail, а также готовим инструкцию по использованию нашего магазина

Итоги акции:

Итак, сегодня 26 ноября, а значит пора подводить итоги нашей акции!
Всего участников оказалось не так и много - 14 человек. Поэтому шансы получить 1 из 8-ми призов были довольно велики.
Было проведено определение победителей, видео по ссылке: http://files.a-parser.com/Video/Action_26_11_15.avi

(IMG:http://img.a-parser.com/S5oFS.png)

Искренне поздравляем всех счастливчиков! А те, кому не повезло в этот раз - не отчаивайтесь, вскоре будут новые акции! Поэтому следите за нашими новостями на сайте или в Твиттере.

Победители, для уточнения деталей и получения призов, свяжитесь через Твиттер с выигрышных аккаунтов с администрацией А-Парсера @a_parser.
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 8.12.2015, 9:05
Сообщение #68


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Paeser - 1.1.355 - улучшения работы с регионами в Google и Яндексе, новые методы API, множество исправлений

Улучшения

  • В парсере (IMG:http://a-parser.com/img/parsers/se-yandex.png) SE::Yandex теперь также собираются ссылки на колдунщики(внутренние сервисы Яндекса), что позволяет более точно определять позиции сайтов в выдаче
  • В парсере SE::Yandex улучшено определение misspell(исправленных) запросов
  • В парсере SE::Yandex домен Яндекса теперь выбирается автоматически в зависимости от выбранного региона
  • В парсере (IMG:http://a-parser.com/img/parsers/se-google.png) SE::Google улучшена работа с сессиями
  • В парсере SE::Bing добавлен выбор локации
  • В интерфейсе парсера теперь доступен список последних сообщений с форума поддержки
  • Для парсера (IMG:http://a-parser.com/img/parsers/se-yandex.png) SE::Yandex добавлена поддержка турецкого домена yandex.com.tr
  • В парсере (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP добавлена поддержка шаблонизатора в поле Cookies
  • Теперь у начального текста, формата результата и конечного текста, общее пространство переменных, что позволяет решать задачи по выводу статистики
  • В макрос num добавлена возможность указать шаг итераций, формат {num:START:END:STEP}
  • Добавлен новый метод API getParserInfo - выводит список всех доступных результатов, который может вернуть парсер
  • Добавлен новый метод API update - обновляет исполняемый файл парсера до последней доступной версии, после успешного ответа A-Parser будет автоматически перезапущен
  • Метод API info теперь дополнительно выдает список всех доступных парсеров


Исправления в связи с изменениями в выдаче



Исправления

  • Исправлено игнорирование максимального числа активных заданий
  • В парсере (IMG:http://a-parser.com/img/parsers/html-linkextractor.png) HTML::LinkExtractor исправлена обработка относительных ссылок
  • Исправлена перезапись результатов при паузе\старте или при перезапуске парсера и одновременно включенной опции "Перезаписать файл"
  • Исправлена работа функции tools.parseJSON если страница была декодирована в UTF-8
  • Исправлен вывод результатов в Тестировщике заданий
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 15.12.2015, 10:36
Сообщение #69


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser: вводный видео урок, обзор возможностей

Денис Бартаев рассказывает о базовых возможностях A-Parser

(IMG:http://a-parser.com//img/scr/WgIXi.png)

В выпуске рассматриваются:
  • Основные настройки рядового парсера на примере SE::Yandex
  • Настройки Антигейт
  • Настройки прокси с проверкой статуса и без
  • Основные инструменты тестирования результатов парсинга
  • Базовые методы работы с шаблонизатором результатов, переменные парсеров
  • Примеры создания заданий, и описание процедуры работы с Редактором заданий

Подписывайтесь на наш канал!


A-Parser на СПИК 2015 - запись доклада Леонида Гроховского

A-Parser на СПИК 2015! Почти половина доклада посвящена обзору некоторых возможностей A-Parser

Как использовать парсеры для SEO? Как проверять индексацию страниц, как узнать позиции сайта. Об этом в докладе "Парсеры на службе у SEO-специалистов" рассказывает Леонид Гроховский. Подписывайтесь на его канал https://www.youtube.com/user/Grohovskiy
И на наш https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw

(IMG:http://a-parser.com//img/scr/eP3qQ.png)

Тезисы:
  • Проверка индексации сайтов
  • Сбор сниппетов
  • Парсинг подсвеченных слов из сниппетов
  • Проверка позиций и входных страниц
  • Сбор запросов и подсказок
  • Определение частотности для списка запросов
  • Парсинг VK
  • Выкачивание базы у любого сайта
  • Взаимодействие с A-Parser через API
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 23.12.2015, 9:22
Сообщение #70


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - 1.1.370 - планировщик заданий, улучшения в парсерах Google и Яндекса

В новой версии добавлен планировщик заданий, позволяющий легко запланировать выполнение задач, требующих периодичного исполнения, например такие как анализ позиций сайтов или ссылочных показателей

(IMG:http://a-parser.com/img/scr/lta5w.png)

Другие улучшения


Исправления в связи с изменениями в выдачи



Исправления

  • При использовании нескольких форматов запросов и опции Parse to level парсер мог вылетать с ошибкой
  • В парсере (IMG:http://a-parser.com/img/parsers/se-google.png) SE::Google могла повторно отправляться каптча при использовании антигейта
  • Исправлен баг с отображением формата результата после импорта пресета
  • Исправлен баг с отображением переменных в Конструкторе результатов


Сообщение отредактировал A-Parser Support - 23.12.2015, 9:22
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 14.1.2016, 11:07
Сообщение #71


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - 1.1.388 - новый парсер disconnect.me, улучшения в экспорте заданий

Улучшения
  • Добавлен парсер (IMG:http://a-parser.com/img/parsers/se-disconnectme.png) SE::DisconnectMe - поисковая система от бывших сотрудников Google, можно выбирать один из трех вариантов выдачи: Google, Bing, Yahoo
  • Теперь при сохранении пресета задания, сохраняется название файла запросов или сам список запросов
  • При экспорте задания, появилась возможность указать включать или нет запросы в код пресета, а также теперь отображается список настроек парсеров которые будут включены в код
  • В очереди заданий добавлена возможность свернуть\развернуть одновременно все задания на странице
  • В очереди заданий для свернутых заданий теперь отображается время выполнения
  • Увеличена скорость парсинга (IMG:http://a-parser.com/img/parsers/se-google.png) SE::Google

Исправления в связи с изменениями в выдачи

Исправления


Обновление партнерской программы

Участвуйте в нашей партнерской программе рекламируя A-Parser в своих блогах и на форумах! Размер комиссии - 15%:
  • A-Parser Lite: $18
  • A-Parser Pro: $30
  • A-Parser Enterprise: $42

(IMG:http://a-parser.com/img/scr/9d9op.png)

В обновленном интерфейсе доступна удобная статистика заработанных средств и выплат, а также список привлеченных пользователей

Подробнее про условия участия в партнерской программе читайте в соответствующем разделе
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 8.2.2016, 13:39
Сообщение #72


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser: видео урок по парсингу 2ГИС

Денис Бартаев рассказывает о парсинге информации о компаниях и их телефонов из базы 2ГИС

(IMG:http://a-parser.com//img/scr/C9Mhw.png)

В выпуске рассматриваются
  • Использование парсера-паука HTML::LinkExtractor и его настройка для фильтрации ссылок
  • Работа с параметром Parse To Level
  • Использование парсера Net::HTTP и его настройка для выборки данных со страницы с помощью регулярных выражений
  • Создание Excel-таблицы из результатов парсинга


Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 15.2.2016, 9:57
Сообщение #73


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок

12-й выпуск Сборника рецептов. В нем мы рассмотрим пример парсинга Instagram, проверим новую возможность вывода статистики и научимся составлять кастомные парсеры подсказок. А также:
  • Обзор вариантов представления результатов
  • Универсальный чекер страниц
  • Парсинг трафика и стоимости по ключевым словам из SEMrush
  • Обновление и улучшение пресетов для парсинга Авито и 2GIS

Парсинг Instagram
Instagram на сегодня является одним из самых популярных приложений для обмена фото с элементами социальной сети (осенью 2015 года аудитория превысила 400 млн пользователей). Такая популярность делает данный сервис привлекательным для парсинга, с целью получения различной информации. Как парсить Инстаграм с помощью А-Парсера - по ссылке выше.
(IMG:http://img.a-parser.com/zk1jr.png)

Статистика по результатам парсинга
Начиная с версии 1.1.336 в А-Парсере появилась возможность вести и обрабатывать статистику парсинга, благодаря поддержке шаблонизатора в Начальном и Конечных текстах. Теперь в выдаче можно подсчитать количество ссылок на каждом домене, количество сабдоменов для каждого домена, частоту каждого сабдомена; получить списки доменов, имеющих сабдомены и многое другое... Несколько примеров показаны по ссылке выше.
(IMG:http://img.a-parser.com/A5qxD.png)

Как сделать свой парсер подсказок?
В A-Parser уже существуют парсеры подсказок для Google, Yandex, AOL, Bing и Yahoo. Но есть и другие сервисы, которые также выдают подсказки. О том, как сделать свой парсер подсказок, а также примеры для Baidu, Rambler, Mail.Ru, LiveInternet, DuckDuckGo и GooglePlay смотрите по ссылке выше.
(IMG:http://img.a-parser.com/5s8VN.png)

Кроме этого еще несколько рецептов:


Еще больше различных рецептов в нашем Каталоге примеров!


Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 29.2.2016, 8:16
Сообщение #74


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - 1.1.434 - парсинг частотности Яндекс.Директ с большой скоростью, улучшения использования памяти

В этой версии проделана большая работа по добавлению поддержки агрегации запросов. Теперь парсер частотности ключевых слов (IMG:http://a-parser.com/img/parsers/se-yandex-direct-frequency.png) SE::Yandex::Direct::Frequency может получать данные со скоростью 20000-50000 слов\минуту

Улучшения
  • Уменьшено потребление памяти при использовании большого числа потоков и\или нескольких парсеров в одном задании
  • Уменьшено потребление памяти при большой очереди завершенных заданий
  • В парсере (IMG:http://a-parser.com/img/parsers/se-yandex-direct-frequency.png) SE::Yandex::Direct::Frequency добавлена возможность выбрать все регионы или выбрать несколько определенных
  • В парсере (IMG:http://a-parser.com/img/parsers/se-yandex-direct-frequency.png) SE::Yandex::Direct::Frequency добавлена поддержка Яндекс аккаунтов, а так же поддержка AntiGate и парсинг по 500 ключевых слов за один запрос
  • В парсере (IMG:http://a-parser.com/img/parsers/se-yandex-direct-frequency.png) SE::Yandex::Direct::Frequency добавлена возможность выбора периода за последний месяц, за определенный месяц, за квартал или за год
  • Для Windows и Linux улучшена поддержка юникода в именах файлах, независимо от языка интерфейса ОС
  • Добавлена возможность просматривать логи только неудачных запросов
  • В API добавлена возможность указать флаг removeOnComplete при добавлении задания, тем самым задания будут автоматически удалятся после завершения
  • В просмотре логов теперь можно выделить данные для копирования
  • В парсере (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP добавлен параметр Max cookies count, ограничивающий число Cookie для сохранения
  • В парсере (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP расширен список кодов ответов, а также добавлена возможность указать регулярное выражения для проверки кода ответа
  • В очереди заданий теперь можно искать необходимые задания по названию, номеру, подстроке в запросах, имени файлов запросов и результатов
  • В парсере (IMG:http://a-parser.com/img/parsers/html-linkextractor.png) HTML::LinkExtractor добавлена опция Check next page, позволяющая расширить логику перехода по ссылкам
  • Добавлена опция Page as new query, которая передает переход на следующую страницу как новый запрос, тем самым позволяя убрать ограничение на количество страниц для перехода

Исправления в связи с изменениями выдачи
  • В парсере (IMG:http://a-parser.com/img/parsers/se-yandex.png) SE::Yandex исправлен парсинг связанных ключевых слов
  • В парсере SE::Youtube исправлен парсинг количества видео по запросу
  • Исправлен парсинг Google Blogs в парсере SE::Google
  • Исправлены SE::AOL, SE::Ask, SE::Baidu, SE::Google, SE::Google:: pR, SE::DisconnectMe, SE::QIP, SE::Yandex

Исправления
  • Исправлено отображение длинных выпадающих меню
  • Исправлена кодировка запросов в просмотре логов
  • Исправлено падение при использовании опции Parse to level в некоторых ситуациях
  • Исправлено падение в парсере (IMG:http://a-parser.com/img/parsers/seo-ping.png) SEO::ping
  • Прокси с авторизацией теперь сохраняются корректно в файл живых прокси alive.txt
  • Исправлена работа с прокси при указании пустой пары логин\пароль для авторизации
  • В парсере (IMG:http://a-parser.com/img/parsers/se-yandex-wordstat.png) SE::Yandex::WordStat теперь при использовании опции Remove + from keywords плюсы удаляются также для фраз правого столбика
  • Исправлено экранирование символа + в HTTP запросах


Все изменения и описания новых возможностей скоро будут доступны в документации
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 16.3.2016, 10:07
Сообщение #75


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser: видео урок - генерация sitemap.xml используя возможности JavaScript

Денис Бартаев рассказывает об использовании JavaScript в A-Parser:

(IMG:http://a-parser.com//img/scr/SrkXe.png)

  • Использование LinkExtractor
  • Показан пример разбора заголовков ответов
  • Введение в основы JavaScript
  • Использование возможностей tools.js для решения практической задачи

Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 23.3.2016, 6:08
Сообщение #76


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - 1.1.462 - цепочки заданий, сохранение JavaScript функций в пресете задания

Улучшения
  • Добавлена возможность использовать цепочки заданий - запускать определенное задание после завершение текущего, с возможностью указать файл результатов первого задания, как файл запросов для следующего
  • Теперь JavaScript функции можно сохранять в настройках задания, что позволяет включать их при экспорте задания
  • При форматировании элементов массивов через метод .format теперь можно использовать все простые(Flat) переменные, которые выдает парсер или которые формируются используя Конструктор результатов
  • В прокси чекер добавлена опция Load limit count, позволяющая задать максимальное число прокси для загрузки с источников
  • В парсере (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP для опции Check content добавлен переключатель Match / Not Match позволяющий проверять не только наличие, но и отсутствие определенного контента на странице
  • Теперь файл задания не перезаписывается при отсутствии свободного места на диске
  • В лог добавлена информация о версии парсера, количество свободной памяти и другая полезная информация

Исправления в связи с изменениями выдачи


Исправления

  • В парсере (IMG:http://a-parser.com/img/parsers/se-google.png) SE::Google сниппеты и анкоры парсились с некорректной кодировкой при использовании Антигейта
  • При использовании опции Конечный текст и кириллического имени файла результата конечный текст сохранялся в файл с неверной кодировкой в имени
  • При использовании лога после постановки задания на паузу и продолжении работы лог переставал писаться, также при отключении логирования и попытке просмотра лога парсер мог упасть
  • В Тестировщике заданий при закрытии окна с активным заданием появлялась ошибка
  • В парсере (IMG:http://a-parser.com/img/parsers/se-yandex-direct-frequency.png) SE::Yandex::Direct::Frequency некоторые фразы не обрабатывались при использовании аккаунтов, а также некорректно передавалось гео без использования аккаунтов
  • Макрос $pagenum в парсере (IMG:http://a-parser.com/img/parsers/net-http.png) Net::HTTP переставал работать если после него были указаны символы
  • Парсер (IMG:http://a-parser.com/img/parsers/se-google-trustcheck.png) SE::Google::TrustCheck не работал совместно с антигейтом
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 7.4.2016, 7:13
Сообщение #77


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - 1.1.481 - множество оптимизаций скорости, использование пресетов в цепочках и планировщике

(IMG:http://a-parser.com/img/scr/u4cqw.png)

В этой версии был внедрен ряд качественных улучшений, призванных увеличить предельную скорость парсинга:
  • Быстрая обработка UTF-8, прирост скорости на некоторых задачах до 1.5х
  • Внедрен механизм анализа используемых переменных в результатах, что позволяет оптимизировать скорость извлекая только требуемые данные. Первым оптимизированным парсером стал (IMG:http://a-parser.com/img/parsers/se-google.png) SE::Google: двухкратный прирост предельной скорости парсинга при сборе только ссылок(7000-10000 запросов в минуту, по 100 результатов на запрос, другими словами теперь можно получить 1 миллион ссылок за 1-1.5 минуты)
  • Теперь информация о запросах $response формируется только по требованию
  • Оптимизирована работа шаблонизатора при использовании множества парсеров в одном задании

Другие улучшения:
  • Теперь при использовании опции "Запустить задание по завершению" используется имя пресета вместо номера задания из очереди
  • В планировщике заданий также используется имя пресета, что позволяет очищать очередь без риска потерять сохраненные задания для планировщика

Исправления в связи с изменениями в выдачи:

Исправления:
  • В парсере (IMG:http://a-parser.com/img/parsers/rank-archive.png) Rank::Archive исправлена логика при обработке ошибки 403 Forbidden
  • Исправлено падение при изменении числа потоков в задании
  • Исправлена поддержка TLS для некоторых сайтов
  • Исправлено зависание задания при падении воркера
  • Теперь задание можно остановить если оно находится в режиме ожидания слота
  • Исправлена работа опции "Сохранять размер окна"
  • Исправлена ошибка в (IMG:http://a-parser.com/img/parsers/html-linkextractor.png) HTML::LinkExtractor при работе опции Parse to level в случаях когда сайт отдал редирект на другую страницу
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 27.4.2016, 2:50
Сообщение #78


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query

13-й выпуск Сборника рецептов. В нем мы научимся сохранять результат в файл дампа SQL, который будет сразу готов для импорта в базу данных; познакомимся с очень полезным инструментом $tools.query, с помощью которого можно объединять несколько заданий в одно и делать другие интересные вещи; а также увидим еще несколько полезных рецептов.

Вывод результата в формате дампа SQL
С вопросом "можно ли сохранять результаты сразу в базу данных" очень часто обращаюся пользователи в техподдержку. И так, как на данный момент напрямую сохранять результаты в БД нет возможности (но планируется), то предлагаю вариант выводить их в файл дампа, а потом импортировать в базу данных. Как это делается - показано по ссылке выше.
(IMG:http://img.a-parser.com/unEMZ.png)

Обзор инструмента $tools.query
$tools.query довольно часто встречается в примерах на форуме. В А-Парсере этот инструмент появился уже больше года назад, но обзора по нему до этого времени не было выпущено. Поэтому мы исправляемся и по ссылке выше вы сможете ознакомиться с некоторыми его возможностями.
(IMG:http://img.a-parser.com/floct.png)

Еще несколько рецептов:

Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 4.5.2016, 3:39
Сообщение #79


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser - 1.1.500 - использование разных источников прокси в разных заданиях и парсерах

В этой версии проделана большая работа по улучшению проверки прокси и добавлению возможности использования разных источников прокси:
(IMG:http://a-parser.com/img/scr/wmrs2.png)
  • Появилась возможность запускать сразу несколько прокси чекеров, каждый поддерживает собственные настройки и собственный рабочий каталог с возможностью указать различные источники проксей
  • В настройках задания, появилась возможность указать прокси от каких чекеров должны использоваться(выбор между всеми или перечисление конкретных)
  • Более того в одном задании каждый парсер может использовать различные источники прокси
  • Добавлен график живых прокси и статистика по обработке источников
  • Уменьшено потребление памяти при большом числе живых прокси
  • В API теперь возможно получить список всех живых прокси, а также список прокси для конкретных прокси чекеров

Благодаря этим нововведениям появилась возможность раздельной работы с разными прокси серверами, когда одни прокси подходят для парсинга сайтов, другие лучше для парсинга выдачи поисковых систем, а третьи могут быть "заточены" под определенный сервис

Другие улучшения:
  • Для парсера (IMG:http://a-parser.com/img/parsers/rank-cms.png) Rank::CMS добавлена опция эмуляции браузера, она включена по умолчанию и повышает процент распознавания многих CMS
  • В редакторе заданий появилась возможность сворачивать парсеры, что позволяет удобнее работать с большими заданиями

Исправления в связи с изменениями в выдачи:

Печальная новость коснулась (IMG:http://a-parser.com/img/parsers/se-google-pr.png) SE::Google:: PR - Google прекратил отображать PageRank для сайтов, но у нас в арсенале есть множество парсеров для гораздо более точной оценки рейтинга домена!

Сообщение отредактировал A-Parser Support - 4.5.2016, 3:39
Перейти в начало страницы
 
+Цитировать сообщение
A-Parser Support
сообщение 13.5.2016, 9:39
Сообщение #80


Ветеран
****

Группа: Кандидат
Сообщений: 118
Регистрация: 3.6.2013
Пользователь №: 971
Вставить ник
Цитата



A-Parser: видео урок - сбор отзывов о компании

Денис Бартаев рассказывает, как собрать отзывы о компании в необходимом регионе:

(IMG:http://a-parser.com//img/scr/sRRiS.png)

  • Парсинг отзывов с популярного сервиса
  • Работа с парсером Net::HTTP, переход по сайту в глубину
  • Использование конструкторов запросов и результатов
  • Получение нескольких элементов контента одним регулярным выражением
  • Работа с асинхронными запросами в A-Parser
  • Просмотр результата в табличном виде в Excel


Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео
Перейти в начало страницы
 
+Цитировать сообщение

7 страниц V  « < 2 3 4 5 6 > » 
Ответить в данную темуНачать новую тему
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 



RSS Текстовая версия Сейчас: 18.8.2018, 8:09