A-parser - продвинутый парсер ПС, Pr, Wordstat, всего более 35 парсеров!, Google, Yandex, Bing, Suggest, PR, Whois, AOL, Alexa, MajesticSEO... Опции

[A-Parser Support]

Видео урок: Парсинг тематических доменов из Google и получение различных параметров по доменам

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.

(IMG:https://files.a-parser.com/img/xagrk_191121222108.png)

В уроке рассмотрено:

• Парсинг поисковой выдачи Google
• Вывод уникальных результатов в качестве главных доменов
• Получение таких параметров как:
  
  • зарегистрирован домен или нет
  • дата регистрации и дата окончания регистрации домена
  • язык сайта
  • title и description
  • индекс качества сайта
  • позицию в глобальном рейтинге Alexa
  • cтрану с наибольшим числом трафика по Alexa
  • позицию в рейтинге этой страны по Alexa

Полезные ссылки:

• https://a-parser.com/wiki/net-whois/ - парсер Net::Whois
• https://a-parser.com/wiki/html-textextractor-langdetect/ - парсер HTML::TextExtractor::LangDetect
• https://a-parser.com/wiki/se-yandex-sqi/ - парсер SE::Yandex::SQI

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

(IMG:https://files.a-parser.com/img/button_a-parser_small_1200.png)

[A-Parser Support]

1.2.752 - полноценная поддержка Node.js, функция Memory Saver, оптимизация производительности

(IMG:https://files.a-parser.com/img/1.2.752.png)

Улучшения

• Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: https://a-parser.com/threads/5807/
• Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
• Улучшена производительность (IMG:https://a-parser.com/img/parsers/se-yandex.png) SE::Yandex
• В (IMG:https://a-parser.com/img/parsers/shop-amazon.png) Shop::Amazon добавлена возможность подключать антигейт, а также поддержка сессий
• В (IMG:https://a-parser.com/img/parsers/se-google-byimage.png) SE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
• Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчами в (IMG:https://a-parser.com/img/parsers/maps-yandex.png) Maps::Yandex
• Исправлен парсинг рекламы в (IMG:https://a-parser.com/img/parsers/se-google.png) SE::Google
• (IMG:https://a-parser.com/img/parsers/se-yandex.png) SE::Yandex, (IMG:https://a-parser.com/img/parsers/rank-ahrefs.png) Rank::Ahrefs, (IMG:https://a-parser.com/img/parsers/se-dogpile.png) SE::Dogpile, SE::Dogpile::Images, SE::DuckDuckGo::Images, Rank::MajesticSEO, Rank::SerpStat::Keyword, Rank::Bukvarix::Domain

Исправления

• Исправлена работа Bypass Cloudflare в некоторых случаях
• Исправлена работа при малом числе прокси
• Исправлена проблема при редактировании дополнительных форматов результатов

(IMG:https://files.a-parser.com/img/button_a-parser_small_1200.png)

[A-Parser Support]

Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью

Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.

(IMG:https://files.a-parser.com/img/bvd7vsvdbs848sj.png)

Парсинг сайтов из Яндекс.Радар

Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.

(IMG:https://files.a-parser.com/img/6j5q6_200204160703.png)

Определение типа сайта по Яндекс Радару

И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.

(IMG:https://files.a-parser.com/img/925f798dbf.jpg)

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

(IMG:https://files.a-parser.com/img/button_a-parser_small_1200.png)

[A-Parser Support]

Сборник статей #11: анализ содержимого картинок, добавление ссылок в индекс Google и поиск RSS лент

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

Фильтрация картинок по их содержимому

В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.

(IMG:https://files.a-parser.com/img/bvh74g37fa.png)

Инструкция по использованию Google Indexing API

В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.

(IMG:https://files.a-parser.com/img/3p4a3_200214180729.png)

Поиск и сбор rss лент

В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.

(IMG:https://files.a-parser.com/img/cbyuefeteg.png)

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки (IMG:http://4seo.biz/style_emoticons/default/smile.gif) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)

[A-Parser Support]

Сборник рецептов #39: бот-опросник, парсер hotline.ua и copart.com

Представляем вашему вниманию 39-й сборник рецептов, в который вошли:

• телеграмм бот опросник
• парсер агрегатора цен hotline.ua
• парсер аукционов транспортных средств copart.com

Телеграмм бот опросник

Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.

(IMG:https://files.a-parser.com/img/xagrk_191121222108.png)

Парсер hotline.ua

hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.

(IMG:https://files.a-parser.com/img/3my28_200325142307.png)

Парсер copart.com

Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.

(IMG:https://files.a-parser.com/img/ehamm_200325190721.png)

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

(IMG:https://files.a-parser.com/img/button_a-parser_small_1400.png)

[A-Parser Support]

Видео урок: Именование файлов результатов

Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
И в этом уроке будут рассмотрены варианты формирования имени файла результата.

(IMG:https://files.a-parser.com/img/xagrk_191121222108.png)

В видео рассмотрено:

• Нумерация файла результата в соответствии с запросами
• Нумерация файла результата + часть имени запроса
• Именование файла результата по запросу, если запрос линк

Полезные ссылки:

• Формат результата - https://a-parser.com/wiki/tips-v1-1-0/#Формат-результата
• Шаблонизатор Template Toolkit - https://a-parser.com/wiki/template-toolkit/
• Метод replace - http://template-toolkit.ru/Manual/VMethods.html

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

(IMG:https://files.a-parser.com/img/button_a-parser_small_1400.png)

[A-Parser Support]

1.2.852 - новый парсер для Google Keyword Planner, Native NodeJS, множество исправлений и улучшений

(IMG:https://files.a-parser.com/img/1.2.852.png)

Улучшения

• Добавлен парсер (IMG:https://a-parser.com/img/parsers/se-google-keywordplanner.png) SE::Google::KeywordPlanner
  • собираются списки подсказок и варианты ключевых слов
  • для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
  • присутствует возможность указывать несколько ключевых слов в запросе
• В (IMG:https://a-parser.com/img/parsers/se-yandex-byimage.png) SE::Yandex::ByImage добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
• В (IMG:https://a-parser.com/img/parsers/se-yandex-sqi.png) SE::Yandex::SQI добавлены переменные сбор количества отзывов и оценок, а также рейтинга
• Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
• Автоматическое увеличение лимитов на ОС Linux
• Улучшена работа с регулярными выражениями
• При бане прокси в лог задания теперь выводится более детальная информация
• Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в большинстве сценариев это дает повышение максимальной скорости в 1.5-2 раза, а также уменьшение потребление памяти в 2-4 раза
  • Начиная с 1.2.822 все бета версии имеют включенный Native NodeJS, стабильные версии выходят с включенным oldnode
• Native NodeJS: добавлена экспериментальная поддержка HTTP/2
• Native NodeJS: обновление Node.js до актуальной версии
• JS парсеры: добавлена опция allow_dangerous_node_modules, подробнее тут

Исправления в связи с изменениями в выдаче

• Исправлено скачивание каптчи в (IMG:https://a-parser.com/img/parsers/se-yandex.png) SE::Yandex
• Исправлен (IMG:https://a-parser.com/img/parsers/rank-ahrefs.png) Rank::Ahrefs: в $anchors переменная $bl заменена на $domains
• В (IMG:https://a-parser.com/img/parsers/se-google.png) SE::Google исправлены:
  • парсинг mobile news
  • баг с дублированием ссылок в выдаче
  • парсинг анкоров в рекламе, связанных ключевых слов, а также первый результат в выдаче не всегда попадал в serp
• В (IMG:https://a-parser.com/img/parsers/se-google-images.png) SE::Google::Images исправлен парсинг gif
• Исправлен (IMG:https://a-parser.com/img/parsers/se-yandex-byimage.png) SE::Yandex::ByImage, убраны flat переменные $height и $width
• SE::Yandex, SE::Google::ByImage, SE::DuckDuckGo, Social::Instagram::Post, Rank::Ahrefs, Rank::Bukvarix::Domain, SE::MailRu, SE::Yandex::Suggest

Исправления

• Исправлена работа Net::Whois с доменами 3го уровня, а также улучшена проверка получаемого ответа
• Исправлена работа Extra query string в SE::Bing
• Исправлена работа Rank::SEMrush и Rank::SerpStat::Keyword при получении ответа без данных
• Исправлен баг с типами переменных
• Исправлена ошибка, при которой запросы ошибочно считались неудачными при постановке задания на паузу
• Исправлена работа Bypass Cloudflare
• Исправлен динамический лимит потоков
• Исправлена ошибка при использовании Request delay
• Исправлено предупреждение о превышении лимита в Поле запросов
• Исправлена работа $tools.task.id в имени файла результата
• JS парсеры: исправлены получение сессий и работа http2 (баг появился в одной из предыдущих версий)
• JS парсеры: исправлено определение кодировки страницы
• Native NodeJS: исправлено поведение при некоторых ошибках
• Native NodeJS: исправлена проблема при обновлении A-Parser на OS Windows
• Native NodeJS: исправлена работа save_to_file, а также еще ряд ошибок
• Native NodeJS: исправлена работа SOCKS5 с авторизацией
• Native NodeJS: исправлена подстановка данных после Конструктора запросов

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)

[A-Parser Support]

Сборник рецептов #40: посещаемость организаций, SSL сертификаты, ikea и анализ доменов

Представляем вашему вниманию 40-й сборник рецептов, в который вошли:

• парсер данных о посещаемости организаций
• парсер данных о SSL сертификатах
• парсер товаров на ikea.com
• комплексный пресет для анализа доменов по ряду характеристик
• способ извлечения доменов из ссылок без фактического захода на страницу

Посещаемость в Google Maps

В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
Представляем парсер, который собирает данные о посещаемости.

(IMG:https://files.a-parser.com/img/hxbk8_200427145217.png)

Данные по SSL сертификату

Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.

(IMG:https://files.a-parser.com/img/dnr3e_200427125510.png)

Парсер ikea.com

Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.

(IMG:https://files.a-parser.com/img/fwrq2_200427130816.png)

Кроме этого:

• Получение доменов из ссылок без захода на страницу
• Информация о сайте (домене)

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

(IMG:https://files.a-parser.com/img/button_a-parser_small_1500.png)

[A-Parser Support]

Видео урок: Сохранение результатов в несколько файлов используя переменные, массивы и условия
В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.

(IMG:https://files.a-parser.com/img/Sohranenie_rezultatov_v_neskolko_failov_ispolzuya_peremennye_i_massiv,_pri_opredelennyh_usloviyah_-_YouTube_-_Google_Chrome_2020-05-08_14.50.31.png)

В видео рассмотрено:

• Вывод результатов в разные файлы с разными именами используя переменные
• Вывод результатов для каждого файла отдельно по определенному условию
• Вывод результатов для двух файлов с условием, используя массив

Полезные ссылки:

• https://a-parser.com/wiki/template-toolkit/ - Шаблонизатор Template Toolkit
• http://template-toolkit.ru/Manual/Directiv...vnaya_obrabotka - условная обработка (IF, UNLESS, ELSIF, ELSE)
• http://template-toolkit.ru/Manual/Directiv...skaya_obrabotka - циклическая обработка FOREACH
• https://a-parser.com/wiki/task-tester/ - тестировщик заданий

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
(IMG:https://files.a-parser.com/img/button_a-parser_small_1500.png)

[A-Parser Support]

Сборник рецептов #41: Google таблицы, отправка писем и авторизация с помощью puppeteer

Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.

• Работа с Google таблицами
• Отправка писем из А-Парсера
• Авторизация с помощью puppeteer

Сохранение результатов в Google SpreadSheets
Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.
(IMG:https://files.a-parser.com/img/bsdf64354bhd734vfdatf54.png)

Отправка почтовых писем
Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.
(IMG:https://files.a-parser.com/img/swlv0_200518110130.png)

Авторизация на GitHub с использованием puppeteer
Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.
(IMG:https://files.a-parser.com/img/dasdt56567asd56s.png)


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

(IMG:https://files.a-parser.com/img/button_a-parser_small_1500.png)

[A-Parser Support]

1.2.912 - обновление NodeJS, повышение производительности, адаптация к изменениям в рекаптчах

(IMG:https://files.a-parser.com/img/1.2.912.png)

Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е

Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.

Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер (IMG:https://a-parser.com/img/parsers/rank-cms.png) Rank::CMS был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил.

Улучшения

• NodeJS обновлен до v14.2.0, v8 до 8.1
• Добавлена поддержка параметра data-s в рекаптчах для (IMG:https://a-parser.com/img/parsers/se-google.png) SE::Google, также добавлена опция ReCaptcha2 pass proxy
• Увеличен лимит потоков до 10000 для OS Windows
• Значительно улучшена производительность при большом числе активных прокси и/или заданий, полностью переписан стек по работе с прокси, оптимизирована работа с большими списками
• Добавлен новый парсер (IMG:https://a-parser.com/img/parsers/rank-keysso.png) Rank::KeysSo
• Полностью переписаны на JS (IMG:https://a-parser.com/img/parsers/se-yahoo-suggest.png) SE::Yahoo::Suggest, (IMG:https://a-parser.com/img/parsers/rank-alexa-api.png) Rank::Alexa::API и (IMG:https://a-parser.com/img/parsers/rank-archive.png) Rank::Archive
• Улучшена производительность при использовании регулярных выражений, а также улучшена совместимость
• В (IMG:https://a-parser.com/img/parsers/se-google-keywordplanner.png) SE::Google::KeywordPlanner добавлено автоматическое получение токена
• В (IMG:https://a-parser.com/img/parsers/se-bing.png) SE::Bing добавлена возможность парсить ссылки на кэшированные страницы, а также добавлена возможность парсить мобильную выдачу
• В парсере Util::ReCaptcha2 при выборе провайдера Capmonster или Xevil теперь необязательно указывать Provider url
• В SE::Google::Trends добавлена возможность указывать произвольный диапазон дат
• В Rank::CMS добавлен выбор движка регулярок и поддержка собственного файла с признаками
• В SE::Yandex::ByImage добавлена опция Don't scrape if no other sizes, которая позволяет отключить сбор результатов, если искомой картинки нет в других размерах
• [NodeJS] Добавлена защита от бесконечных циклов и долгих регулярок
• [NodeJS] Исправлена работа this.cookies.getAll()
• [JS парсеры] Добавлена опция follow_meta_refresh для this.request
• [JS парсеры] Добавлена опция bypass_cloudflare для this.request
• [JS парсеры] Underscore заменен на Lodash
• [JS парсеры] В логе добавлена пометка при вызове других парсеров
• [JS парсеры] Использование предыдущего прокси после запроса к другому парсеру
• [JS парсеры] Добавлен метод destroy()

Исправления в связи с изменениями в выдаче

• Множество исправлений в SE::Google
• Исправлен SE::Youtube, в т.ч. парсинг по тегам
• Исправлен сбор ссылок в Shop::eBay
• Исправлен парсинг телефонов в Maps::Google
• Исправлена работа с каптчами в SE::Yandex::ByImage
• В Rank::Social::Signal удалена переменная $facebook_comment в связи с неактуальностью
• SE::Startpage, Rank::Linkpad, Social::Instagram::post, SE::Yandex::Translate

Исправления

• Исправлен баг, из-за которого игнорировался выбранный проксичекер
• Исправлена работа функций Decode HTML entities и Extract domain в Конструкторе результатов
• Исправлена проблема с определением кодировки
• Исправлена ошибка использования $tools.query
• Исправлен баг в Rank::MajesticSEO при котором использовались все попытки при отсутствии результатов
• Исправлена работа http2
• Исправлена ошибка, когда парсер падает из-за невозможности писать в alive.txt
• Исправлено разгадывание каптч в SE::Yandex::Register и Check::RosKomNadzor
• Исправлена разница в запросах, отправляемых через Net::HTTP и JS
• Исправлен баг в SE::Yahoo
• Исправлены ошибки в Rank::CMS при выборе приложения без категории
• [NodeJS] Исправлен подсчет времени исполнения кода парсера
• [JS парсеры] При пустом body не передавался заголовок content-length при post запросе
• [JS парсеры] Исправлена работа CloudFlare bypass
• [JS парсеры] Исправлена работа с сессиями
• [JS парсеры] Исправлена работа с overrides для this.parser.request
• [JS парсеры] Исправлена ошибка определения кодировки в JS парсерах

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)

[A-Parser Support]

Сборник рецептов #42: поиск битых ссылок, сервисы статистики и коммерциализация запросов

Представляем 42-й сборник рецептов, в котором собраны парсеры для определения наличия на сайте битых ссылок, сбора данных об используемых сервисах статистики и определения коммерциализации ключевых слов.

Парсер Ahrefs::BrokenLink

Ahrefs Broken Link Checker - это сервис, позволяющий определить наличие битых ссылок на сайте, а также некоторую другую полезную информацию.

(IMG:https://files.a-parser.com/img/5xjrw_200622121851.png)

Парсер builtwith.com

Этот парсер собирает данные об используемых на сайтах сервисах статистики с ресурса BuiltWith. С его помощью можно получить список id используемых сервисов статистики, а также список других сайтов, на которых используются эти же id.

(IMG:https://files.a-parser.com/img/a-parser.com_Historical_Website_Relationship_Profile_-_Google_Chrome_2020-06-22_10.37.34.png)

Определение коммерциализации запроса

Способ определения степени коммерциализации ключевых слов, основанный на анализе поисковой выдачи Яндекса. Оценивается количество вхождений определенного списка слов в анкорах и сниппетах ТОП10 выдачи.

(IMG:https://files.a-parser.com/img/ZrJ0RK5UMpNLj2.png)

Кроме этого:

• Определение локации по координатам

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)

[A-Parser Support]

Видео урок: где смотреть переменные, скрытые переменные и какой результат они выводят (примеры)

В этом видео рассмотрели где смотреть переменные, какие бывают скрытые переменные и какой результат они выводят на примерах.

(IMG:https://files.a-parser.com/img/xagrk_191121222108.png)

Содержание видео:
00:20 - 1. Где смотреть какие у парсера есть переменные?
1:16 - 2. Какие бывают скрытые переменные ($query.*, $root и т.п.)?
1:22 - переменная root
2:08 - переменная root объект
3:14 - переменная query.orig
4:04 - переменная query.first
5:24 - переменная query.lvl
5:50 - переменная query.prev
6:20 - переменная query.num

Все возможные методы TT для работы с обьектами
Форматирование запросов (шаблоны)

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)

[A-Parser Support]

1.2.948 - новые парсеры SecurityTrails IP и Domain, поддержка доменных прокси, множество исправлений

(IMG:https://files.a-parser.com/img/fvvik_200716143725.png)

Улучшения

• Добавлен парсер (IMG:https://a-parser.com/img/parsers/rank-moz.png) Rank::MOZ.
  Собираемые данные: вся информация, содержащаяся на странице.
• Добавлены парсеры (IMG:https://a-parser.com/img/parsers/securitytrails-domain.png) SecurityTrails::Domain и (IMG:https://a-parser.com/img/parsers/securitytrails-ip.png) SecurityTrails::IP.
  Для работы парсеров необходимо указать пресет (IMG:https://a-parser.com/img/parsers/util-recaptcha2.png) Util::ReCaptcha2.
  • (IMG:https://a-parser.com/img/parsers/securitytrails-ip.png) SecurityTrails::IP
    В качестве запроса следует указывать ipv4 адрес.
    Собирает домены по IP и информацию о них.
  • (IMG:https://a-parser.com/img/parsers/securitytrails-domain.png) SecurityTrails::Domain
    В качестве запроса следует указывать домен, например a-parser.com.
    Собираемые данные:
    • Данные по DNS
    • Список технологий, используемых на сайте (движки и проч.)
    • Список открытых портов
    • Alexa rank
    • Страна
    • Хостер
    • Даты начала и окончания регистрации
    • Whois статус
    • Регистратор
    • Список исторических данных по DNS
    • Список субдоменов
• Добавлена возможность отключать валидацию TLS сертификатов.
• Добавлена поддержка доменных прокси.

Исправления в связи с изменениями в выдаче

• Исправлен парсинг новостей в (IMG:https://a-parser.com/img/parsers/se-google.png) SE::Google.
• Исправлен Social::Instagram::Profile.
• Исправления в SE::Yandex:
  • исправлен парсинг турбо ссылок;
  • исправлен парсинг новостных сниппетов.
• Исправления в SE::Google, SE::Baidu, SE::Yandex::Direct, Shop::Yandex::Market.
• Исправления в SE::Yahoo - ошибка в выборе стран, у которых одинаковый домен, восстановлен парсинг сниппетов.

Исправления

• Исправлена ошибка в алгоритме автовыбора домена в (IMG:https://a-parser.com/img/parsers/se-yandex.png) SE::Yandex.
• Исправлена работа Rank::MajesticSEO, SE::Bing::Translator.
• Исправлена ошибка, если файл config.txt был сохранен в кодировке utf-8 с BOM (парсер некорректно читал файл).
• Решена проблема с переопределениями опций в парсере HTML::LinkExtractor.
• NodeJS: новые установленные модули теперь доступны до перезагрузки A-Parser'a.
• Исправлено падение парсера при вызове метода getProxies.

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)

[A-Parser Support]

Сборник статей #12: скорость работы парсеров, debug режим и работа с куками

В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.

Скорость и принцип работы парсеров
В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.
(IMG:https://files.a-parser.com/img/jvml0_200825184512.png)

Использование Debug режима
В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.
(IMG:https://files.a-parser.com/img/6k8r6_200825184446.png)

Работа с куками и заголовками на примере соглашения с правилами сайта auto.ru
А в этой статье на реальном примере показана работа с куками сайта: рассказано как определять необходимость передавать куки и как искать только необходимые для запроса куки. При этом показаны два варианта: простые запросы средствами А-Парсера и использование NodeJS модуля puppeteer.
(IMG:https://files.a-parser.com/img/Fotografii_2020-08-25_12.07.40.png)


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)

[A-Parser Support]

Видео урок: просмотр результатов парсинга, настройка прокси с авторизацией, опция Extra query string

В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера

(IMG:https://files.a-parser.com/img/xagrk_191121222108.png)

• Где и как можно посмотреть результаты парсинга?
• Как подключить прокси с авторизацией?
• Extra query string, что это такое и как применять эту опцию?

В уроке рассмотрено:

• Просмотр результатов парсинга 3-мя способами:
  • Способ первый. "Из очереди заданий, если задание на паузе".
  • Способ второй. "Из очереди заданий, если задание завершено".
  • Способ третий. "Забираем результат из папки results".
• Подключение прокси с авторизацией.
• Примеры использования опции Extra query string.

Полезные ссылки:

• https://a-parser.com/resources/categories/14/ - сохранение результатов (каталог)
• https://a-parser.com/resources/77/ - Сохранение результатов нескольких парсеров в разные папки
• https://a-parser.com/resources/394/ - Сохранение результатов в несколько файлов используя переменные, массивы и условия (видео)
• https://a-parser.com/resources/397/ - Сохранение результатов в Google SpreadSheets
• https://a-parser.com/wiki/proxy/ - Настройка прокси
• https://a-parser.com/wiki/settings-and-presets/ - Общие настройки для парсеров

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)

[A-Parser Support]

Сборник рецептов #43: освобождающиеся домены, категории сайтов и парсинг PDF

43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

Аукцион доменов REG.RU

Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.

(IMG:https://files.a-parser.com/img/essnp_200923100525.png)

Определение категорий сайта

Парсер, собирающий категории сайтов из MegaIndex.

(IMG:https://files.a-parser.com/img/ykthu_200922132737.png)

Парсинг PDF

Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.

(IMG:https://files.a-parser.com/img/PDF2Textcfsdfa.png)

Кроме этого:

• Парсер ссылок локаций для Social::Instagram::Geo - сбор ссылок на локации в Instagram

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)

[A-Parser Support]

Сборник рецептов #44: категории сайтов от Cloudflare Radar, парсер Rozetka и kufar.by

44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.

Парсер Cloudflare Radar

Парсер для сбора категорий сайтов из Cloudflare Radar

(IMG:https://files.a-parser.com/img/g5spg_201021200450.png)

Rozetka - получение данных по API

Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.

(IMG:https://files.a-parser.com/img/rozetkasd.jpg)

Парсинг объявлений kufar.by

Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.

(IMG:https://files.a-parser.com/img/72dj4_201024022726.png)

А также, обновлены следующие ресурсы:

• Парсинг комментариев из Youtube
  
• Парсер собирающий вопросы и ответы из выдачи Google

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)

[A-Parser Support]

1.2.1076 - 3 новых парсера, завершение перехода на Node.js, интеграция puppeteer в сборку

(IMG:https://files.a-parser.com/img/1.2.1076.png)

Улучшения

• В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
  • (IMG:https://a-parser.com/img/parsers/net-http.png) Net::HTTP
  • (IMG:https://a-parser.com/img/parsers/html-linkextractor.png) HTML::LinkExtractor
  • (IMG:https://a-parser.com/img/parsers/html-textextractor.png) HTML::TextExtractor
  • (IMG:https://a-parser.com/img/parsers/html-textextractor-langdetect.png) HTML::TextExtractor::LangDetect
  • (IMG:https://a-parser.com/img/parsers/check-backlink.png) Check::BackLink
• Основные улучшения от перевода данных парсеров на Node.js:
  • увеличение производительности в ~1.5 раза
  • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
• Добавлены новые парсеры:
  • (IMG:https://a-parser.com/img/parsers/deepl-translator.png) DeepL::Translator
  • (IMG:https://a-parser.com/img/parsers/rank-ahrefs-keyworddifficulty.png) Rank::Ahrefs::KeywordDifficulty
  • (IMG:https://a-parser.com/img/parsers/rank-ahrefs-keywordgenerator.png) Rank::Ahrefs::KeywordGenerator
• В HTML::EmailExtractor добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
• В SE::Google::Translate добавлены новые переменные:
  • $translit_orig - оригинальный текст транслитом
  • $translit_translated - переведенный текст транслитом
  • $variants.$i.text - список вариантов перевода оригинального текста
• В SE::Bing обновлен список регионов и языков
• В Social::Instagram:: Drofile и Social::Instagram:: Dost добавлена возможность собирать кол-во видеопросмотров
• В SE::Yandex::Translate добавлена возможность отключать использование сессий
• В Net::HTTP добавлена возможность указывать user-agent для Chrome
• В парсере Rank::MOZ исправлена ошибка, возникающая при вызове парсера из JS методом this.parser.request().
• В Rank::CMS добавлена поддержка нового apps.json и возможность использовать Net::HTTP
• В Net::Whois обновлена поддержка всех зон
• Для проксичекеров добавлена опция Exclude from "All", а также сделаны изменения в логике:
  • "All" - использует все прокси выбранные для задании
  • конкретный проксичекер - использует его, даже если он не выбран в задании
• Добавлена поддержка устаревших версий SSL
• JS парсеры: Добавлена опция tlsOpts для this.request(), позволяет передавать настройки для https соединений
• JS парсеры: обновление Node.js с 14.2.0 до 14.15.0
• JS парсеры: модуль puppeteer включен в сборку А-Парсера и не требует отдельной установки

Исправления в связи с изменениями в выдаче

• Множество различных исправлений в SE::Google и SE::Yandex в связи с изменениями в выдаче
• В SE::Yandex удалена функция автораспознавания каптч в связи с изменением вида каптч
• Исправлена работа SE::Google::Translate
• В HTML::EmailExtractor исправлена ошибка, при которой пропускались большие блоки html
• Исправлена ошибка в Social::Instagram:: Drofile из-за которой не парсилось больше одной страницы
• Исправлена авторизация в SE::Google::KeywordPlanner
• В SE::Google::TrustCheck исправлено определение горизонтальных блоков ссылок
• В SE::Baidu исправлен парсинг related keywords
• В Shop::Amazon исправлен сбор продавцов, а также исправлена ошибка, связанная с количество страниц
• Исправлен Rank::Linkpad, а также в нем удалена переменная $links_cost, т.к. этого показателя больше нет на источнике
• В Rank::Social::Signal в связи с неактуальностью удалена переменная $googleplus_like
• В Rank::CMS исправлено определение по признакам скриптов для нового apps.json
• Также адаптированы к изменениям в выдаче: SE::Yandex::Translate, SE::MailRu, Rank::MajesticSEO, SE::Yandex:: Direct, SE::Google::ByImage, Rank::Ahrefs, Shop::eBay, SE::Yandex::Register, SE::Seznam, Shop::Yandex::Market, SE:: Dogpile, SE:: Dogpile::Images, SE::Startpage, SE::Baidu, Shop::AliExpress, SE::Youtube, Rank::Social::Signal, SE::Yandex::SQI, SecurityTrails:: Domain

Исправления

• В SE::Yandex исправлена работа Extra query string
• Исправлено регулярное выражение в HTML::EmailExtractor для устранения ошибок в некоторых случаях
• Исправлено поведение парсера SE::Google::KeywordPlanner при отсутствии результатов по запросу
• Maps::Yandex исправлен и переведен на puppeteer
• Исправлена ошибка в приоритетах выбора проксичекера
• JS парсеры: исправлен follow_meta_refresh
• API: исправлена работа параметра rawResults

(IMG:https://files.a-parser.com/img/site/tg_chat_btn.png)