A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Сборник рецептов #29: язык ключевых слов, нормализация запросов и сбор тайтлов в глубину
29-й сборник рецептов, в котором опубликован JS парсер для определения языка ключевых слов, предложен вариант решения для нормализации запросов, а также показано, как парсить карту сайту и одновременно собирать тайтлы страниц. Поехали!

Определение языка ключевого слова через Яндекс Переводчик
В A-Parser есть несколько встроенных парсеров для определения языка страницы. Но иногда возникают задачи отфильтровать список ключевых слов по одному или нескольким языкам. Определять язык текстовой строки довольно неплохо умеют различные переводчики, поэтому для решения задачи был выбран Яндекс Переводчик, и по ссылке выше доступен JavaScript парсер, реализующий определение языка ключевого слова.


Нормализатор запросов
При сборе семантического ядра часто возникает вопрос - какая форма запроса является наиболее частотной, например: "купить диван" или "диван купить". Если запрос 3-х или 4-хсловный, то вариантов становится еще больше. Решение такой задачи на базе парсера WordStat доступно в нашем Каталоге по ссылке выше.


Карта сайта и заголовки
Сбор карты сайта - это довольно простая задача для А-Парсера, которая решается встроенным парсером ссылок. Но иногда, кроме простого сбора ссылок, нужно еще и собрать тайтлы. И это можно делать параллельно с проходом по ссылкам в глубину. Готовый пресет доступен по ссылке выше.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Видео урок: Создание JS парсеров. Использование Node.js модулей
Продолжение цикла уроков по созданию JavaScript парсеров. В этом уроке показано как использовать Node.js модули при написании собственных парсеров.

В уроке рассмотрено:

• Работа с Node.js и Node package manager (npm)
• Первый запуск npm, установка модулей (пакетов)
• Использование модулей при создании JS парсера
• Ресурсы для работы с npm

Ссылки:

• https://npmjs.com/
• https://learn.javascript.ru/screencast/nodejs
• https://nodejs.org/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

 

Сборник рецептов #30: оценка страниц, форматирование дат и парсинг дропов
30-й сборник рецептов, в котором опубликован пресет для оценки сайтов с помощью open source инструмента Lighthouse, рассмотрен способ форматирования дат в парсере SE::Google::Trends SE::Google::Trends, а также показан способ поиска удаленных доменов. Поехали!

Оценка страниц с использованием Lighthouse
Еще один сервис по оценке сайтов, на этот раз от Google. С его помощью можно оценить веб-страницу по 4-м критериям: Performance, Accessibility, Best Practices и SEO. Пресет доступен в нашем Каталоге по ссылке выше.


Форматирование даты в парсере SE::Google::Trends
В A-Parser есть парсер, который позволяет собирать данные из Google Trends. Но даты в этом парсере возвращаются в формате Unixtime, что немного усложняет анализ получаемых данных. По ссылке выше показан простой способ преобразования дат к более удобному виду.


Парсер expired domains
Пресет для поиска и сбора дропов, а также их характеристик с сайта expireddomains.net. В качестве запросов нужно указывать ключевые слова, которые должны быть в доменном имени.


Еще больше различных рецептов в нашем Каталоге!
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

1.2.434 - множество улучшений и новых возможностей в парсерах, оптимизация работы, поддержка SOCKS4

Улучшения

• В SE::Yandex добавлен парсинг значков
• В SE::Google::Modern добавлена опция Disable autocorrect, которая позволяет отключить автоисправление Гугла и парсить выдачу именно по указанному запросу
• В SE::Yahoo добавлен выбор страны, языка и Safe Search, обновлен список доменов
• В Net:: DNS добавлена возможность выводить записи любого типа
• В Rank::MajesticSEO добавлена проверка контента и поддержка сессий
• Значительно улучшенSE::Google::Suggest, добавлены новые возможности
• В SE::IxQuickдобавлен параметр Family filter, позволяет выбрать уровень фильтрации
• В Shop::Amazon добавлена возможность парсить количество продавцов для каждого товара
• Теперь в SE::Yandex при получении 404 кода ответа парсер будет повторять попытку, также улучшена проверка контента
• Теперь вRank::SEMrush при получении 403 кода ответа прокси будет баниться
• Добавлена поддержка SOCKS4 прокси
• Оптимизирована загрузка и сохранение конфига и файлов заданий
• Улучшена скорость загрузки JS парсеров
• Уменьшено использование памяти в JS парсерах
• Улучшение производительности при использовании сокетов в JS парсерах

Исправления в связи с изменениями в выдаче

• В SE::Google::Modern исправлен парсинг анкоров
• В SE::Yandex::Images парсинг начинался со 2-й страницы
• Исправлен парсинг ссылок в SE::Baidu
• Исправлен парсинг countries в Rank::SEMrush::Keyword
• SE:: DuckDuckGo, SE:: DuckDuckGo::Images, SE::IxQuick, Shop::Amazon

Исправления

• В SE::Google::Modern исправлена проблема, при которой запрос считается неудачным при использовании Parse not found
• Исправлена обработка пустой выдачи в SE::Yandex
• Исправлена проблема, когда SE:: DuckDuckGo не парсил запросы в которых больше 1 слова
• JS парсеры: исправлена работа setTimeout на Windows
• Исправлен ряд ошибок, которые появились в процессе оптимизации парсера

 

Сборник статей #7: сохранение в xlsx, работа с API и обзор методов автоматизации
7-й сборник статей. В нем мы научимся сохранять результаты в виде Excel файлов, продолжим изучение работы через API, а также ознакомимся с 5-ю способами автоматизации последовательного выполнения нескольких заданий. Поехали!

Сохранение результатов в формате Excel (.xlsx)
Вывод результатов в виде xlsx файлов (стандартный формат Excel) - это очень популярный вопрос среди пользователей A-Parser. Ранее такой возможности не было, но с добавлением поддержки Node.js модулей это стало возможным. Поэтому мы публикуем статью, в которой показан реальный пример парсинга с сохранением в Excel. Ознакомиться со всеми подробностями можно по ссылке выше.


Работаем с API, часть 2
Это вторая часть из цикла статей по работе с A-Parser через API. В ней на примере парсинга e-mail будет рассмотрен метод addTask. Все детали - по ссылке выше.


Обзор вариантов последовательного выполнения нескольких заданий
Очень часто возникают задачи, решение которых требует использования возможностей сразу нескольких разных парсеров и при этом результаты работы одного нужно передавать в следующий. А-Парсер - это очень гибкий инструмент, поэтому существует сразу несколько способов, как автоматизировать последовательное выполнение нескольких заданий, при этом максимально автоматизируя работу и повышая производительность. Описание всех возможных методов читайте в обзоре по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Видео урок: Работа с API, часть 2
Вторая часть из цикла уроков о работе с API A-Parser. В видео на реальных примерах показана работа с методами addTask, getTaskState, getTaskConf и getTaskResultsFile.



В этом уроке рассмотрены:

• методы API для постановки длительных задач, а также для просмотра информации о задании
• составление JSON для используемых API запросов
• функция Получить API запрос
• демонстрация работы с API, используя Postman

Документация по API: https://a-parser.com/wiki/user-api/

Также рекомендуем статью с несколькими интересными кейсами использования A-Parser от руководителя оптимизаторов в «Ашманов и партнёры» Никиты Тарасова: https://vc.ru/seo/61162-pravilno-sobrat-semanticheskoe-yadro-dlya-prodvizheniya-sayta

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

 

1.2.455 - поддержка puppeteer, все методы в Net::HTTP, обновление Bypass Cloudflare

Начиная с версии 1.2.455 мы начинаем официальную поддержку Node.JS модуля puppeteer - средства автоматизации работы с браузером Chrome(Chromium), благодаря чему возможен полноценный рендеринг DOM с поддержкой JS. В качестве примера мы выкладываем парсер, который делает скриншоты сайтов в формате PNG, доступен выбор размера скриншота. Chromium может быть запущен как на Windows, так и на Linux серверах без GUI.

• Пример парсера и более детальное описание
• Документация по puppeteer

Улучшения

• SE::Bing::Images полностью переписан, добавлен сбор дополнительных данных, а также в настройках добавлен выбор региона и языка интерфейса
• В Net::HTTP добавлены все методы в настройки, а также реализована возможность переопределения через заголовок Method
• Добавлена возможность форматирования всех цифр в интерфейсе
• JS парсеры: в this.parser.request для override добавлена опция needData, которая определяет передавать или нет в ответе data/pages[], может использоваться для оптимизации
• JS парсеры: добавлена поддержка модулей url и ws

Исправления в связи с изменениями в выдаче

• Net::Whois - не всегда корректно обрабатывалась доменная зона com.br
• SE::Yandex, SE::Ask, SE:: DuckDuckGo, SE:: DuckDuckGo::Images, Rank::MajesticSEO

Исправления

• Исправлена работа функции Bypass Cloudflare в Net::HTTP
• Исправлена ошибка, из-за которой при определенных настройках не писался Начальный текст
• Исправлена работа некоторых socks4 прокси
• Исправлена ошибка в $tools.base64.encode() при работе с кириллическими символами
• В Shop::Amazon исправлена ошибка, при которой игнорировался домен
• JS парсеры: исправлена редкая ошибка в работе сокетов в Node.js

 

Сборник рецептов #31: скидка -50% на XEvil, скриншоты страниц, подсказки Я.Маркета и правописание
31-й сборник рецептов. В нем будет показан способ создания скриншотов веб-страниц, парсинг подсказок Яндекс Маркета, а также проверка правописания в Google. Кроме этого, только до конца апреля доступна возможность купить XEvil со скидкой. Далее обо всем по порядку.

Скидка -50% на покупку XEvil для существующих и новых пользователей A-Parser
Для всех существующих и новых пользователей A-Parser действует скидка на покупку XEvil -50%!
XEvil - это простая, быстрая и удобная программа для полностью автоматического распознавания и обхода подавляющего числа капч и рекапч, без необходимости подключения каких-либо сторонних сервисов. Использование XEvil в связке с A-Parser позволяет значительно удешевить парсинг ресурсов, где необходимо разгадывать капчи/рекапчи, при этом практически не теряя в скорости.
Акция действует до конца апреля. Количество промокодов ограничено, поэтому не упустите возможность воспользоваться скидкой!
Для получения промокода на покупку XEvil пишите в тикеты.


JS::Chrome::ScreenshotsMaker
Возможность загружать страницы с полной обработкой всех скриптов, аналогично браузеру - это один из самых популярных фичреквестов для A-Parser. Поэтому буквально недавно была добавлена поддержка Node.js модуля puppeteer, с помощью которого теперь можно получать полностью отрендеренные страницы. И мы публикуем первый пример по работе с ним - парсер для создания скриншотов веб-страниц. Больше информации, пример работы и готовый парсер - все это доступно по ссылке выше.


Парсер подсказок Яндекс.Маркет
Еще один парсер подсказок, на этот раз из Яндекс Маркета. Собираются подсказки, их популярность (частота), тип, а также, опционально, категория (включая полный путь родительских категорий). Готовый парсер, как обычно, доступен в нашем Каталоге по ссылке выше.


Проверка правописания в Google
Данный парсер позволяет проверить ключевые слова через поиск Google на предмет опечаток и получить исправленные варианты. Готовый пресет доступен по ссылке выше.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Видео урок: Работа с MySQL
Видеоурок по работе с MySQL в A-Parser. В нем на реальном примере показано как работать с базами данных MySQL, используя Node.js модуль mysql2.



В этом уроке рассмотрены:

• Установка и подключение модулей
• Некоторые основы языка запросов SQL
• Создание базы данных MySQL
• Получение и запись данных в БД, используя JS-парсеры

Полезные ссылки:

• https://www.mysql.com/products/workbench/
• https://www.npmjs.com/package/mysql
• https://a-parser.com/resources/308/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

 

Сборник рецептов #32: Yahoo Answers, контакты фрилансеров и оценка ключевых слов

32-й сборник рецептов, в котором подобраны 3 JS парсера для парсинга Yahoo Answers, оценки ключевых слов и сбора контактных данных фрилансеров.

Парсер Yahoo Answers
Полноценный парсер сервиса Yahoo Answers, который по ключевым словам позволяет собирать непосредственно вопросы, ответы, а также их категории, дату создания и ссылки на страницы обсуждений.


Парсинг контактов фрилансеров
Парсер, который ищет по ключевым словам фрилансеров и собирает их контакты. Данные собираются с сервиса fl.ru.


Анализ ключевых слов
Парсер для сервиса seranking.com. Кейворды оцениваются по 4-м показателям: частотность, стоимость клика (CPC), стоимость трафика и KEI. Также есть возможность собирать похожие, релевантные и подсказки к начальному запросу вместе с их показателями.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

1.2.484 - 4 новых парсера, улучшение работы и исправление существующих

Улучшения

• Новые парсеры:
  • Maps::Google - по ключевым словам собирает различные данные об организациях в заданных координатах
  • Maps::Yandex - по ключевым словам собирает различные данные об организациях в заданных координатах
  • Rank::Bukvarix:: Domain - сбор ключевых слов по домену
  • Rank::Bukvarix::Keyword - сбор ключевых слов по домену
• Удалены 4 неактуальных парсера: Rank::SEMrush::Keyword, SE::QIP, SE::QIP:osition, Rank::MegaIndex
• Улучшена работа SE::AOL
• JS парсеры: для this.request добавлена опция data_as_buffer, которая определяет возвращать data как строку(String) или объект Buffer

Исправления в связи с изменениями в выдаче

• В SE::Google::Modern исправлена работа с рекаптчами, исправлен парсинг сниппетов, а также исправлен парсинг мобильной выдачи
• Rank::SEMrush полностью переписан, также полностью изменился список собираемых данных, парсер возвращает только те данные, которые доступны без авторизации
• Полностью переписан Rank::Alexa
• Исправлена работа Rank::MajesticSEO, теперь обязательно требуется установка Node.js и модуля brotli
• В Rank::Social::Signal удалена переменная $facebook_share в связи с прекращением поддержки со стороны FB
• SE::IxQuick, Shop::AliExpress, SE:: DuckDuckGo::Images , Shop::Amazon, Check::RosKomNadzor

Исправления

• Исправлена работа с запросами, содержащими пробел в SE:: DuckDuckGo
• Исправлена проблема с декомпресией данных на некоторых сайтах
• JS парсеры: исправлена работа setImmediate

 

Видео урок: Получение уведомлений в Telegram об окончании срока регистрации доменов
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.

В уроке рассмотрено:

• использование tools.js для написания собственных функций
• работа с шаблонизатором Template Toolkit
• проверка доменов через WHOIS
• цепочки заданий
• отправка сообщений в Telegram с помощью бота

Полезные ссылки:

• https://a-parser.com/threads/4316/ - статья о создании бота и группы для получения уведомлений в Telegram
• https://a-parser.com/resources/304/ - видеоурок по созданию Телеграм канала на базе A-Parser
• https://a-parser.com/resources/287/ - готовые для импорта пресеты
• https://core.telegram.org/bots/api - документация по Telegram Bot API

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

 

1.2.503 - обновление JavaScript движка и множество улучшений

Улучшения

• Движок v8 обновлен до версии 7.5, помимо увеличения скорости есть множество улучшений в поддержке новых возможностей языка JavaScript
• В SE::Yandex в массив $ads добавлена переменная $visiblelink, в которой содержится видимая ссылка
• В Rank::Bukvarix:: Domain добавлена переменная $totalcount которая содержит количество результатов
• В SE::Yahoo добавлена опция Not found is error, указывающая, считать ли отсутствие результатов ошибкой

Исправления в связи с изменениями в выдаче

• Исправлен парсинг $title в Shop::Yandex::Market
• В SE::Google::Modern исправлен парсинг видео в мобильной выдаче
• В Maps::Yandex исправлен парсинг рейтингов
• Исправлена проверка получаемого контента в SE::Yahoo
• SE:: DuckDuckGo, Shop::Amazon, SE:: DuckDuckGo::Images

Исправления

• Исправлена редкая проблема с ошибками в JS парсерах на Windows
• В SE::Baidu исправлена работа функции Get full links для результатов без ссылок
• Исправлена проблема с Decode JSON error в парсерах WordStat
• Исправлен баг с перезагрузкой кода JS парсера при редактировании в сторонних приложениях, проблема возникла в одной из предыдущих версий

 

Сборник рецептов #33: парсинг Google карт, сбор вопросов из поиска, перевод текстов целиком
33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!

Сбор всех организаций в определенной местности
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.


Парсер собирающий вопросы и ответы из выдачи Google
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.


Использование файлов целиком в качестве запросов
Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Видео урок: Макросы подстановок
В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.

В уроке рассмотрено:

• макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
• макрос {az} на примере парсинга по доркам для увеличения кол-ва запросов и соответственно результатов
• макрос {each} на примере парсинга подсказок для генерации словосочетаний

Полезные ссылки:

• https://a-parser.com/wiki/query-format/#Макросы-подстановок - документация по макросам подстановок
• https://a-parser.com/resources/336/ - пресет по перебору координат в Maps::Google
• https://a-parser.com/resources/340/
• https://a-parser.com/resources/341/ - пресет для парсинга с inurl:
• https://a-parser.com/resources/342/ - пресет для парсинга подсказок

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

 

1.2.534 - 6 новых парсеров, поддержка Node.js в tools.js, множество исправлений в парсерах

Улучшения

• Добавлено 4 новых парсера Instagram
  • Social::Instagram:ost - парсинг данных о постах, в т.ч. комментарии и пользователей, которые лайкнули пост
  • Social::Instagram:rofile - парсинг данных о профилях и списка постов
  • Social::Instagram::Tag - парсинг постов по тегах
  • Social::Instagram::Geo - парсинг постов в определенной локации
• Добавлено 2 новых парсера SerpStat
  • Rank::SerpStat::Keyword - парсинг данных по ключевому слову
  • Rank::SerpStat:: Domain - парсинг данных по доменам/ссылкам
• Добавлена поддержка дробных чисел в макросе подстановок {num}
• Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
• Шаблоны Template Toolkit в настройках парсеров теперь работают для всех запросов
• Стабилизирована работа SE::Google::Modern после изменений со стороны Google, благодаря чему несколько уменьшилось количество рекаптч
• Улучшена проверка ответа в Maps::Yandex, улучшен сбор картинок, а также добавлена возможность собирать ссылки на страницу организации
• API: для oneRequest/bulkRequest добавлен параметр needData, указывающий, передавать ли в ответе data/pages, используется для экономии памяти, по умолчанию отключен
• Обновлены apps.json и user-agents.txt, при установке обновления также рекомендуется обновить эти файлы

Исправления в связи с изменениями в выдаче

• Исправлена ситуация, при которой в SE::Google::Modern выдавался 597 код ответа
• В SE::Yandex исправлена ситуация, при которой в результатах появлялись "пустые" ссылки, а также исправлен парсинг сниппетов в мобильной выдаче
• Исправлена редко встречающаяся проблема с SE::Google::Translate, когда парсер получал в ответ 403 статус
• Исправлено определение языка запроса в SE::Google::Translate
• Исправлена работа SE::YouTube, а также исправлен сбор $title
• В Rank::Social::Signal удалена переменная $linkedin_share в связи с прекращением поддержки со стороны LinkedIn
• В Shop::Yandex::Market исправлен парсинг $features для некоторых видов запросов
• Исправлен урл запроса в SE:: DuckDuckGo

Исправления

• Исправлен баг вRank::Bukvarix:: Domain, из-за которого в некоторых случая парсинг завершался с ошибкой
• В парсерах Maps::* исправлена работа с отрицательными координатами
• В Rank::SEMrush исправлена ошибка определения "удачности" запроса
• Исправлен баг в tools.js, возникший после обновления V8
• API: исправлена работа метода getAccountsCount
• JS парсеры: исправлен баг со слэшем в check_content

 

Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API
8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!

Сбор ссылок с GET параметрами
В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.


Поиск и скачивание Google документов
За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.


Работаем с API, часть 3
Третья и заключительная часть из цикла статей по работе с A-Parser через API. В ней на примере очистки очереди задач будет рассмотрена работа со вспомогательными запросами, которые позволяют работать с очередью заданий. Все детали - по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

Сборник рецептов #34: оценка трафика, парсинг Ahrefs и информация об IP адресах

34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!

Чек трафика сайта
Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.


Парсер Ahrefs на основе Ahrefs API
Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.


Парсинг подсети и организации по IP
Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

Видео урок: Поиск страниц контактов
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.

В уроке рассмотрено:

• парсинг поиска Google для получения ссылки на страницу контактов
• парсинг главной страницы сайта для получения title
• использование инструмента $tools.CSVline для форматирования файла результата
• пример правильного импорта в Excel

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

 

Сборник рецептов #35: комментарии на Youtube, контакты на сайтах и японский Yahoo
35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!
Парсинг комментариев из Youtube
Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.


Извлекаем телефоны, начинающиеся на 3 с помощью HTML::EmailExtractor
Пресет, в котором показано, как с помощью HTML::EmailExtractor HTML::EmailExtractor собирать контакты со страниц сайтов. Данный пресет предназначен для сбора e-mail и телефонов, начинающихся с 3 (Украина), но при необходимости можно немного изменить регулярные выражения и собирать телефоны других стран.


SE::Yahoo::JP
JS парсер для парсинга японской выдачи Yahoo. Используется домен search.yahoo.co.jp. Собираются ссылки, анкоры и сниппеты, а также есть возможность задать количество страниц для парсинга.


Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.