A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

1.2.3390 - полное восстановление работы SE::Google, новый docker образ aparser/runtime:headful




Улучшения

• Полностью восстановлена работа парсера SE::Google под Linux и Windows
• В SE::Google добавлена опция Write Google timeout HTML (по умолчанию отключена)
• В SE::Bing::Translator актуализирован список языков
  
• В Net::Whois добавлена поддержка домена .us.com
  
• В Util::Turnstile добавлена поддержка сервиса разгадывания BotLab
• Добавлен docker образ aparser/runtime:headful - помогает увеличить скорость парсинга в SE::Google

Исправления в связи с изменениями в выдаче

• В SE::Google исправлены некоторые ошибки парсинга (включая timeout ошибки), возникающие из-за изменений в верстке
• В Reddit:: PostInfo исправлен сбор комментариев к публикациям
• В SE::Yandex:: Direct исправлен сбор $domain, $title, $text
  
• В SE::Yandex::WordStat исправлен сбор частотности, а так же разгадывание смарт-каптчи

Исправления

• В SE::Google исправлено закрытие браузера
• В SE::Bing::Translator исправлено отсутствие списка поддерживаемых языков для параметров From language и To language
• В FreeAI:: Perplexity исправлена работа функции New attempt when match для языков, отличных от английского

 

Дайджест A-Parser: обновление дополнительных парсеров


Дайджест A-Parser: обновление дополнительных парсеров

Внешние сервисы регулярно изменяют структуру страниц, форматы выдачи, механизмы авторизации и способы загрузки данных. Мы отслеживаем такие изменения и вносим необходимые доработки, чтобы вы могли продолжать использовать парсеры в своих рабочих процессах.


Парсер SimilarWeb

Обновление парсера для сбора данных SimilarWeb

• Восстановлена корректная работа парсера
• Модуль обхода защиты переработан с Puppeteer на Playwright
• Улучшена совместимость с текущими механизмами защиты SimilarWeb

Парсер JS::MailValidator

Обновление парсера для проверки email-адресов

• Исправлена проверка почты в Outlook/Hotmail, Mail.ru, Яндексе, Рамблере
• Добавлена поддержка Yahoo через Puppeteer
• Добавлена поддержка AOL через Puppeteer
• Добавлен домен hotamil.com

Парсер expireddomains.net

Обновление парсера для сбора данных об удаленных доменах

• Пресет полностью переписан на JS-парсер
• Учтена новая обязательная авторизация с MFA
• Реализована загрузка данных таблицы через XHR-запросы
• Обновлен набор колонок: убрана ALEXA, добавлены WBY, MMGR и List

Парсер постов из X (Twitter)

Обновление парсера для сбора постов из X

• Исправлена совместимость с новой структурой X API
• Исправлена обработка аккаунтов с promoted content
• Исправлена работа с курсорами пагинации
• Улучшен экспорт Post ID в Excel для корректного отображения длинных идентификаторов

Парсер всех видео с YouTube-канала

Обновление парсера для сбора видео с YouTube-каналов

• Добавлена совместимость с новым форматом YouTube lockupViewModel
• Исправлена обработка ytcfg для каналов с нестандартной структурой
• Исправлено получение длительности видео
• Добавлен сбор описаний видео
• Переработана архитектура для параллельной обработки роликов

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser — отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в X.