Сбор и парсинг данных из реестров и сайтов
Собираю структурированные данные там, где вручную их не получить: реестры, каталоги, сайты, документы.
Для кого
- Нужны данные из реестра или сайта, а штатного способа выгрузить их нет.
- Данные разбросаны по страницам и собираются вручную, копипастом.
- Нужен регулярный мониторинг изменений источника, а не разовая выгрузка.
Что делаю
- Сбор через API, HTML и PDF; динамические страницы — Playwright или Selenium.
- Приведение данных к общему виду и связка записей по точному ключу (например, ИНН).
- Выгрузка в CSV, JSON или базу данных, запуск по расписанию и уведомления об изменениях.
На выходе
- Скрипт или сервис сбора с запуском по расписанию.
- Структурированный датасет и описание источника с ограничениями.
Честно про ограничения
- Не обхожу антифрод и платные ограничения площадок в нарушение их правил.
- Результат зависит от доступности и разметки источника.
- Массовые базы для рассылок не делаю (152-ФЗ / 38-ФЗ).
Что делаю
Собираю данные там, где их нельзя штатно выгрузить: реестры членства и допусков, карточки товаров и организаций, документы в PDF. Затем привожу их к общему виду, связываю по ключу (например, по ИНН) и отдаю файлом, таблицей в базе или готовым интерфейсом. Для меня это ещё и основа более крупных систем — например, реестровой подсистемы Стройрадар.
Как работаем
- Описываете источник и результат, который хотите получить на выходе.
- Проверяю доступность и правила источника, делаю пилот на части данных.
- Настраиваю сбор, приведение к общему виду и регулярный запуск с мониторингом изменений.
Связанные кейсы
Парсер рубрик и организаций публичного зелёного справочникаСбор номенклатуры и цен товаров с маркетплейсовСтройрадар — портал строительных объектов