Парсинг данных

Парсинг сайтов и сбор данных на заказ

Собираем открытые данные с сайтов под задачи вашего бизнеса — разово или по расписанию. Обработанный результат передаём файлом, по API или загружаем в ваши системы: на сайт, в CRM, в учётную систему.

Обсудить задачу Проекты

Задачи, которые решаем парсингом

Исследование рынка
Наполнение каталога товаров
Обновление цен и наличия
Анализ маркетплейсов
Мониторинг отзывов и упоминаний
Поиск тендеров и данных реестров
Сбор данных криптобирж
Анализ объявлений и вакансий

2015год основания

100+реализованных проектов

6 летсредний срок сотрудничества с клиентом

≤1 чвремя ответа клиентам на технической поддержке в рабочее время

150+сайтов, восстановленных после взлома

Что такое парсинг сайтов

Парсинг сайтов (веб-скрейпинг) — это автоматический сбор открытых данных со страниц сайтов и приведение этих данных к структурированному виду: таблице, файлу или записям в базе данных. Компании обычно используют парсинг для анализа рынка, наполнения каталогов и обновления цен. Сбор выполняет парсер — программа, которая открывает нужные страницы, находит на них сведения и сохраняет в заданном формате. Парсинг исключает ручное копирование, а при сборе по расписанию данные остаются актуальными.

Задачи, которые решаем парсингом

Исследование рынка

Ассортимент, акции и новинки компаний вашей ниши, новые игроки рынка. Предлагаем разовый парсинг цен конкурентов и мониторинг цен конкурентов по расписанию.

Наполнение каталога товаров

Парсинг товаров с сайтов поставщиков и производителей: названия, артикулы, характеристики, описания и фото. При парсинге каталога товаров сохраняем структуру разделов.

Обновление цен и наличия

Регулярный парсинг интернет-магазинов поставщиков: цены и наличие товаров обновляются в вашем каталоге по расписанию, что исключает ручной перенос данных.

Анализ маркетплейсов

Ассортимент, цены, предложения продавцов и рейтинги товаров. Выполняем парсинг маркетплейсов и агрегаторов цен по заданным категориям.

Мониторинг отзывов и упоминаний

Оценки и тексты отзывов, упоминания вашей компании, конкурентов и товаров на профильных площадках, в каталогах и СМИ (персональные данные авторов не собираем).

Поиск тендеров и данных реестров

Новые закупки по выбранным категориям и сведения из открытых государственных реестров.

Сбор данных криптобирж

Курсы, объёмы торгов, биржевые стаканы, новые листинги и новости проектов с разных бирж для аналитики и торговых систем. Если у биржи есть открытый API, собираем данные через API.

Анализ объявлений и вакансий

Объявления о продаже и аренде, вакансии компаний для анализа рынка и спроса (без контактов частных лиц).

Данные в ваших системах

При наличии доступа загружаем данные в ваши системы, например на сайт любой платформы, в CRM, в учётную систему, в Telegram-бота, в онлайн-таблицы или на панель с отчётами. Другой вариант — передача результата по API или файлом в любом формате: .xlsx, .csv, .xml, .json и других.

Собранные данные обрабатываем под задачу: убираем дубли и ошибки, приводим характеристики и единицы измерения к единому виду, сопоставляем с вашими разделами и справочниками, при необходимости переводим описания на нужный язык.

Регулярные парсеры размещаем на серверах RIVERIT или клиента. Работу парсеров контролирует команда, которая сопровождает сайты и серверы клиентов.

Сервисы на основе собранных данных

Если данные нужны в рабочем инструменте, разрабатываем веб-приложение, Telegram-бота или мобильное приложение, которые работают с этими данными. Функционал сервиса определяем под вашу задачу. При регулярном сборе сервис получает свежие сведения автоматически.

Сервис создаём под ключ: проектируем, разрабатываем и тестируем.

После запуска предлагаем техническую поддержку: следим за работой парсера и сервиса, вносим доработки.

Как мы работаем

Анализ задачи и источников

Определяем, какие сведения нужны для задачи, и оцениваем сайты-источники: устройство страниц, защиту от автоматического сбора и возможность законно получить нужные данные.

Техническое задание

Согласовываем перечень собираемых сведений, требования к обработке, частоту обновления (для регулярного сбора) и способ передачи результата: файл, API или загрузка в вашу систему.

Парсер и тестовый сбор

Разрабатываем парсер и на части данных проверяем качество, полноту и устойчивость сбора до запуска полного парсинга.

Полный сбор

Получаем весь согласованный объём, обрабатываем данные и проверяем полноту и точность. Готовый результат передаём способом из технического задания.

Запуск по расписанию

Для регулярного сбора размещаем парсер на сервере, задаём расписание и контролируем работу парсера.

Сопровождение

Если на сайте-источнике изменилось устройство страниц, дорабатываем парсер, чтобы сбор продолжился.

Что можно собирать законно

Собираем любые открытые данные, если сбор не противоречит закону. В чужие аккаунты и личные кабинеты не входим.

Персональные данные людей собираем только при законном основании (например, с согласия самих людей).

Часть сведений бывает закрыта законом и правилами площадок, а технические ограничения некоторых сайтов усложняют сбор. Поэтому по итогам анализа источников и тестового сбора сообщаем, какие сведения удастся получить.

Цена парсинга сайтов

Стоимость парсинга сайтов зависит от объёма работ. Основные факторы:

Число источников. Под каждый сайт-источник обычно пишем свой парсер, поэтому чем больше источников, тем больше объём работ и, соответственно, стоимость

Устройство и защита сайта. Сведения, которые появляются на странице только после действий посетителя, защита от частых запросов и сложная навигация добавляют работы по разработке и проверке парсера

Объём и набор сведений. Каждая страница и каждое собираемое сведение увеличивают объём сбора и проверки результата

Обработка и передача. Сопоставление с вашими разделами и справочниками, перевод, загрузка в систему и передача по API — дополнительные работы после сбора

Регулярность. Сбор по расписанию включает размещение парсера на сервере и постоянный контроль сбора

Доработка парсера после изменений на сайте-источнике оплачивается отдельно от сбора. Предварительную стоимость называем после брифа.

Обсудить задачу

Вопросы о парсинге

01Что нужно для оценки задачи?

Описание цели и ссылки на сайты-источники, если они известны. Если цель пока сформулирована в общих чертах, поможем определить, какие данные нужны и где их взять.

02Сколько времени занимает парсинг?

Срок зависит от числа источников, защиты сайтов и объёма данных. Срок называем после анализа задачи.

03Как часто можно обновлять данные?

С периодичностью, которая нужна для задачи и допустима для сайта-источника.

04Можно ли объединить данные с нескольких сайтов?

Да. Сведения из разных источников сводим в общий результат с единой структурой.

05Собираете ли вы фото и файлы?

Да, фото, документы и другие файлы с сайтов-источников сохраняем вместе с остальными сведениями. Публиковать чужие фото и описания на своём сайте можно только с разрешения правообладателя, например поставщика или производителя.

06Работаете ли вы с иностранными сайтами?

Да, страна и язык сайта-источника на сбор не влияют.

07Можно ли изменить набор сведений после запуска?

Да, дорабатываем парсер под новый перечень сведений.

08Передаёте ли вы код парсера?

Да, при необходимости код парсера передаём клиенту.

Заказать парсинг сайтов

RIVERIT — IT-компания с 2015 года, за это время мы выполнили больше 100 проектов. Пишем парсер на заказ под вашу задачу и предлагаем услуги парсинга сайтов: от разового парсинга данных до регулярного сбора с передачей в ваши системы.

Чтобы заказать парсинг, опишите задачу в форме ниже.