Извлечение данных с сайтов

Что мы извлекаем

Извлечение данных для нас, это скрипт для конкретного источника: сайта с каталогом, реестра, объявлениями, прайс-листами или папки со спецификациями PDF. Он собирает запрошенные вами поля и передаёт их в упорядоченном виде: одна запись в строке, единый формат, без повторов, с указанием источника и даты.

Наш крупнейший проект такого типа, каталог ОМЕГА ЛАЙТ, официального дистрибьютора MEAN WELL в Болгарии: более трёх тысяч источников питания с шестьюдесятью одним техническим параметром, извлечённых из спецификаций производителя, с указанием типа и единицы измерения для каждого поля, чтобы инженер мог фильтровать по напряжению, мощности и защите. Эти данные обеспечивают работу поиска, фильтров и конфигуратора на meanwell.bg. Остальные выполненные нами извлечения были внутренними для клиентов: контакты из профессионального реестра в Excel, цены на товары для государственных закупок по графику. У нас нет публичного проекта с названием, поэтому мы точно описываем, что вы получаете.

Решение 3DPrintX показывает другое направление: цены и наличие синхронизируются между сайтом и складом в обоих направлениях, без ручного переноса данных.

Как проходит работа

Сначала Вы описываете, что Вам нужно: с какого сайта или из каких документов, какие поля, сколько записей и как часто. Мы проверяем источник: его структуру, условия использования и наличие API или экспорта, который делает скрипт ненужным; если такой вариант есть, мы сообщаем Вам, это дешевле. Затем называем ориентировочную цену. Она зависит от структуры источника, количества полей и частоты, а не от количества записей.

В предложении указываются поля, формат, частота, что мы делаем при изменении сайта, и точная цена; предложение принимается онлайн. Мы пишем скрипт и отправляем Вам первые записи для проверки. После одобрения передаём весь файл или запускаем скрипт по расписанию с отправкой данных в таблицу, по электронной почте или в Вашу систему. Разовое извлечение занимает от нескольких дней до двух недель.

Что вы получаете

Файл в Excel или CSV либо данные в Вашей системе, с источником и датой каждой записи, а также список записей, которые скрипт не смог однозначно распознать. Код скрипта в репозитории на Ваше имя и описание его запуска. При работе по расписанию: уведомление после каждого запуска и при каждой ошибке, а также отчёт о количестве найденных, добавленных и изменённых записей, чтобы Вы видели, что скрипт работает, не открывая файл.

Поддержка по выбору (100-350 € в месяц по нашим предложениям) имеет смысл для скрипта, работающего по расписанию, потому что сайты меняются, а скрипт, за которым никто не следит, незаметно прекращает работать.

Что мы не делаем

Мы не обходим защиты, пароли и ограничения сайтов, условия которых запрещают сбор данных. Мы не собираем персональные данные людей без законного основания и не собираем данные из социальных сетей. Мы не продаём готовые базы данных. Если у источника есть API или экспорт, мы используем его вместо скрипта и сообщаем Вам об этом, даже если предложение становится меньше. Если данные должны превратиться в список компаний по критериям, это услуга создания базы данных компаний.

Разово или по расписанию

Разовое извлечение подходит для данных, которые меняются нечасто: реестра, каталога, архива. Вы получаете файл, код и описание того, как запустить его снова через год. Извлечение по расписанию подходит для цен, наличия, объявлений и всего, что меняется каждую неделю: скрипт запускается автоматически, сравнивает данные с предыдущим запуском и отправляет только новые и изменённые записи в таблицу, по электронной почте или в Вашу систему. При работе по расписанию поддержка имеет смысл, потому что сайты меняются без предупреждения, а скрипт, за которым никто не следит, незаметно прекращает работать; поэтому при каждом запуске мы записываем количество найденных записей и уведомляем Вас, когда это число резко падает.

Как мы проверяем качество

До отправки всего файла мы отправляем первые записи, чтобы Вы могли визуально проверить поля. Каждая запись содержит адрес, с которого она получена, и дату. Записи, которые скрипт не может однозначно распознать, например товар с двумя разными ценами на двух страницах, мы помечаем для ручной проверки, а не выбираем случайный вариант. Дубликаты удаляем по ключу, который согласуем с Вами: артикульному номеру, ЕИК, домену или телефону. Так файл можно загрузить в CRM, ERP или интернет-магазин без ручной очистки.