Извличане на данни от сайтове

Какво извличаме

Извличане на данни за нас е скрипт за конкретен източник: сайт с каталог, регистър, обяви, ценови листи или папка с PDF спецификации. Той събира полетата, които сте поискали, и ги предава подредени: един запис на ред, еднакъв формат, без повторения, с източник и дата.

Най-големият ни проект от този вид е каталогът на ОМЕГА ЛАЙТ, официалния дистрибутор на MEAN WELL за България: над три хиляди захранвания с по шейсет и един технически параметъра, извлечени от спецификациите на производителя, с тип и мерна единица на всяко поле, за да може инженерът да филтрира по напрежение, мощност и защита. Данните захранват търсене, филтри и конфигуратор на meanwell.bg. Останалите извличания, които сме правили, са вътрешни за клиентите: контакти от професионален регистър в Excel, цени на артикули за обществени поръчки по график. За тях нямаме публичен проект с име и затова описваме точно какво получавате.

Решението 3DPrintX показва другата посока: цените и наличностите между сайта и склада в двете посоки, без ръчно преписване.

Как протича работата

Първо описвате какво Ви трябва: от кой сайт или документи, кои полета, колко записа и колко често. Преглеждаме източника: структурата му, условията за ползване и дали има API или износ, който прави скрипта излишен; ако има, Ви казваме и е по-евтино. Тогава казваме ориентир за цената. Цената зависи от структурата на източника, броя полета и честотата, не от броя записи.

Офертата описва полетата, формата, честотата, какво правим при промяна на сайта и точната цена, и се приема онлайн. Пишем скрипта и Ви пращаме първите записи за проверка. След одобрение предаваме целия файл или пускаме скрипта по график към таблица, имейл или системата Ви. Еднократно извличане е дни до две седмици.

Какво получавате

Файл в Excel или CSV, или данните във Вашата система, с източник и дата на всеки запис и списък на записите, които скриптът не е могъл да разпознае еднозначно. Кода на скрипта в хранилище на Ваше име и описание как се пуска. При работа по график: известие при всяко пускане и при всяка грешка, и справка колко записа са намерени, добавени и променени, за да виждате, че скриптът работи, без да отваряте файла.

Поддръжка по избор (100-350 € на месец по нашите оферти) има смисъл при скрипт по график, защото сайтовете се променят и скрипт, който никой не следи, спира тихо.

Какво не правим

Не заобикаляме защити, пароли и ограничения на сайтове, чиито условия забраняват събирането. Не събираме лични данни на хора без основание и не събираме от социални мрежи. Не продаваме готови бази. Когато източникът има API или износ, го ползваме вместо скрипт и Ви го казваме, дори офертата да стане по-малка. Ако данните трябва да станат списък с фирми по критерии, това е услугата база данни с фирми.

Еднократно или по график

Еднократното извличане е за данни, които не се сменят често: регистър, каталог, архив. Получавате файл, кода и описание как да го пуснете пак след година. Извличането по график е за цени, наличности, обяви и всичко, което се сменя всяка седмица: скриптът се пуска сам, сравнява с предишния път и праща само новите и променените записи в таблица, по имейл или в системата Ви. При график поддръжката има смисъл, защото сайтовете се променят без предупреждение и скрипт, който никой не следи, спира тихо; затова при всяко пускане записваме колко записа са намерени и известяваме, когато числото падне рязко.

Как проверяваме качеството

Преди целия файл пращаме първите записи, за да проверите полетата с очите си. Всеки запис носи адреса, от който е взет, и датата. Записи, които скриптът не може да разпознае еднозначно, например артикул с две различни цени на две страници, отбелязваме за ръчна проверка, вместо да избираме наслуки. Повторенията премахваме по ключ, който уговаряме с Вас: артикулен номер, ЕИК, домейн или телефон. Така файлът влиза в CRM, ERP или магазин без ръчно чистене.