Извлекување податоци од веб-страници

Што извлекуваме

Извлекувањето податоци за нас е скрипта за конкретен извор: веб-страница со каталог, регистар, огласи, ценовници или папка со PDF спецификации. Таа ги собира полињата што ги побаравте и ги предава средени: еден запис по ред, во ист формат, без повторувања, со извор и датум.

Нашиот најголем проект од овој вид е каталогот на ОМЕГА ЛАЈТ, официјалниот дистрибутер на MEAN WELL за Бугарија: над три илјади напојувања со шеесет и еден технички параметар, извлечени од спецификациите на производителот, со тип и мерна единица за секое поле, за инженерот да може да филтрира според напон, моќност и заштита. Податоците го напојуваат пребарувањето, филтрите и конфигураторот на meanwell.bg. Останатите извлекувања што сме ги правеле се интерни за клиентите: контакти од професионален регистар во Excel, цени на артикли за јавни набавки според распоред. За нив немаме јавен проект со име и затоа точно опишуваме што добивате.

Решението 3DPrintX ја покажува другата насока: цените и залихите меѓу веб-страницата и магацинот во двете насоки, без рачно препишување.

Како се одвива работата

Прво опишувате што Ви треба: од кој веб-сајт или документи, кои полиња, колку записи и колку често. Го проверуваме изворот: неговата структура, условите за користење и дали има API или извоз што ја прави скриптата непотребна; ако има, Ви кажуваме и тоа е поевтино. Потоа даваме приближна цена. Цената зависи од структурата на изворот, бројот на полиња и зачестеноста, а не од бројот на записи.

Понудата ги опишува полињата, форматот, зачестеноста, што правиме при промена на веб-сајтот и точната цена и се прифаќа онлајн. Ја пишуваме скриптата и Ви ги испраќаме првите записи за проверка. По одобрувањето, ја предаваме целата датотека или ја пуштаме скриптата според распоред кон табела, е-пошта или Вашиот систем. Еднократното извлекување трае од неколку дена до две недели.

Што добивате

Датотека во Excel или CSV, или податоците во Вашиот систем, со извор и датум за секој запис и список на записите што скриптата не можела еднозначно да ги препознае. Кодот на скриптата во репозиториум на Ваше име и опис како се стартува. При работа според распоред: известување при секое стартување и при секоја грешка, како и извештај колку записи се пронајдени, додадени и променети, за да гледате дека скриптата работи без да ја отвораte датотеката.

Одржувањето по избор (100-350 € месечно според нашите понуди) има смисла кај скрипта според распоред, бидејќи веб-сајтовите се менуваат, а скрипта што никој не ја следи престанува да работи незабележано.

Што не правиме

Не заобиколуваме заштити, лозинки и ограничувања на веб-сајтови чии услови забрануваат собирање. Не собираме лични податоци на луѓе без основа и не собираме од социјални мрежи. Не продаваме готови бази. Кога изворот има API или извоз, го користиме наместо скрипта и Ви кажуваме, дури и ако понудата стане помала. Ако податоците треба да станат список на фирми според критериуми, тоа е услугата база на фирми.

Еднократно или според распоред

Еднократното извлекување е за податоци што не се менуваат често: регистар, каталог, архива. Добивате датотека, код и опис како повторно да ја стартувате по една година. Извлекувањето според распоред е за цени, залихи, огласи и сè што се менува секоја недела: скриптата се стартува сама, споредува со претходниот пат и ги испраќа само новите и променетите записи во табела, по е-пошта или во Вашиот систем. Кај распоредот одржувањето има смисла, бидејќи веб-сајтовите се менуваат без предупредување, а скрипта што никој не ја следи престанува да работи незабележано; затоа при секое стартување запишуваме колку записи се пронајдени и известуваме кога бројот нагло ќе се намали.

Како го проверуваме квалитетот

Пред целата датотека ги испраќаме првите записи, за да ги проверите полињата со свои очи. Секој запис ја содржи адресата од која е преземен и датумот. Записите што скриптата не може еднозначно да ги препознае, на пример артикл со две различни цени на две страници, ги означуваме за рачна проверка наместо да избираме нагаѓајќи. Дупликатите ги отстрануваме според клуч што го договараме со Вас: артиклски број, ЕИК, домен или телефон. Така датотеката влегува во CRM, ERP или продавница без рачно чистење.