Извлачење података са сајтова
Извлачење података са сајтова је скрипта написана за конкретан сајт, каталог или скуп докумената, која прикупља поља потребна бугарској фирми и предаје их сређене: цене конкурената за јавну набавку, контакте из професионалног регистра, техничке параметре из спецификација произвођача. Цена је у понуди након прегледа извора, јер зависи од његове структуре, броја поља и тога да ли је потребно једнократно или периодично извлачење; једнократно извлачење је готово за неколико дана до две недеље. Наш највећи такав пројекат је каталог ОМЕГА ЛАЈТ, у којем је више од три хиљаде напајања MEAN WELL добило по шездесет један технички параметар, извучен из спецификација произвођача; скрипта и подаци остају Ваши.
Отворите решење уживо: 3D штампачи и потрошни материјал
Портфолио: ОМЕГА ЛАЈТ
Шта добијате
- Скрипта за ваш извор
Пишемо га за структуру конкретног сајта, каталога или PDF-а и за поља која су вам потребна, а не као општи алат који прикупља све.
- Уређени подаци
Без дупликата, са уједначеним форматом цена, телефона, адреса и мерних јединица, спремно за увоз.
- И из PDF спецификација
За каталог ОМЕГА ЛАЈТ издвојили смо десетине техничких параметара сваког модела из спецификација произвођача, са типом и мерном јединицом.
- По распореду, када се подаци промене
Скрипта се покреће сваког дана, недеље или месеца и шаље само нове и измењене записе.
- Директно у Ваш систем
Google Sheets, CRM, ERP или онлајн продавница преко API-ја или фајла, као што решење 3DPrintX одржава цене између сајта и складишта.
- Скрипта и подаци су Ваши
Кôд и фајлови се предају са пројектом. Скрипта ради и без нас.
Шта извлачимо
За нас је извлачење података скрипта за конкретан извор: сајт са каталогом, регистар, огласи, ценовници или фасцикла са PDF спецификацијама. Она прикупља поља која сте затражили и предаје их уређена: један запис по реду, уједначен формат, без понављања, са извором и датумом.
Наш највећи пројекат ове врсте је каталог компаније ОМЕГА ЛАЈТ, званичног дистрибутера компаније MEAN WELL за Бугарску: више од три хиљаде напајања са по шездесет и једним техничким параметром, извучених из спецификација произвођача, са типом и мерном јединицом за свако поље, како би инжењер могао да филтрира по напону, снази и заштити. Подаци напајају претрагу, филтере и конфигуратор на meanwell.bg. Остала извлачења која смо радили интерна су за клијенте: контакти из професионалног регистра у Excel-у, цене артикала за јавне набавке по распореду. За њих немамо јавни пројекат са именом и зато прецизно описујемо шта добијате.
Решење 3DPrintX показује други правац: цене и залихе између сајта и магацина у оба смера, без ручног преписивања.
Како тече рад
Прво описујете шта Вам је потребно: са ког сајта или из којих докумената, која поља, колико записа и колико често. Прегледамо извор: његову структуру, услове коришћења и да ли има API или извоз који скрипту чини непотребном; ако постоји, кажемо Вам и то је јефтиније. Тада дајемо оквирну цену. Цена зависи од структуре извора, броја поља и учесталости, а не од броја записа.
Понуда описује поља, формат, учесталост, шта радимо при промени сајта и тачну цену, а прихвата се онлајн. Пишемо скрипту и шаљемо Вам прве записе на проверу. Након одобрења предајемо цео фајл или покрећемо скрипту по распореду и шаљемо податке у табелу, имејл или Ваш систем. Једнократно извлачење траје од неколико дана до две недеље.
Шта добијате
Фајл у Excel-у или CSV-ју, или подаци у Вашем систему, са извором и датумом за сваки запис и списком записа које скрипта није могла једнозначно да препозна. Кôд скрипте у репозиторијуму на Ваше име и опис како се покреће. При раду по распореду: обавештење при сваком покретању и свакој грешци, као и извештај о томе колико је записа пронађено, додато и измењено, како бисте видели да скрипта ради без отварања фајла.
Одржавање по избору (100-350 € месечно по нашим понудама) има смисла код скрипте која ради по распореду, јер се сајтови мењају, а скрипта коју нико не надгледа тихо престане да ради.
Шта не радимо
Не заобилазимо заштите, лозинке и ограничења сајтова чији услови забрањују прикупљање. Не прикупљамо личне податке људи без основа и не прикупљамо податке са друштвених мрежа. Не продајемо готове базе. Када извор има API или извоз, користимо њега уместо скрипте и то Вам кажемо, чак и ако понуда због тога буде мања. Ако подаци треба да постану списак компанија по критеријумима, то је услуга база компанија.
Једнократно или по распореду
Једнократно извлачење је за податке који се не мењају често: регистар, каталог, архива. Добијате фајл, кôд и опис како да га поново покренете након годину дана. Извлачење по распореду је за цене, залихе, огласе и све што се мења сваке недеље: скрипта се сама покреће, пореди податке са претходним покретањем и шаље само нове и измењене записе у табелу, имејл или Ваш систем. Код рада по распореду одржавање има смисла, јер се сајтови мењају без упозорења, а скрипта коју нико не надгледа тихо престане да ради; зато при сваком покретању бележимо колико је записа пронађено и обавештавамо Вас када број нагло падне.
Како проверавамо квалитет
Пре слања целог фајла шаљемо прве записе како бисте сами проверили поља. Сваки запис садржи адресу са које је преузет и датум. Записе које скрипта не може једнозначно да препозна, на пример артикал са две различите цене на две странице, означавамо за ручну проверу уместо да бирамо насумично. Дупликате уклањамо према кључу који договоримо са Вама: број артикла, ЕИК, домен или телефон. Тако фајл улази у CRM, ERP или продавницу без ручног чишћења.
Како тече рад
Описујете шта Вам је потребно
Са ког сајта или из којих докумената, која поља, колико записа и колико често.
Преглед извора
Проверавамо структуру, услове коришћења и да ли постоји API или извоз који може да замени скрипту, и кажемо оквирну цену.
Писана понуда
Поља, формат, учесталост, шта радимо ако се сајт промени и тачна цена.
Скрипта и прва датотека
Пишемо скрипту и шаљемо Вам прве записе да проверите поља и квалитет.
Испорука или распоред
Предајемо цео фајл или покрећемо скрипту по распореду тако да податке шаље у табелу, на имејл или у Ваш систем.
Често постављана питања
Извлачење података са сајтова: цена зависи од обима и наводимо је у понуди.
Зависи од обима и наводимо то у понуди.
Ваш. Кôд, опис како се покреће и сви прикупљени фајлови предају се са пројектом. Скрипта ради и без нас.
Ако желите, одржавамо пројекат по цени од 100-350 € месечно. Шта је обухваћено одржавањем, наводимо у понуди.
Да: у Google Sheets, CRM, ERP или онлајн продавницу, ако прихвата податке преко API-ја или фајла. У супротном предајемо Excel или CSV са колонама које систем очекује.
Да, када је регистар јаван и његови услови то не забрањују. Проверавамо услове пре понуде, прикупљамо само објављене податке о компанијама и предајемо Excel без дупликата.
Да. Скрипта пролази кроз Ваш списак по броју артикла или називу, бележи цену и извор са датумом и шаље табелу по распореду. Артикле које не пронађе једнозначно означава за ручну проверу.
Скрипта се зауставља и обавештава Вас уместо да прикупља нетачне податке. Исправка је део одржавања по избору или посебна мала понуда; то унапред записујемо.
Са сајтова чији услови то забрањују, са страница заштићених пријавом лозинком и са друштвених мрежа. Личне податке без основа не прикупљамо, а јавне податке о компанијама прикупљамо.
Једнократно извлачење са једног сајта траје од неколико дана до две недеље, заједно са провером. Каталог са хиљадама докумената и десетинама поља по моделу, као што је каталог компаније ОМЕГА ЛАЈТ, пројекат је за неколико месеци, јер се свако поље проверава.
Још о овој теми
База података фирми
Када Вам је потребан списак компанија по делатности и граду.
API интеграције
Када подаци треба аутоматски да стижу до Ваших система.
Софтвер по поруџбини
Када је извлачење део већег система, као у каталогу компаније ОМЕГА ЛАЈТ.
Портфолио
Каталог компаније ОМЕГА ЛАЈТ и остали пројекти са екранима.
Повезане услуге
База података фирми
База података о фирмама према делатности, граду и величини: назив, ЕИК, телефон, имејл, адреса и сајт из јавних извора, без дупликата, у Excel-у, CSV-у или директно у Вашем CRM систему.
API интеграције
API интеграције за фирме: повезујемо сајт, продавницу, ERP и CRM систем са Еконтом, Спидијем, Stripe-ом, банкама, телефонијом, Meta платформом и Вашим програмима, како не бисте преписивали податке.
Израда софтвера по мери
Веб системи, платформе и мобилне апликације изграђени око Вашег процеса, са кôдом који је Ваш.
Израда онлајн продавнице
Онлајн продавница са каталогом, филтерима, плаћањем картицом или поузећем, курирским налепницама и повезивањем са вашим складиштем или ERP системом.



































