Збор даных з сайтаў
Збор даных з сайтаў, гэта скрыпт, напісаны для канкрэтнага сайта, каталога або набору дакументаў, які збірае палі, патрэбныя балгарскай кампаніі, і перадае іх у структураваным выглядзе: цэны канкурэнтаў для ўдзелу ў дзяржаўнай закупцы, кантакты з прафесійнага рэестра, тэхнічныя параметры са спецыфікацый вытворцы. Цана ўказваецца ў прапанове пасля праверкі крыніцы, бо залежыць ад яе структуры, колькасці палёў і ад таго, ці патрэбны аднаразовы збор або збор па раскладзе; аднаразовы збор гатовы за некалькі дзён, да двух тыдняў. Наш найбуйнейшы такі праект, каталог ОМЕГА ЛАЙТ, у якім больш за тры тысячы блокаў сілкавання MEAN WELL атрымалі па шэсцьдзясят адзін тэхнічны параметр, выняты са спецыфікацый вытворцы; скрыпт і даныя застаюцца Вашымі.
Адкрыць рашэнне ў жывым рэжыме: 3D-прынтары і расходныя матэрыялы
Партфоліа: ОМЕГА ЛАЙТ
Што вы атрымаеце
- Скрыпт для Вашага крыніцы
Пішам яго пад структуру канкрэтнага сайта, каталога або PDF і пад патрэбныя Вам палі, а не ствараем агульны інструмент, які збірае ўсё.
- Упарадкаваныя даныя
Без паўтораў, з аднолькавым фарматам цэн, тэлефонаў, адрасоў і адзінак вымярэння, гатовыя да імпарту.
- І са спецыфікацый PDF
Для каталога ОМЕГА ЛАЙТ мы вынялі дзясяткі тэхнічных параметраў кожнай мадэлі са спецыфікацый вытворцы, з тыпам і адзінкай вымярэння.
- Паводле графіка, калі даныя змяняюцца
Скрыпт запускаецца кожны дзень, тыдзень або месяц і адпраўляе толькі новыя і змененыя запісы.
- Прама ў вашу сістэму
Google Sheets, CRM, ERP або інтэрнэт-крама праз API або файл, як рашэнне 3DPrintX сінхранізуе цэны паміж сайтам і складам.
- Скрыпт і даныя, Вашы
Код і файлы перадаюцца разам з праектам. Скрыпт працуе і без нас.
Што мы вымаем
Для нас збор даных, гэта скрыпт для канкрэтнай крыніцы: сайта з каталогам, рэестра, аб'яў, прайс-лістоў або папкі з PDF-спецыфікацыямі. Ён збірае запрошаныя Вамі палі і перадае іх ва ўпарадкаваным выглядзе: адзін запіс у радку, аднолькавы фармат, без паўтораў, з крыніцай і датай.
Наш найбуйнейшы праект такога тыпу, гэта каталог ОМЕГА ЛАЙТ, афіцыйнага дыстрыб'ютара MEAN WELL у Балгарыі: больш за тры тысячы блокаў сілкавання з шасцюдзесяццю адным тэхнічным параметрам, вынятымі са спецыфікацый вытворцы, з тыпам і адзінкай вымярэння кожнага поля, каб інжынер мог фільтраваць паводле напружання, магутнасці і абароны. Даныя забяспечваюць пошук, фільтры і канфігуратар на meanwell.bg. Астатнія зборы, якія мы рабілі, былі ўнутранымі для кліентаў: кантакты з прафесійнага рэестра ў Excel, цэны на тавары для дзяржаўных закупак паводле графіка. Для іх у нас няма публічнага праекта з назвай, таму мы дакладна апісваем, што Вы атрымліваеце.
Рашэнне 3DPrintX паказвае іншы напрамак: цэны і наяўнасць перадаюцца паміж сайтам і складам у абодвух напрамках, без ручнога перапісвання.
Як праходзіць праца
Спачатку Вы апісваеце, што Вам патрэбна: з якога сайта або дакументаў, якія палі, колькі запісаў і як часта. Мы правяраем крыніцу: яе структуру, умовы выкарыстання і наяўнасць API або экспарту, які робіць скрыпт непатрэбным; калі яны ёсць, мы скажам Вам пра гэта, так танней. Пасля гэтага называем арыенціровачны кошт. Кошт залежыць ад структуры крыніцы, колькасці палёў і частаты, а не ад колькасці запісаў.
У прапанове апісваюцца палі, фармат, частата, нашы дзеянні пры змяненні сайта і дакладны кошт, а прымаецца яна анлайн. Мы пішам скрыпт і дасылаем Вам першыя запісы для праверкі. Пасля адабрэння перадаём увесь файл або запускаем скрыпт па раскладзе ў табліцу, на электронную пошту ці ў Вашу сістэму. Разавае выманне займае ад некалькіх дзён да двух тыдняў.
Што вы атрымаеце
Файл у Excel або CSV, альбо даныя ў Вашай сістэме, з крыніцай і датай кожнага запісу і спісам запісаў, якія скрыпт не змог адназначна распазнаць. Код скрыпта ў рэпазіторыі на Ваша імя і апісанне яго запуску. Пры працы па раскладзе: апавяшчэнне пры кожным запуску і кожнай памылцы, а таксама справаздача пра колькасць знойдзеных, дададзеных і змененых запісаў, каб Вы бачылі, што скрыпт працуе, не адкрываючы файл.
Падтрымка па выбары (100-350 € у месяц паводле нашых прапаноў) мае сэнс для скрыпта, які працуе па раскладзе, бо сайты змяняюцца, а скрыпт, за якім ніхто не сочыць, ціха спыняецца.
Чаго мы не робім
Мы не абыходзім абарону, паролі і абмежаванні сайтаў, чые ўмовы забараняюць збор даных. Мы не збіраем персанальныя даныя людзей без падставы і не збіраем даныя з сацыяльных сетак. Мы не прадаём гатовыя базы. Калі ў крыніцы ёсць API або экспарт, мы выкарыстоўваем яго замест скрыпта і паведамляем Вам пра гэта, нават калі прапанова становіцца меншай. Калі даныя трэба ператварыць у спіс кампаній па крытэрыях, гэта паслуга базы даных кампаній.
Разава або па раскладзе
Разавае выманне падыходзіць для даных, якія рэдка змяняюцца: рэестра, каталога, архіва. Вы атрымліваеце файл, код і апісанне таго, як запусціць яго зноў праз год. Выманне па раскладзе падыходзіць для цэн, наяўнасці, аб’яў і ўсяго, што змяняецца кожны тыдзень: скрыпт запускаецца сам, параўноўвае з папярэднім разам і адпраўляе толькі новыя і змененыя запісы ў табліцу, на электронную пошту або ў Вашу сістэму. Пры працы па раскладзе падтрымка мае сэнс, бо сайты змяняюцца без папярэджання, а скрыпт, за якім ніхто не сочыць, ціха спыняецца; таму пры кожным запуску мы запісваем колькасць знойдзеных запісаў і паведамляем, калі яна рэзка падае.
Як мы правяраем якасць
Перад адпраўкай усяго файла мы дасылаем першыя запісы, каб Вы маглі праверыць палі ўласнымі вачыма. Кожны запіс змяшчае адрас, з якога ён узяты, і дату. Запісы, якія скрыпт не можа адназначна распазнаць, напрыклад тавар з дзвюма рознымі цэнамі на дзвюх старонках, мы пазначаем для ручной праверкі, а не выбіраем выпадкова. Паўторы выдаляем па ключы, які ўзгадняем з Вамі: нумар тавару, ЕІК, дамен або тэлефон. Так файл трапляе ў CRM, ERP або магазін без ручной ачысткі.
Як праходзіць праца
Апісваеце, што вам трэба
З якога сайта або дакументаў, якія палі, колькі запісаў і як часта.
Праверка крыніцы
Правяраем структуру, умовы выкарыстання і ці ёсць API або экспарт, які дазволіць абысціся без скрыпта, і называем арыенціровачную цану.
Пісьмовая прапанова
Палі, фармат, частата, што робім пры змяненні сайта і дакладная цана.
Скрыпт і першы файл
Пішам скрыпт і дасылаем Вам першыя запісы для праверкі палёў і якасці.
Перадача або расклад
Перадаем увесь файл або запускаем скрыпт па раскладзе з перадачай даных у табліцу, на электронную пошту або ў Вашу сістэму.
Часта задаваныя пытанні
Збор даных з сайтаў: цана залежыць ад аб’ёму работ, мы ўказваем яе ў прапанове.
Залежыць ад аб’ёму работ, мы ўказваем яго ў прапанове.
Ваш. Код, апісанне запуску і ўсе сабраныя файлы перадаюцца разам з праектам. Скрыпт працуе і без нас.
Калі жадаеце, мы будзем падтрымліваць праект за 100-350 € у месяц. Што ўваходзіць у падтрымку, мы ўказваем у прапанове.
Так: у Google Sheets, CRM, ERP або інтэрнэт-магазін, калі ён прымае даныя праз API або файл. У адваротным выпадку мы перадаём Excel або CSV з калонкамі, якія чакае сістэма.
Так, калі рэестр з'яўляецца публічным і яго ўмовы гэтага не забараняюць. Мы правяраем умовы да падрыхтоўкі прапановы, збіраем толькі апублікаваныя даныя кампаній і перадаём Excel без паўтораў.
Так. Скрыпт праходзіць па Вашым спісе па нумары тавару або назве, запісвае цану і крыніцу з датай і адпраўляе табліцу па раскладзе. Тавары, якія ён не знаходзіць адназначна, пазначае для ручной праверкі.
Скрыпт спыняецца і паведамляе Вам пра гэта, замест таго каб збіраць няправільныя даныя. Выпраўленне ўваходзіць у падтрымку па выбары або афармляецца асобнай невялікай прапановай; мы запісваем гэта загадзя.
З сайтаў, чые ўмовы гэта забараняюць, са старонак за ўваходам па паролі і з сацыяльных сетак. Мы не збіраем персанальныя даныя без падставы, але збіраем публічныя даныя кампаній.
Разавае выманне з аднаго сайта займае ад некалькіх дзён да двух тыдняў разам з праверкай. Каталог з тысячамі дакументаў і дзесяткамі палёў на мадэль, як каталог ОМЕГА ЛАЙТ,, гэта праект на некалькі месяцаў, бо кожнае поле правяраецца.
Больш па тэме
База даных кампаній
Калі Вам патрэбны спіс кампаній па галіне і горадзе.
API-інтэграцыі
Калі даныя павінны аўтаматычна трапляць у Вашы сістэмы.
Праграмнае забеспячэнне на заказ
Калі выманне з'яўляецца часткай большай сістэмы, як у каталогу ОМЕГА ЛАЙТ.
Партфоліа
Каталог ОМЕГА ЛАЙТ і астатнія праекты з экранамі.
Звязаныя паслугі
База даных кампаній
База даных кампаній паводле галіны, горада і памеру: назва, ЕІК, тэлефон, электронны адрас, адрас і сайт з публічных крыніц, без дублікатаў, у Excel, CSV або адразу ў Вашай CRM-сістэме.
API-інтэграцыі
API-інтэграцыі для кампаній: звязваем сайт, краму, ERP- і CRM-сістэмы з Еконт, Спіды, Stripe, банкамі, тэлефаніяй, Meta і вашымі праграмамі, каб вам не даводзілася перапісваць даныя.
Распрацоўка праграмнага забеспячэння на замову
Вэб-сістэмы, платформы і мабільныя дадаткі, створаныя вакол Вашага працэсу, з кодам, які належыць Вам.
Распрацоўка інтэрнэт-крамы
Анлайн-крама з каталогам, фільтрамі, аплатай картай або накладзеным плацяжом, кур’ерскімі накладнымі і сувяззю са складам або вашай ERP-сістэмай.
