Extraction de données depuis des sites web

Ce que nous extrayons

Pour nous, l’extraction de données est un script conçu pour une source précise : site avec catalogue, registre, annonces, listes de prix ou dossier contenant des spécifications PDF. Il collecte les champs que vous avez demandés et les transmet de manière structurée : un enregistrement par ligne, un format uniforme, sans doublons, avec la source et la date.

Notre plus grand projet de ce type est le catalogue d’OMEGA LAYT, distributeur officiel de MEAN WELL pour la Bulgarie : plus de trois mille alimentations avec soixante et un paramètres techniques chacune, extraits des spécifications du fabricant, avec le type et l’unité de mesure de chaque champ, afin que l’ingénieur puisse filtrer par tension, puissance et protection. Les données alimentent la recherche, les filtres et le configurateur de meanwell.bg. Les autres extractions que nous avons réalisées sont internes aux clients : contacts issus d’un registre professionnel dans Excel, prix d’articles destinés aux marchés publics selon un calendrier. Nous n’avons pas de projet public identifié par un nom pour ces réalisations ; nous décrivons donc précisément ce que vous recevez.

La solution 3DPrintX montre l’autre sens de l’échange : les prix et les disponibilités sont synchronisés dans les deux sens entre le site et l’entrepôt, sans ressaisie manuelle.

Comment se déroule le projet

Vous commencez par décrire ce dont Vous avez besoin : de quel site ou de quels documents, quels champs, combien d'enregistrements et à quelle fréquence. Nous examinons la source : sa structure, ses conditions d'utilisation et l'existence éventuelle d'une API ou d'un export qui rendrait le script inutile ; si c'est le cas, nous Vous le signalons et la solution coûte moins cher. Nous Vous indiquons ensuite une estimation du prix. Le prix dépend de la structure de la source, du nombre de champs et de la fréquence, et non du nombre d'enregistrements.

L'offre précise les champs, le format, la fréquence, ce que nous faisons en cas de modification du site et le prix exact ; elle est acceptée en ligne. Nous développons le script et Vous envoyons les premiers enregistrements pour vérification. Après approbation, nous remettons le fichier complet ou lançons le script selon un calendrier vers un tableau, une adresse e-mail ou Votre système. Une extraction ponctuelle prend de quelques jours à deux semaines.

Ce que vous obtenez

Un fichier Excel ou CSV, ou les données directement dans Votre système, avec la source et la date de chaque enregistrement, ainsi que la liste des enregistrements que le script n'a pas pu identifier sans ambiguïté. Le code du script est stocké dans un dépôt à Votre nom, avec les instructions pour le lancer. En cas d'exécution planifiée : une notification à chaque lancement et à chaque erreur, ainsi qu'un rapport indiquant le nombre d'enregistrements trouvés, ajoutés et modifiés, afin que Vous puissiez vérifier que le script fonctionne sans ouvrir le fichier.

La maintenance facultative (100-350 € par mois selon nos offres) est pertinente pour un script planifié, car les sites évoluent et un script que personne ne surveille peut s'arrêter sans avertissement.

Ce que nous ne faisons pas

Nous ne contournons pas les protections, les mots de passe ni les restrictions des sites dont les conditions interdisent la collecte. Nous ne collectons pas de données personnelles de personnes sans fondement légal et nous ne collectons pas de données sur les réseaux sociaux. Nous ne vendons pas de bases de données prêtes à l'emploi. Lorsque la source dispose d'une API ou d'un export, nous l'utilisons à la place d'un script et Vous le signalons, même si l'offre devient moins importante. Si les données doivent devenir une liste d'entreprises selon des critères, il s'agit du service de base de données d'entreprises.

Ponctuelle ou planifiée

L'extraction ponctuelle convient aux données qui changent peu : registre, catalogue, archive. Vous recevez le fichier, le code et les instructions pour le relancer un an plus tard. L'extraction planifiée convient aux prix, aux stocks, aux annonces et à tout ce qui change chaque semaine : le script s'exécute automatiquement, compare avec le passage précédent et envoie uniquement les enregistrements nouveaux et modifiés dans un tableau, par e-mail ou dans Votre système. Avec une exécution planifiée, la maintenance est pertinente, car les sites changent sans avertissement et un script que personne ne surveille peut s'arrêter en silence ; c'est pourquoi nous enregistrons le nombre d'enregistrements trouvés à chaque lancement et Vous alertons lorsque ce nombre chute fortement.

Comment nous vérifions la qualité

Avant de Vous envoyer le fichier complet, nous transmettons les premiers enregistrements afin que Vous puissiez vérifier les champs de visu. Chaque enregistrement indique l'adresse depuis laquelle il a été extrait et la date. Les enregistrements que le script ne peut pas identifier sans ambiguïté, par exemple un article affichant deux prix différents sur deux pages, sont signalés pour vérification manuelle au lieu d'être choisis au hasard. Nous supprimons les doublons selon une clé définie avec Vous : référence article, EIK, domaine ou téléphone. Le fichier peut ainsi être importé dans un CRM, un ERP ou une boutique sans nettoyage manuel.