Datenextraktion von Websites

Was wir extrahieren

Die Datenextraktion ist für uns ein Skript für eine konkrete Quelle: eine Website mit Katalog, ein Register, Anzeigen, Preislisten oder ein Ordner mit PDF-Spezifikationen. Es sammelt die von Ihnen gewünschten Felder und übergibt sie strukturiert: ein Datensatz pro Zeile, einheitliches Format, ohne Duplikate, mit Quelle und Datum.

Unser größtes Projekt dieser Art ist der Katalog von OMEGA LAIT, dem offiziellen MEAN WELL-Distributor für Bulgarien: mehr als dreitausend Netzteile mit jeweils einundsechzig technischen Parametern, extrahiert aus den Spezifikationen des Herstellers, mit Typ und Maßeinheit für jedes Feld. So kann der Ingenieur nach Spannung, Leistung und Schutz filtern. Die Daten versorgen die Suche, Filter und den Konfigurator auf meanwell.bg. Die übrigen Extraktionen, die wir durchgeführt haben, waren für die Kunden intern: Kontakte aus einem Berufsregister in Excel sowie Artikelpreise für öffentliche Ausschreibungen nach einem festgelegten Zeitplan. Dafür gibt es kein öffentliches Projekt mit Namen, deshalb beschreiben wir genau, was Sie erhalten.

Die Lösung 3DPrintX zeigt die andere Richtung: Preise und Bestände werden in beide Richtungen zwischen Website und Lager synchronisiert, ohne manuelles Übertragen.

So läuft die Zusammenarbeit ab

Zuerst beschreiben Sie, was Sie benötigen: von welcher Website oder aus welchen Dokumenten, welche Felder, wie viele Datensätze und wie oft. Wir prüfen die Quelle: ihre Struktur, die Nutzungsbedingungen und ob es eine API oder einen Export gibt, durch den das Skript überflüssig wird. Falls ja, sagen wir Ihnen das, und es ist günstiger. Danach nennen wir Ihnen einen Richtpreis. Der Preis hängt von der Struktur der Quelle, der Anzahl der Felder und der Häufigkeit ab, nicht von der Anzahl der Datensätze.

Das Angebot beschreibt die Felder, das Format, die Häufigkeit, unser Vorgehen bei Änderungen an der Website und den genauen Preis und kann online angenommen werden. Wir schreiben das Skript und schicken Ihnen die ersten Datensätze zur Prüfung. Nach Ihrer Freigabe übergeben wir die vollständige Datei oder lassen das Skript nach Zeitplan in eine Tabelle, per E-Mail oder in Ihr System schreiben. Eine einmalige Extraktion dauert einige Tage bis zwei Wochen.

Was Sie erhalten

Eine Excel- oder CSV-Datei oder die Daten in Ihrem System, mit Quelle und Datum für jeden Datensatz sowie einer Liste der Datensätze, die das Skript nicht eindeutig erkennen konnte. Den Skriptcode erhalten Sie in einem Repository unter Ihrem Namen sowie eine Beschreibung zum Starten. Bei einer Ausführung nach Zeitplan: eine Benachrichtigung bei jedem Lauf und bei jedem Fehler sowie eine Übersicht darüber, wie viele Datensätze gefunden, hinzugefügt und geändert wurden. So sehen Sie, dass das Skript funktioniert, ohne die Datei öffnen zu müssen.

Wartung nach Wunsch (100-350 € pro Monat laut unseren Angeboten) ist bei einem Skript nach Zeitplan sinnvoll, denn Websites ändern sich und ein Skript, das niemand überwacht, kann unbemerkt ausfallen.

Was wir nicht tun

Wir umgehen keine Schutzmechanismen, Passwörter oder Einschränkungen von Websites, deren Bedingungen das Sammeln von Daten untersagen. Wir erfassen keine personenbezogenen Daten ohne Rechtsgrundlage und sammeln nicht aus sozialen Netzwerken. Fertige Datenbanken verkaufen wir nicht. Wenn die Quelle eine API oder einen Export bietet, verwenden wir diesen statt eines Skripts und sagen Ihnen das auch, selbst wenn das Angebot dadurch kleiner wird. Wenn die Daten zu einer Firmenliste nach Kriterien werden sollen, ist das die Dienstleistung Firmendatenbank.

Einmalig oder nach Zeitplan

Eine einmalige Extraktion eignet sich für Daten, die sich nicht häufig ändern: Register, Kataloge, Archive. Sie erhalten eine Datei, den Code und eine Beschreibung, wie Sie die Extraktion ein Jahr später erneut starten können. Eine Extraktion nach Zeitplan eignet sich für Preise, Bestände, Anzeigen und alles, was sich wöchentlich ändert: Das Skript läuft automatisch, vergleicht mit dem letzten Lauf und sendet nur neue und geänderte Datensätze in eine Tabelle, per E-Mail oder in Ihr System. Bei einem Zeitplan ist Wartung sinnvoll, denn Websites ändern sich ohne Vorwarnung und ein Skript, das niemand überwacht, kann unbemerkt ausfallen. Deshalb protokollieren wir bei jedem Lauf, wie viele Datensätze gefunden wurden, und benachrichtigen Sie, wenn die Zahl stark zurückgeht.

So prüfen wir die Qualität

Vor der vollständigen Datei schicken wir Ihnen die ersten Datensätze, damit Sie die Felder selbst prüfen können. Jeder Datensatz enthält die Adresse, von der er stammt, und das Datum. Datensätze, die das Skript nicht eindeutig erkennen kann, zum Beispiel ein Artikel mit zwei unterschiedlichen Preisen auf zwei Seiten -, markieren wir zur manuellen Prüfung, statt zufällig auszuwählen. Duplikate entfernen wir anhand eines Schlüssels, den wir mit Ihnen vereinbaren: Artikelnummer, EIK, Domain oder Telefonnummer. So kann die Datei ohne manuelle Bereinigung in CRM, ERP oder einen Onlineshop übernommen werden.