Evidenzbasierte Website-Datenaufbereitung

• Unternehmenswebsites enthalten wertvolle Organisationsinformationen, liegen jedoch als heterogene und kontextabhängige Rohtexte vor. Ohne Bereinigung, Quellenprüfung und Normalisierung können fehlerhafte Organisationsprofile entstehen.
• HML kombiniert regelbasierte Python-Verfahren mit LLM-gestützten Agenten zur technischen Bereinigung, semantischen Kontextprüfung und strukturierten Aufbereitung von Website-Daten.
• Das Verfahren wurde mit Website-Daten von 8.000 Organisationen erprobt. Mehr als 350 Fehlermuster aus einer früheren, unmittelbaren LLM-Destillation wurden dokumentiert und durch das mehrstufige Verfahren deutlich reduziert.

Unternehmenswebsites sind eine zentrale Quelle für Informationen zu Identität, Standorten, Produkten, Technologien, FuE-Aktivitäten, Kunden, Partnern und Zertifizierungen. Anders als in strukturierten Registern oder Datenbanken liegen diese Angaben jedoch in sehr unterschiedlichen Formen vor: verteilt über Unterseiten, PDFs, Sprachversionen, Pressemitteilungen, Kontaktformulare und dynamisch geladene Inhalte. Nicht jede extrahierte Angabe lässt sich dabei unmittelbar der jeweiligen Organisation zuordnen oder als aktuelle und belastbare Information einordnen. Bevor Website-Inhalte für die Suche, Klassifikation und Analyse genutzt werden können, müssen sie daher bereinigt, strukturiert und anhand ihrer Quellen überprüft werden.

In der Praxis ergeben sich dabei vier zentrale Risikofelder:

1. 1.Quell- und Evidenzfehler: Nicht jeder Text auf einer Unternehmensdomain beschreibt die Organisation selbst. So können Daten aus einem Demo-Dashboard fälschlich dem anbietenden SaaS-Unternehmen zugeschrieben oder Hosting-Anbieter irrtümlich als Kooperationspartner eingeordnet werden. Crawls können zudem relevante Unterseiten übersehen, dynamische Inhalte nur teilweise erfassen oder Navigation, Cookie-Banner und Footer auslesen. Auch veraltete Angaben können als aktuell erscheinen. Adressen, Registerdaten, Mitarbeiterzahlen, Patentnummern und Zertifikate sind daher ohne konkrete Fundstelle im Crawl nur eingeschränkt belastbar.
2. 2.Struktur- und Datenqualitätsfehler: Inhaltlich zutreffende Angaben können unbrauchbar werden, wenn Ausgaben beschädigt, Pflichtfelder nicht befüllt oder Informationen falsch verknüpft werden. Unternehmen nennen häufig mehrere Adressen, etwa Firmensitz, frühere Anschriften sowie Produktions-, Entwicklungs- oder Vertriebsstandorte. Werden diese zusammengeführt oder ohne Kontext gespeichert, ist später unklar, welche Funktion und zeitliche Gültigkeit eine Adresse besitzt. Auch uneinheitliche Formate, vertauschte Feldzuordnungen und mehrfach extrahierte Aussagen können Folgeprozesse erschweren und widersprüchliche Einträge erzeugen.
3. 3.Semantische Kontext- und Zuordnungsfehler: Viele Fehler entstehen erst bei der Einordnung von Angaben. Die Nennung einer Zielbranche belegt nicht automatisch Kundenbeziehungen, die Teilnahme an einem Förderkonsortium keine dauerhafte Partnerschaft und eine geplante Zertifizierung kein bestehendes Zertifikat. Eine Produktbeschreibung kann nur eine mögliche Anwendung benennen, ohne eine verfügbare Funktion zu belegen. Aussagen über Kunden oder Partner können sich zudem auf Dritte beziehen. Auch Marken, juristische Gesellschaften, Unternehmensgruppen, Produktplattformen und Projektorganisationen lassen sich ohne Kontext leicht verwechseln.
4. 4.Normalisierungs-, Konflikt- und Kanonisierungsfehler: Website-Daten liegen in unterschiedlichen Schreibweisen, Sprachversionen und Länderformaten vor. Bei der Extraktion können Zahlenfolgen verkleben: So kann 1014476 aus der Hausnummer 10 und der Postleitzahl 14476 bestehen, ohne dass sich dies ohne Kontext sicher bestimmen lässt. Ähnliche Fehler entstehen bei Tabellen, wenn leere Felder übersprungen und Werte falschen Spaltenüberschriften zugeordnet werden. Schreibvarianten können als verschiedene Angaben erscheinen. Die Vereinheitlichung abweichender Mitarbeiterzahlen, Hauptsitzadressen oder Rechtsformen kann echte Widersprüche verdecken.

HML hat vor diesem Hintergrund ein hybrides Verfahren zur evidenzbasierten Aufbereitung von Website-Daten entwickelt, das regelbasierte Python-Verfahren mit LLM-gestützten Agenten verbindet. Python-basierte Schritte übernehmen die technische Bereinigung, formale Validierung und Normalisierung; LLM-basierte Schritte beurteilen Herkunft, Bedeutung und Relevanz einzelner Aussagen im jeweiligen Kontext. Die extrahierten Angaben durchlaufen mehrere Bereinigungs- und Validierungsstufen, bevor sie zu einem Organisationsprofil zusammengeführt werden.

Die Aufbereitung erfolgt in neun aufeinanderfolgenden Schritten:

1. 1.Technische Bereinigung: Die gecrawlten Rohdaten werden vereinheitlicht; leere Seiten, Duplikate und technische Artefakte werden entfernt. Die verfügbaren Quellseiten bleiben als Referenzbestand erhalten.
2. 2.Semantische Kontextprüfung: LLM-gestützte Agenten prüfen, welche Inhalte sich tatsächlich auf die Organisation beziehen. Dabei werden Eigenaussagen unter anderem von Demo-Inhalten, Kundenreferenzen und Stellenanzeigen abgegrenzt sowie historische oder geplante Aktivitäten als solche eingeordnet.
3. 3.Formale Validierung: Ein Python-basierter Validator prüft Datenstruktur, Pflichtfelder, Datentypen und Quellenangaben. Fehlerhafte oder unvollständige Ausgaben werden gekennzeichnet und nicht als valide Datensätze weiterverarbeitet.
4. 4.Strukturierte Faktendestillation: Die relevanten Inhalte werden in einzelne, prüfbare Fakten überführt und fachlichen Bereichen zugeordnet. Jeder übernommene Fakt bleibt mit seiner Fundstelle verknüpft.
5. 5.Zweite Qualitätsprüfung: Die destillierten Fakten werden erneut auf Struktur, Vollständigkeit, Dubletten und Quellenbezug geprüft. Dabei werden formale Fehler erkannt, die während der LLM-basierten Verarbeitung entstanden sein können.
6. 6.Adressnormalisierung: Anschriften werden extrahiert und, soweit belastbar möglich, in Straße, Hausnummer, Postleitzahl, Ort und Land zerlegt. Mehrdeutige oder widersprüchliche Angaben bleiben entsprechend gekennzeichnet.
7. 7.Zusammenführung der Basisdaten: Namen, Rechtsformen, Websites, Kontaktdaten und Standorte werden konsolidiert. Schreibvarianten können vereinheitlicht werden, während sachliche Abweichungen als Konflikte erhalten bleiben.
8. 8.Aufbau des Organisationsprofils: Die validierten Fakten werden zu einem strukturierten Profil zusammengeführt. Quellenangaben, normalisierte Werte, abgeleitete Zuordnungen und offene Konflikte bleiben dabei unterscheidbar.
9. 9.Semantische Profilbeschreibung: Abschließend werden die geprüften Informationen in eine lineare, für Embedding-Modelle geeignete Textform überführt. Sie macht die inhaltlichen Zusammenhänge für semantische Suchanfragen nutzbar, ohne die strukturierte Faktenbasis zu ersetzen.

Das Verfahren wurde anhand der Website-Daten von 8.000 Organisationen erprobt. In einem früheren Verfahrensstand wurden die gecrawlten Inhalte ohne vorgelagerte Bereinigung und regelbasierte Validierung unmittelbar durch ein LLM destilliert. Bei der Prüfung der Ergebnisse wurden mehr als 350 unterschiedliche Fehlermuster dokumentiert. Sie umfassten die vier beschriebenen Bereiche: Quell- und Evidenzfehler, Struktur- und Datenqualitätsfehler, semantische Kontext- und Zuordnungsfehler sowie Normalisierungs-, Konflikt- und Kanonisierungsfehler.

Auf Grundlage dieser Beobachtungen wurde das mehrstufige Verfahren entwickelt. Die Kombination aus technischer Bereinigung, LLM-gestützter Kontextprüfung und wiederholter regelbasierter Validierung reduzierte die dokumentierten Fehlermuster in internen Prüfungen deutlich. Die Bibliothek bildet jedoch keine abschließende Fehlertaxonomie: Welche Fehler auftreten können, hängt auch von Struktur und Inhalt der jeweiligen Websites ab. Bislang unbekannte Fehlertypen können daher weiterhin auftreten und werden im Zuge der weiteren Erprobung fortlaufend ergänzt.

Die Pilotanwendung zeigt, dass sich öffentlich zugängliche Website-Inhalte durch die Kombination regelbasierter Python-Verfahren und LLM-gestützter Agenten systematisch aufbereiten lassen. Gegenüber der unmittelbaren LLM-Destillation reduziert das mehrstufige Verfahren das Auftreten der dokumentierten Fehler deutlich und schafft eine evidenzbasierte Datengrundlage für die nachgelagerten Funktionen der Suchmaschine.

Im nächsten Teil stellen wir eine von HML entwickelte Alternative zur NACE-Klassifikation vor und zeigen, wie Organisationen anhand ihrer Leistungen und adressierten Märkte Herkunfts- und Zielsektoren zugeordnet werden.

Marius Lauermann ist Gründer und Partner der Fördermittelberatung HML Capital AG. Seit mehr als zehn Jahren unterstützt er Start-ups und mittelständische Unternehmen dabei, öffentliche Zuschüsse für Innovationsprojekte zu beschaffen.