Lieferantenstammdaten stehen in vielen Unternehmen an erster Stelle. Wenn derselbe Lieferant mehrfach existiert, erkennt eine Prüfung auf doppelte Rechnungen, die nur innerhalb einer Lieferantennummer sucht, eine zweite Zahlung nicht. Gleichzeitig zerfallen Einkaufsvolumina auf mehrere Datensätze. Das schwächt die Grundlage für Rahmenverträge und Lieferantenbewertungen.
Kundenstammdaten wirken direkt auf Umsatz und Kundenerlebnis. Ein Kunde, der in zwei Datensätzen geführt wird, erhält doppelte Post, widersprüchliche Angebote oder ein falsches Kreditlimit. Für Vertriebsanalysen und KI-gestützte Prognosen ist eine eindeutige Kundensicht die Voraussetzung.
Materialstammdaten verursachen versteckte Kosten. Liegt dasselbe Teil unter mehreren Nummern im Lager, wird nachbestellt, obwohl Bestand vorhanden ist. In der Instandhaltung führt das im schlimmsten Fall zu Stillständen, weil das benötigte Teil im System nicht gefunden wird.
Gesellschafts- und Beteiligungsdaten sind ein Sonderfall. Hier ist die Unterscheidung zwischen echter Dublette und rechtlich eigenständiger Einheit besonders kritisch. Eine falsch zusammengeführte Gesellschaft verfälscht Konzernstrukturen, Konsolidierung und Meldepflichten, etwa gegenüber dem Transparenzregister.
Daraus folgt eine einfache Regel: Dubletten bereinigen Sie zuerst dort, wo Geld, Compliance oder Sicherheit betroffen sind. Dubletten vermeiden sollten Sie in allen Domänen, denn die Prävention kostet weniger als jede spätere Bereinigung.
Die 4 Wurzelursachen von Dubletten in Stammdaten
Dubletten entstehen selten durch Nachlässigkeit einzelner Personen. Sie sind das Ergebnis struktureller Lücken. Wer die Ursachen kennt, kann die Dublettenprüfung gezielt dort ansetzen, wo sie die größte Wirkung hat.
Wurzelursache 1: Viele Eingangstore, keine zentrale Instanz
In einer typischen Enterprise-Landschaft legen ERP, CRM, E-Procurement, Ticketsystem und Fachanwendungen unabhängig voneinander Stammdaten an. Jedes System prüft, wenn überhaupt, nur gegen seinen eigenen Bestand. Ein Lieferant, der im Einkauf und in der Buchhaltung parallel angelegt wird, existiert danach zweimal. Systemübergreifend bemerkt das niemand.
Wurzelursache 2: Keine gemeinsame Definition von „Identität”
Ist die Tochtergesellschaft in Polen derselbe Kunde wie die Muttergesellschaft in Deutschland? Ist ein Material mit neuer Revision eine Dublette oder ein eigenes Objekt? Solange Fachbereiche diese Fragen unterschiedlich beantworten, kann keine Software zuverlässig entscheiden. Die Folge sind entweder übersehene Dubletten oder falsch zusammengeführte Datensätze.
Wurzelursache 3: Datenerfassung ohne Prüfung an der Quelle
Viele Erfassungsmasken prüfen nur Pflichtfelder. Eine Suche nach ähnlichen, bereits vorhandenen Datensätzen findet nicht statt oder arbeitet nur exakt. Wer „Mueller” eintippt, findet „Müller” nicht und legt neu an. Unter Zeitdruck ist das Neuanlegen schlicht der schnellere Weg.
Wurzelursache 4: Migrationen, Akquisitionen und Massenimporte
Bei jeder ERP-Migration, etwa auf SAP S/4HANA, bei jedem Unternehmenszukauf und bei jedem Import von Messe- oder Marketingdaten treffen zwei Datenwelten aufeinander. Ohne vorgeschalteten Dublettenabgleich wandern Dubletten tausendfach in das Zielsystem. Dort sind sie mit Belegen verknüpft und deutlich schwerer zu bereinigen.
Kein Suchproblem, sondern eine Identitätsfrage
Die meisten Unternehmen behandeln Dubletten als technisches Suchproblem: das richtige Tool finden, einen Bereinigungslauf starten, fertig. Diese Sicht greift zu kurz.
Der Algorithmus kann nur berechnen, wie ähnlich sich zwei Datensätze sind. Ob „ähnlich” auch „identisch” bedeutet, ist eine fachliche Entscheidung. Ein Ähnlichkeitswert von 92 % zwischen zwei Gesellschaften mit gleichem Namen kann eine echte Dublette sein oder zwei rechtlich getrennte Einheiten in verschiedenen Ländern. Ein Algorithmus, der hier automatisch zusammenführt, richtet mehr Schaden an als die Dublette selbst.
Das Fachmagazin it-daily beschreibt die Arbeitsteilung treffend: Die KI findet und vergleicht Datensätze, der Mensch entscheidet. Denn an Stammdaten hängen Bestellungen, Aufträge und Buchungen. Was mit diesen Folgeobjekten passiert, muss geregelt sein, bevor ein einziger Datensatz zusammengeführt wird.
Erfolgreiche Dublettenprüfung beginnt deshalb nicht mit einem Tool, sondern mit drei Festlegungen:
Identitätsregeln: Welche Merkmale machen ein Objekt je Datendomäne eindeutig?
Entscheidungsrechte: Wer bestätigt mögliche Dubletten, wer entscheidet im Konfliktfall?
Überlebensregeln: Welcher Wert gewinnt beim Zusammenführen, und was geschieht mit den Referenzen?
Diese Festlegungen sind Teil Ihrer Data Governance. Wie Sie Rollen und Verantwortlichkeiten dafür aufbauen, zeigt unser Beitrag zum Data Governance Framework.
In 6 Schritten zur nachhaltigen Dublettenprüfung
Das folgende Framework hat sich in Enterprise-Umgebungen bewährt. Es verbindet die einmalige Dublettenbereinigung mit dauerhafter Prävention.
Schritt 1: Dubletten-Definition je Datendomäne festlegen
Definieren Sie gemeinsam mit den Fachbereichen, wann zwei Datensätze dasselbe Objekt beschreiben. Die Kriterien unterscheiden sich je Domäne:
Geschäftspartner (Kunden, Lieferanten): Name, Adresse, Umsatzsteuer-ID, Handelsregisternummer, LEI, Bankverbindung
Materialien und Produkte: Herstellerteilenummer, GTIN/EAN, normierte Kurzbeschreibung, Merkmalsleisten
Gesellschaften (Legal Entities): Firmenname, Rechtsform, Registergericht, Registernummer, Sitz
Personen: Name, Geburtsdatum, Personalnummer, E-Mail
Legen Sie zusätzlich fest, welche Merkmale eindeutige Identifikatoren sind (etwa die USt-ID) und welche nur Indizien liefern (etwa der Name).
Schritt 2: Daten profilieren und standardisieren
Matching funktioniert nur auf vergleichbaren Daten. Analysieren Sie zuerst den Bestand: Füllgrade, Formate, Schreibvarianten. Standardisieren Sie anschließend vor dem Vergleich:
Rechtsformen vereinheitlichen („Gesellschaft mit beschränkter Haftung” → „GmbH”)
Adressen normieren („Str.” → „Straße”, Postleitzahl validieren)
Umlaute, Groß- und Kleinschreibung, Sonderzeichen und Leerzeichen angleichen
Telefonnummern und IDs in ein einheitliches Format bringen
Dieser Schritt allein reduziert die Zahl der übersehenen weichen Dubletten deutlich. Er ist zugleich die Grundlage für jede spätere Echtzeitprüfung.
Schritt 3: Matching-Strategie kombinieren
Keine einzelne Methode findet alle Dubletten. Bewährt hat sich eine Kombination:
Deterministisches Matching vergleicht eindeutige Schlüssel exakt, etwa USt-ID oder GTIN. Es ist schnell und präzise.
Fuzzy Matching berechnet die Ähnlichkeit von Zeichenketten, etwa über die Levenshtein-Distanz. Sie zählt, wie viele Einfüge-, Lösch- oder Ersetzungsoperationen nötig sind, um einen Begriff in den anderen zu überführen.
Phonetische Verfahren erkennen gleich klingende Namen. Für deutschsprachige Daten ist die Kölner Phonetik relevanter als das englische Soundex, weil sie auf deutsche Laut- und Schreibregeln abgestimmt ist.
Gewichtetes Scoring kombiniert mehrere Felder zu einem Gesamtwert. Eine übereinstimmende USt-ID wiegt mehr als ein ähnlicher Name.
Bei großen Datenmengen ist zusätzlich Blocking sinnvoll. Dabei werden nur Datensätze innerhalb sinnvoller Gruppen verglichen, etwa mit gleicher Postleitzahl. Das macht den Dublettenabgleich performant.
Schritt 4: Schwellenwerte und manuelle Prüfung definieren
Übertragen Sie das Prinzip von Fellegi und Sunter in klare Regeln. Ein oberer Schwellenwert definiert sichere Dubletten, die automatisch zur Zusammenführung vorgeschlagen werden. Ein unterer Schwellenwert definiert sichere Nicht-Dubletten. Alles dazwischen landet in einer Prüfliste für die verantwortlichen Data Stewards.
Starten Sie konservativ mit einem hohen oberen Schwellenwert. Werten Sie die manuellen Entscheidungen regelmäßig aus und justieren Sie nach. So steigt der Automatisierungsgrad, ohne dass falsche Zusammenführungen zunehmen.
Schritt 5: Match & Merge mit Survivorship-Regeln umsetzen
Beim Zusammenführen entsteht aus mehreren Dubletten ein konsolidierter Datensatz. Survivorship-Regeln legen je Attribut fest, welcher Wert übernommen wird:
Quellpriorität: Das führende System gewinnt, etwa das ERP bei Bankdaten.
Aktualität: Der zuletzt geänderte Wert gewinnt, etwa bei Kontaktdaten.
Vollständigkeit: Der gefüllte Wert gewinnt gegenüber einem leeren Feld.
Validierung: Der geprüfte Wert gewinnt, etwa eine bestätigte Registernummer.
Mindestens so wichtig: Alle Referenzen auf die aufgelösten Dubletten müssen auf den überlebenden Datensatz umgehängt werden. Das betrifft offene Bestellungen, Verträge, Rechnungen und Hierarchien. Ein Merge ohne Referenz-Mapping erzeugt verwaiste Belege. Dokumentieren Sie jede Zusammenführung revisionssicher, damit sie nachvollziehbar und bei Bedarf umkehrbar bleibt.
Das Ergebnis ist der Golden Record: der eine, vertrauenswürdige Datensatz pro Geschäftsobjekt. Was einen Golden Record ausmacht und wie er zum KI-Fundament wird, erklärt unser Beitrag Golden Record Master Data.
Schritt 6: Dubletten an der Quelle vermeiden und messen
Der wirksamste Hebel ist die Dublettenprüfung bei der Dateneingabe. Bevor ein neuer Datensatz gespeichert wird, sucht das System per unscharfer Suche nach ähnlichen Einträgen und zeigt Treffer an. Die Person entscheidet dann: vorhandenen Datensatz verwenden oder begründet neu anlegen.
Ergänzend gehören in jeden Prozess:
Zentrale Anlageprozesse mit Freigabe für kritische Domänen. Wie Sie solche Abläufe gestalten, zeigt unser Beitrag zum Workflow-Management für Stammdaten.
Regelmäßige Batch-Prüfungen für Daten, die über Schnittstellen oder Importe einfließen.
Monitoring der Dubletten-Rate je Domäne als fester KPI im Data-Quality-Dashboard.