Automatisches Generieren eines Modells aus einer Datenbank

Die Datenbankansicht ist der zentrale Arbeitsbereich, um Modell- und Weighting-Artefakte aus gescannten Datenbank-Metadaten zu erstellen.

Ab 3.2.0 ist der Ablauf in den Database-Workbench-Tabs (Planning, Weighting, Schema history) mit dedizierten Create-Aktionen organisiert.

Schritte

1. Stelle sicher, dass Du ein Projekt hast

Starte mit einem vorhandenen Projekt oder erstelle ein neues (zum Beispiel ein leeres Projekt).

2. Konfiguriere eine Datenbank-Umgebung

• Öffne Settings → Umgebungen.
• Füge eine Datenbank-Umgebung hinzu oder bearbeite eine bestehende.
• Stelle sicher, dass Zugangsdaten und Verbindung korrekt sind.

3. Scanne Metadaten

• Öffne das Menü More actions (⋯) in der Umgebungszeile und wähle Refresh metadata snapshot. Bestätige anschließend im Dialog Scan Database Metadata.
• Sind Metadaten veraltet, öffne dasselbe Menü und wähle Reset metadata snapshot, dann scanne erneut.
• Der Metadaten-Scan umfasst alle zugreifbaren Schemata der ausgewählten Verbindung.

4. Öffne die Datenbankansicht und plane dein Subset

Arbeite in der Datenbankansicht von links nach rechts:

• Scope: Umgebung, Schema-Filter und Tabellen wählen.
• Spalten-Panel: Spalten prüfen und auswählen.
• Database workbench → Planning: Plan subset ausführen, Abhängigkeits-Closure validieren und Subset-Preflight prüfen.

Datenbankansicht: Scope, Subset-Planung und Dependency-Preflight

5. Erstelle Modell-Artefakte aus der Workbench

Nutze Generate artifacts im Planning-Tab.

A. Create Synthetic (.xml)

1. Klicke Configure model und wähle anschließend im geöffneten Assistenten Synthetic data model.
2. Vergib einen Modell-Dateinamen.
3. Setze die Relationship-Quelle (datenbankbasiert oder generierte Weighting-Dateien unter data/).
4. Aktiviere optional schemaqualifizierte Namen.
5. Aktiviere optional SQL-Schema-Skript-Export (.scr.sql), falls für den Target-Setup benötigt.

Create Synthetic: Naming, Relationship-Quelle und optionales SQL-Schema-Skript

B. Create De-identification (.xml)

1. Klicke Configure model und wähle anschließend im geöffneten Assistenten De-identification model.
2. Prüfe Source-Datenbank und wähle die Target-Datenbank.
3. Optional: PII-Preselect vor dem Erstellen anwenden und Threshold setzen.
4. Zur Namensvergabe wechseln und Artefakt erstellen.

Create De-identification: Source/Target-Einstellungen mit optionalem PII-Preselect

C. Create ML training model (.xml)

1. Klicke Configure model und wähle anschließend im geöffneten Assistenten ML training model.
2. Prüfe die Source.
3. Vergib Dateinamen und aktiviere optional schemaqualifizierte Namen.
4. Erstelle das Modell-Artefakt.
5. Führe das erzeugte DSL-Modell aus, damit <ml-train> die ML-Generator-Versionen trainiert und persistiert.

Create ML: Namensvergabe und Generierungsoptionen

Nächster Schritt: nach abgeschlossenem Trainingslauf Generator-Versionen und Qualitätsmetriken in der ML-Generator-Ansicht validieren und freigegebene Modelle anschließend mit source="ml://..." wiederverwenden, wie in ML-Generator aus Datenbank-Metadaten beschrieben.

6. Erstelle Weighting-Artefakte im Weighting-Tab

Wechsle zu Database workbench → Weighting:

1. Wähle genau eine Tabelle und eine oder mehrere Spalten im Metadaten-Scope.
2. Prüfe die gewählten Spalten im Weighting-Tab.
3. Klicke Create weighting.
4. Konfiguriere Sampling:
5. sample_size (Standard 1000)
6. sampling_mode (deterministic oder fresh)
7. include_nulls (true / false)
8. Dateinamen setzen und erstellen.

Ausgabe:

• Eine ausgewählte Spalte → .wgt.csv
• Mehrere ausgewählte Spalten → .wgt.ent.csv

Weighting-Tab: ausgewählter Scope und Create-Aktion

Weighting-Wizard: Sampling-Optionen und Namensvergabe

7. Schema Drift im Tab Schema history prüfen

Nutze Database workbench → Schema history, um erkannte Metadatenänderungen zwischen Snapshots zu prüfen, bevor du Artefakte neu erzeugst.

Schema history: Drift-Erkennung und Snapshot-Vergleich

8. Erstellte Artefakte prüfen und verfeinern

• Modell-Flows erzeugen neue DATAMIMIC-Modell-Dateien (.xml).
• Weighting-Flow erzeugt Weighting-Dateien (.wgt.csv oder .wgt.ent.csv).
• Die weitere Verfeinerung erfolgt im Editor (Schlüssel, Generatoren, Skripte, Konverter, Targets).

Prüfe das genaue erzeugte Mapping gegen das EE-eigene reference-Element. Dieses Platform-Tutorial beschreibt die Metadaten-Auswahl, nicht die DSL-Form.

9. Realistische Erwartungen an Empfehlungen setzen

• Empfehlungen aus der Datenbankansicht sind unterstützend und werden kontinuierlich verbessert.
• Für komplexe Schemata und produktive Anonymisierungsszenarien ist manuelle Nachbearbeitung der erzeugten Modelle zu erwarten.
• Nutze projektspezifische Review-Kriterien, um PII-Entscheidungen, Relationship-Handling und fachliche Randbedingungen vor dem Rollout zu validieren.
• Plane iterative Härtungszyklen ein, wenn sich Metadaten oder Quellschema ändern.

Die vollständige <reference>-Semantik und Mapping-Priorität beschreibt das EE-eigene reference-Element.