Streamlit app
Generate Sources
Generieren Sie automatisch dbt-Sources, Staging-Modelle und Projektkonfiguration aus Snowflake — über eine lokale App mit grafischer Oberfläche.
Ziel
Das generate_sources dbt-Makro funktioniert gut im Terminal, aber diese Streamlit-App macht den Prozess visuell: Sie wählen Datenbank und Schemas über Dropdowns aus, sehen den generierten Code direkt mit Syntaxhervorhebung und schreiben die Dateien mit einem Klick in Ihr dbt-Projekt.
Nützlich beim Onboarding neuer Datenquellen, wenn Sie schnell eine funktionierende Staging-Schicht einrichten möchten, ohne manuell YAML oder SQL zu schreiben.
Funktionen
Snowflake-Verbindung
Speichern Sie Ihre Kontodaten und Ihr Passwort lokal über keyring. Die App merkt sich Ihre vorherigen Einstellungen, sodass Sie sich nicht jedes Mal erneut anmelden müssen.
Datenbank- und Schemaauswahl
Wählen Sie eine Datenbank aus und filtern Sie nach einem oder mehreren Schemas. Die App ruft Tabellen- und Spaltenmetadaten über das Snowflake Information Schema ab.
Generierte Ausgabe
Sehen Sie sich die generierten Dateien pro Tab mit Syntaxhervorhebung an, bevor Sie sie schreiben. Wählen Sie zwischen einer kombinierten sources.yml oder einer separaten Datei pro Schema.
Dateien schreiben
Die App schreibt die generierten Dateien direkt in Ihren dbt-Projektordner unter models/staging/ — einschließlich der korrekten Verzeichnisstruktur.
Generierte Dateien
| Datei | Inhalt |
|---|---|
| sources.yml | Source-Definitionen mit Spaltenmetadaten, pro Schema oder kombiniert. |
| stg_*.sql | Staging-Modelle mit select * from source() pro Tabelle. |
| dbt_project.yml Snippet | Konfigurationsblock für den Modelle-Abschnitt, pro Schema organisiert. |
Verwendung
1. Anforderungen installieren
pip install -r streamlit/generate_sources/requirements.txt
2. App starten
streamlit run streamlit/generate_sources/app.py
3. Mit Snowflake verbinden
Geben Sie Ihre Snowflake-Kontodaten in der Seitenleiste ein. Die App speichert diese lokal über keyring, sodass Sie sie beim nächsten Mal nicht erneut eingeben müssen.
4. Generieren und schreiben
Wählen Sie eine Datenbank und Schemas aus, sehen Sie den generierten Code pro Tab und klicken Sie auf Schreiben. Die Dateien werden direkt im angegebenen dbt-Projektordner erstellt.