Workshops: Agentic Coding nach Tech-Stack
Data Engineering mit KI-Agenten: dbt, Airflow & Spark Workshop
Datenpipelines sind Code, und Coding-Agenten schreiben dbt-Modelle, Airflow-DAGs und PySpark-Jobs so schnell wie Anwendungscode. Ein Pipeline-Fehler zeigt sich aber selten als roter Build, sondern Wochen später als falsche Zahl im Dashboard. Dieser Workshop für Fortgeschrittene zeigt Data-Engineering-Teams, wie sie Agenten mit Tests, Lineage und Kostengrenzen einsetzen, die Probleme abfangen, bevor sie bei den Datenkonsumenten ankommen.
Für wen ist der Workshop?
- Data und Analytics Engineers, die mit dbt arbeiten
- Plattformteams, die Airflow, Dagster oder ähnliche Orchestratoren betreiben
- Engineers, die Spark- und PySpark-Jobs auf Databricks oder vergleichbaren Plattformen bauen
- Datenarchitekten mit Verantwortung für Modellierungsstandards und Data Contracts
- Teams auf Snowflake, BigQuery, Databricks oder PostgreSQL
Das nehmen Sie mit
- Sie strukturieren dbt-Projekte so, dass Agenten Ihre Schichten, Benennung und Materialisierung einhalten.
- Sie lassen Agenten zu jeder Modelländerung passende generische und eigene Datentests ergänzen.
- Sie nutzen Lineage und zustandsbasierte Selektion, damit der Agent nur baut und testet, was eine Änderung betrifft.
- Sie schreiben und refaktorisieren Airflow-DAGs und PySpark-Jobs mit dem Agenten, inklusive Idempotenz und Retries.
- Sie setzen Grenzen für Warehouse-Kosten und Datenzugriff von Agenten auf echten Plattformen.
Agenda
Modul 1
Agenten im Data Stack
- Claude Code, OpenAI Codex, Cursor und GitHub Copilot im dbt- und Python-Repository
- Kontext: Sources, Modellschichten, Makros und Projektkonventionen
- Zugriff: Entwicklungsschemas, Stichproben, keine Schreibrechte in Produktion
Modul 2
dbt mit Agenten
- Übung: neue Staging- und Mart-Modelle aus einer Source-Definition
- Inkrementelle Modelle und Snapshots: wo Agenten danebenliegen
- Dokumentation und Spaltenbeschreibungen direkt aus dem Code
Modul 3
Datenqualität
- Generische Tests, Unit-Tests und eigene Prüfungen mit dem Agenten
- Data Contracts und Erkennung von Schemaänderungen
- Testfehler und Abfrageergebnisse als Feedback für den Agenten
Modul 4
Orchestrierung und Verarbeitung
- Airflow-DAGs: idempotente Tasks, Retries, Backfills
- PySpark-Transformationen und Performance-Fallen wie Skew und Shuffles
- Lokales Testen mit Beispieldaten
Modul 5
CI und Kostengrenzen
- Slim CI mit Zustandsvergleich und Deferral
- Abfragebudgets, Timeouts und Warehouse-Größen für Agenten
- Review-Checkliste für Pipeline-Pull-Requests
Warum Pipelines ein anderes Sicherheitsnetz brauchen
In Anwendungscode bricht ein Fehler meist einen Test oder den Build. Im Data Engineering erzeugt ein Join, der Zeilen verdoppelt, oder ein Filter in der falschen Schicht plausible, aber falsche Zahlen. Agenten machen solche Fehler nicht häufiger als Menschen, aber sie liefern Änderungen schneller, also muss das Sicherheitsnetz mitwachsen.
Wir kombinieren deshalb drei Arten von Feedback: Datentests an jedem Modell, den Vergleich von Ergebnissen vor und nach einer Änderung und Lineage, um zu verstehen, welche nachgelagerten Berichte betroffen sind.
Datenschutz und Plattformzugriff
Agenten gehören in Entwicklungsschemas mit Stichproben oder maskierten Daten. Personenbezogene Daten aus Produktionstabellen haben in Prompts und Logs nichts verloren, das verlangen DSGVO und Ihre internen Datenklassen. Wir zeigen, wie Service-Accounts, Rollen im Warehouse und Abfragelimits Agenten in klaren Grenzen halten.
- Getrennte Entwicklungsziele pro Person und Agent
- Maskierte oder synthetische Stichproben für die Exploration
- Kostenlimits und Timeouts für Agentenabfragen
- Produktionsläufe ausschließlich über den Orchestrator
Abgrenzung zum Analytics-Workshop
Unser Workshop zu Data Science und Analytics dreht sich um Exploration, Notebooks und Auswertungen. Hier geht es um produktive Pipelines: Modellierungsstandards, Tests, Orchestrierung und Betrieb. Wir arbeiten mit Ihrem Repository oder einem Referenzprojekt, remote oder vor Ort, auf Deutsch oder Englisch, mit neooutput AI Code Engineers.
Häufige Fragen
Funktioniert das mit dbt Core und der verwalteten dbt-Plattform?
Ja. Agenten arbeiten in beiden Fällen mit den Projektdateien. Befehle und CI-Anbindung passen wir an Ihr Setup an; dbt Labs bietet zudem einen MCP-Server an, den wir einbinden, wo er passt.
Darf der Agent unser Warehouse abfragen?
Mit eigener Rolle, Entwicklungsdaten und Kostenlimits ja, und dann ist er deutlich nützlicher. Ohne diese Leitplanken empfehlen wir, nur mit lokalen Stichproben und kompiliertem SQL zu arbeiten.
Welche Orchestratoren und Plattformen decken Sie ab?
Airflow ist unser Standardbeispiel, Dagster und Prefect funktionieren ähnlich. Für die Verarbeitung behandeln wir Spark und PySpark, als Warehouse etwa Snowflake, BigQuery, Databricks oder PostgreSQL. Wir richten uns nach Ihrem Stack.
Workshop
Kontakt aufnehmen
Sollen Agenten Pipelines bauen, deren Zahlen Ihr Unternehmen vertrauen kann?
Wählen Sie die ungefähre Teilnehmerzahl und passende Termine – wir melden uns innerhalb von 24 Stunden mit einem Vorschlag für Inhalte, Format und Ablauf.
Lieber erst sprechen?
15 Minuten, kostenlos und unverbindlich – mit unseren AI Trainern und AI Code Engineers.
Kostenloses Gespräch buchen (öffnet in neuem Tab) +49 761 519 751 50 (rund um die Uhr)Schulung/Workshop anfragen
Workshop: Data Engineering mit KI-Agenten: dbt, Airflow & Spark Workshop · 1 Tag
Weitere Workshops
- Workshops: Agentic Coding nach Tech-StackLLM-Features entwickeln mit Coding-Agenten: 2-Tage-Schulung
- Workshops: Agentic Coding nach Tech-StackEmbedded C/C++ & Firmware mit KI-Agenten: Workshop
- Workshops: Agentic Coding nach Tech-StackCOBOL & Mainframe mit KI-Agenten modernisieren: Workshop
- Workshops: Agentic Coding nach Tech-StackWordPress-Plugins & Themes mit KI-Agenten entwickeln: Workshop
- Workshops: Agentic Coding nach Tech-StackShopify-Themes und Apps mit KI-Agenten entwickeln: Workshop
- Workshops: KI-Automatisierung & AgentenWorkshop: KI-gestützte Markt- & Wettbewerbsrecherche
