Databricks KI Tools: Lakehouse, AI Assistant und GenAI-Entwicklung im Überblick

Die Seite der Databricks Inc. mit Sitz an der 160 Spear Street in San Francisco listet eine breite Palette an Produkten – von klassischer Datenverarbeitung bis zu agentischer KI. Das Unternehmen positioniert seine Data + AI Platform als zentrale Anlaufstelle für Firmen, die Datenanalyse, Machine Learning und generative KI in einer Architektur bündeln wollen. Dieser Beitrag betrachtet die KI-Bausteine des Portfolios und ordnet sie aus Prompt-Engineering-Sicht ein.

Überblick über die Plattform

Auf der Seite heißt es, die Databricks Data + AI Platform sei eine „unified platform for data, analytics and AI“. Dahinter steckt das Lakehouse-Konzept: Data Lake und Data Warehouse verschmelzen zu einem offenen Format (unter anderem Apache Iceberg), das unstrukturierte Rohdaten und strukturierte Tabellen gleichermaßen verarbeitet. Für Prompt-Engineering-Experten ist das relevant, weil große Sprachmodelle (LLMs) auf dieser Basis mit unternehmenseigenen Daten gefüttert werden – etwa über Retrieval-Augmented Generation (RAG).

Im Produktmenü tauchen mehrere KI-relevante Bereiche auf:

• AI Assistant
• Application Development
• Artificial Intelligence (ML und GenAI)
• Customer Data Platform (Agentic CDP)
• Governance
• Security (Open agentic SIEM)

Prompt-Analyse: Databricks KI Tools im Detail

Der AI Assistant als agentischer Coworker

Rolle: Erfahrene*r Plattform-Nutzer*in, die im Databricks-Workspace eine Datenanalyse durchführt.
Kontext: Verfügbar sind Delta-Tabellen mit Kundendaten, ein Schema-Register und Unity Catalog als Governance-Layer.
Aufgabe: Erstelle eine SQL-Abfrage, die die Top-10-Kundensegmente nach Umsatz der letzten 90 Tage ausgibt, und erkläre das Ergebnis in natürlicher Sprache.
Output-Format: SQL-Block, danach drei Sätze Zusammenfassung in deutscher Sprache.
Constraints: Verwende ausschließlich Spalten aus dem Schema customers_v2; keine personenbezogenen Daten in den Output; respektiere Row-Level-Filter des Aufrufers.

Bestandteile des Prompts

Rolle/Persona: Die Zuschreibung einer fachlichen Identität („Erfahrene*r Plattform-Nutzer*in“) erlaubt dem Modell, Annahmen über Vorwissen und Tonalität zu treffen. In der Praxis führt das zu Antworten, die Fachtermini ohne lange Erklärung verwenden.

Kontext: Die Erwähnung von Delta-Tabellen, Schema-Register und Unity Catalog grenzt den semantischen Raum ein. Der AI Assistant wählt dadurch das passende Vokabular und erzeugt keine halluzinierten Tabellennamen.

Aufgabe: Eine SQL-Anfrage plus Erklärung in natürlicher Sprache verlangt multimodales Arbeiten – syntaktisch korrektes SQL und zusammenfassende Prosa.

Output-Format: „SQL-Block, danach drei Sätze Zusammenfassung“ strukturiert die Antwort deterministisch und spart Tokens für überflüssige Fließtext-Passagen.

Constraints: Die Einschränkung auf eine bestimmte Schemaversion und Row-Level-Filter gehören zum Standardrepertoire in Unternehmensumgebungen.

Application Development und GenAI-Apps

Rolle: Full-Stack-Entwickler*in, die eine interne Webapplikation auf Basis von Databricks App Services baut.
Kontext: Angebunden sind ein Vektorindex mit Dokumentation und ein registrierter LLM-Endpunkt (Mistral-7B-Instruct).
Aufgabe: Generiere eine Python-Funktion, die eine Nutzerfrage entgegennimmt, relevante Dokumente abruft und die Antwort des LLM um die Quellenangaben ergänzt.
Output-Format: Vollständige Funktion mit Docstring, Typ-Annotationen und pytest-Beispiel.
Constraints: Keine externen HTTP-Aufrufe außerhalb des firmeninternen Proxy; Antwortlänge maximal 250 Tokens; alle Antworten müssen cite-Tags enthalten.

Bestandteile

Rolle: Die Persona verankert das Modell auf Code-Qualität und Konventionen eines Entwicklungsteams. „Junior-Entwickler*in“ liefert ausführlicher kommentierten Code, „Senior-Entwickler*in“ kompaktere Lösungen.

Kontext: Vektorindex und registrierter LLM-Endpunkt sorgen dafür, dass das Modell passende SDK-Aufrufe verwendet (etwa databricks.vector_search oder mosaicml.datasets) – keine generischen Platzhalter wie „call your favorite API“.

Aufgabe: „Python-Funktion, die eine Nutzerfrage entgegennimmt“ beschreibt die Signatur explizit. Das Modell baut keine Klasse und kein ganzes Modul.

Output-Format: Docstring, Typ-Annotationen und pytest-Beispiel zwingen das Modell zu wartbarem, dokumentiertem Code.

Constraints: Interner Proxy, Maximallänge und cite-Tags spiegeln Compliance-Anforderungen wider, wie sie in regulierten Branchen (Finanzen, Gesundheit) üblich sind.

Artificial Intelligence – ML und GenAI-Workflows

Rolle: ML-Engineer, der eine Fine-Tuning-Pipeline aufsetzt.
Kontext: GPU-Cluster mit 4×A100 steht über Databricks ML Runtime bereit; Trainingsdaten liegen als Delta-Tabelle mit 1,2 Millionen Zeilen vor.
Aufgabe: Erstelle Schritt für Schritt eine Pipeline, die (1) Daten splittet, (2) ein Basemodell per QLoRA fine-tunt, (3) das Ergebnis im MLflow-Registry registriert.
Output-Format: Markdown-Checkliste mit ausführbarem PySpark- und Python-Code pro Schritt.
Constraints: Trainingsdauer unter 6 Stunden; Reproduzierbarkeit über festen Random-Seed; jede Modellversion erhält automatisch ein Governance-Tag im Unity Catalog.

Bestandteile

Rolle: Die Persona eines ML-Engineers aktiviert Fachvokabular rund um GPU-Cluster, QLoRA und MLflow – Begriffe, die ein allgemeiner „Data-Scientist“-Prompt oft nur oberflächlich behandelt.

Kontext: Hardware-Spezifikationen (4×A100) und Datenvolumen (1,2 Millionen Zeilen) liefern realistische Anhaltspunkte für Batch-Größen und Trainingszeit.

Aufgabe: Drei klar nummerierte Teilaufgaben erzwingen eine geordnete Antwortstruktur.

Output-Format: Markdown-Checkliste mit Codeblöcken vereint Lesbarkeit und Reproduzierbarkeit.

Constraints: Trainingsdauer, Reproduzierbarkeit und Governance-Tagging sind klassische MLOps-Anforderungen. Das Modell liefert Telemetrie- und Registrierungsschritte mit.

Governance und Security im KI-Kontext

Rolle: Compliance-Beauftragte*r, die ein Audit-Dossier vorbereitet.
Kontext: Ein KI-Agent hat in der vergangenen Woche 412 Aktionen ausgeführt, davon 17 mit personenbezogenen Daten.
Aufgabe: Erzeuge einen Bericht, der (1) jede Aktion listet, (2) die zugrunde liegenden Prompts pseudonymisiert zusammenfasst, (3) Verstöße gegen das Löschkonzept hervorhebt.
Output-Format: Tabelle im CSV-Format, gefolgt von einer Management-Summary (maximal 200 Wörter).
Constraints: Keine Klartextnamen; alle Zeitstempel in UTC; Bericht muss mit einem digitalen Signaturhash enden.

Bestandteile

Rolle: Die Compliance-Persona verschiebt die Tonalität Richtung konservativ und förmlich – wichtig für auditfähige Dokumente.

Kontext: Konkrete Aktionszahlen (412 Aktionen, 17 mit PII) verankern das Modell in einem realen Szenario.

Aufgabe: Die dreiteilige Aufgabenstellung entspricht dem typischen Aufbau eines Audit-Dossiers: Rohdaten, Analyse, Bewertung.

Output-Format: CSV plus Management-Summary lässt sich direkt in bestehende Compliance-Prozesse einspeisen.

Constraints: Pseudonymisierung, UTC-Zeitstempel und Signaturhash verhindern, dass das Modell echte Personendaten oder lokale Zeitzonen ausgibt.

Häufig gestellte Fragen

Was ist die Databricks Data + AI Platform?

Die Databricks Data + AI Platform ist eine cloudnative Architektur, die Data Lake und Data Warehouse in einem Lakehouse vereint. Datentechnik, maschinelles Lernen und generative KI laufen auf einer gemeinsamen Governance-Schicht namens Unity Catalog. Daten, Modelle und Anwendungen werden zentral verwaltet – ohne Wechsel zwischen mehreren Speicher- und Compute-Systemen.

Wie unterstützt der AI Assistant von Databricks Prompt-Engineering?

Der AI Assistant arbeitet als agentischer Coworker für geschäftliche Anwender*innen. Er formuliert SQL-Abfragen, generiert Notebook-Code und analysiert Datensätze explorativ. Für Prompt-Engineering-Experten interessant: Der Assistent greift direkt im Workspace auf Schema-Metadaten zu und liefert kontextbezogene Vorschläge, die über das hinausgehen, was ein generisches LLM aus dem reinen Prompt ableiten würde.

Welche Rolle spielt Unity Catalog bei KI-Anwendungen?

Unity Catalog bildet den Governance-Layer der Plattform. Tabellen, Modelle, Features und Notebooks werden mit einheitlichen Berechtigungs- und Audit-Mechanismen verwaltet. Für KI-Workflows bedeutet das: Jedes trainierte Modell, jeder Vektorindex und jeder LLM-Endpunkt wird automatisch versioniert und mit Tags versehen – Voraussetzung für reproduzierbares Prompt-Engineering im Unternehmen.

Was bedeutet „agentische KI“ im Databricks-Kontext?

Auf der Seite tauchen Begriffe wie „Agentic CDP“ und „Open agentic SIEM“ auf. Damit meint Databricks Systeme, die nicht nur auf Anfrage reagieren, sondern eigenständig Aufgaben planen, Tools aufrufen und Ergebnisse validieren. Solche agentischen Systeme lassen sich mit strukturierten Prompts steuern, etwa über Function-Calling oder das ReAct-Framework, das Denken und Handeln explizit trennt.

Welche Programmiersprachen und SDKs sind relevant?

Im Databricks-Ökosystem dominieren PySpark, Python und SQL. Dazu kommen spezialisierte Bibliotheken für Vektorsuche, Feature-Engineering und MLflow-Tracking. Wer Prompts entwickelt, die auf der Plattform laufen sollen, kennt diese SDKs besser – viele Modelle werden über sie angesteuert, nicht über eine direkte HTTP-API zum LLM.

Wie lassen sich RAG-Workflows auf Databricks realisieren?

Typischerweise kombiniert man einen Vektorindex (etwa über Databricks Vector Search), ein registriertes Embedding-Modell und ein LLM in einem Notebook oder einer App. Ein Prompt für den Retrieval-Schritt: „Suche zu folgender Frage die fünf relevantesten Dokumente, gewichte sie nach Aktualität und erzeuge eine Antwort im Stil eines technischen Blogposts.“

Welche Datenschutzaspekte sind bei KI-Workloads zu beachten?

Databricks stellt über Unity Catalog Row-Level- und Column-Level-Filter bereit, mit denen sich der Zugriff auf sensible Felder granular steuern lässt. Diese Einschränkungen gehören als Constraints in den Prompt – sonst gibt das Modell Trainings- oder Inferenzdaten preis, die der Nutzer nicht sehen darf.

Quelle

Basiert auf diesem Artikel.