Confluent erweitert Tableflow für Echtzeit-Analysen und KI in mehreren Clouds
Confluent hat die allgemeine Verfügbarkeit (GA) von Integrationen mit Delta Lake und Databricks Unity Catalog in Confluent Tableflow sowie Early Access (EA) für Microsoft OneLake angekündigt. Diese Erweiterungen machen Tableflow zu einer vollständig verwalteten, end-to-end-Lösung, die operative, analytische und KI-Systeme in hybriden und mehrregionalem Cloud-Umfeld verbindet. Seit ihrer Einführung transformiert Tableflow die Bereitstellung von Streaming-Daten für Analysen, indem es brüchige ETL-Jobs und manuelle Lakehouse-Integrationen überflüssig macht. Jetzt können Apache Kafka-Themen direkt in Delta Lake- oder Apache Iceberg-Tabellen überführt werden, unterstützt durch automatisierte Qualitätskontrollen, Katalog-Synchronisation und unternehmensstabile Sicherheit. Die neue Architektur ermöglicht es Unternehmen, Echtzeitdaten nahtlos in Analysen und KI-Anwendungen einzubinden. Die GA-Release bringt mehrere enterprise-Grade-Funktionen mit sich: Delta Lake-Unterstützung (GA) wandelt Kafka-Themen direkt in Delta Lake-Tabellen in Cloud-Objektspeichern wie Amazon S3 oder Azure Data Lake Storage um. Gleichzeitige Unterstützung für Delta Lake und Iceberg pro Thema erlaubt flexible, formatübergreifende Analysen. Unity Catalog (GA) synchronisiert Metadaten, Schemata und Zugriffsrichtlinien automatisch zwischen Tableflow und Databricks Unity Catalog, was zentrale Governance und konsistente Datenverwaltung ermöglicht. Ein Dead Letter Queue fängt fehlerhafte Datensätze ab, ohne den Datenfluss zu unterbrechen, und sorgt so für Transparenz, schnelle Wiederherstellung und kontinuierliche Datenqualität. Die Upsert-Funktion aktualisiert und fügt Datensätze automatisch hinzu, wodurch Tabellen konsistent, dedupliziert und stets analysenfertig bleiben – ohne manuelle Wartung. Mit „Bring Your Own Key“ können Kunden eigene Verschlüsselungsschlüssel für Daten at rest nutzen, was besonders für regulierte Branchen wie Finanzdienstleistungen, Gesundheitswesen und öffentliche Verwaltung entscheidend ist. Zusätzlich zur bestehenden Unterstützung für Schema-Evolution, Compaction und Integrationen mit Apache Iceberg, AWS Glue und Snowflake Open Catalog, bietet Tableflow nun eine umfassende Grundlage für Teams, die Streaming-Daten sofort analysen- und KI-fähig machen wollen. David Kinney, Principal Solutions Architect bei Attune, betont: „Mit nur wenigen Klicks können wir wichtige Kafka-Themen in vertrauenswürdige, analysenfertige Tabellen materialisieren – das ermöglicht uns präzise Einblicke in Kundeninteraktionen und Geräteverhalten, die nun ML-Modelle und generative KI-Anwendungen speisen.“ Die Early Access-Verfügbarkeit auf Microsoft OneLake erweitert die Multicloud-Präsenz von Tableflow, insbesondere für Nutzer von Azure Databricks und Microsoft Fabric. Kunden können nun Kafka-Ereignisse direkt in OneLake als Delta Lake- oder Iceberg-Tabellen streamen und über Microsoft Fabric oder Drittanbieter-Engines per OneLake Table APIs sofort abfragen. Dipti Borkar, VP und GM von Microsoft OneLake, unterstreicht: „Der Zugang zu Echtzeitdaten ist entscheidend für schnelle und genaue Entscheidungen. Mit Tableflow auf Azure können Kunden Kafka-Events nahtlos in OneLake überführen und sofort analysieren – das reduziert Komplexität und beschleunigt die Entscheidungsfindung.“ Die Erweiterung stärkt zudem die Partnerschaften mit Microsoft und Databricks und unterstreicht Confluent’s Ziel, als intelligente Dateninfrastruktur für Daten in Bewegung zu fungieren. Tableflow wird damit zu einem zentralen Baustein für moderne, reaktive Datenarchitekturen, die Echtzeit-Analysen, KI und Governance vereint. Industrieexperten sehen in der Erweiterung eine Antwort auf die wachsende Nachfrage nach agilen, skalierbaren und sichereren Datenpipelines. Confluent positioniert sich damit klar als führender Anbieter für Datenströmung, besonders in komplexen Multicloud-Umgebungen. Die Integration mit Databricks und Microsoft ist strategisch bedeutsam, da sie die Brücke zwischen Echtzeit-Streaming und Enterprise-Lakehouses schließt – eine Schlüsselkompetenz für moderne Datenplattformen.
