Data Engineer Databricks / Lakehouse (w/m/d)

Unser Kunde ist ein führender Telekommunikationsanbieter in Deutschland, der mit über 3.100 Mitarbeitenden und nahezu 16 Millionen Kundenverträgen eine bedeutende Marktstellung einnimmt. In dieser spannenden Rolle als Data Engineer gestalten Sie aktiv die Transformation der Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Sie sind verantwortlich für die Entwicklung und den Betrieb moderner ETL-/ELT-Pipelines, die auf Python basieren, insbesondere mit PySpark. Ihre Aufgaben umfassen die Ablösung bestehender Data-Warehouse- und ETL-Strukturen durch innovative Lakehouse-Architekturen sowie den Aufbau differenzierter Pipeline-Logiken, um Stabilität und Auditierbarkeit sicherzustellen. Sie implementieren Datenqualitätsprüfungen und optimieren Datenpipelines hinsichtlich Performance und Kosten. In enger Zusammenarbeit mit BI-, Analytics- und Entwicklungsteams tragen Sie zur Schaffung einer datengestützten Entscheidungsfindung und innovativer AI-Use-Cases bei. Zudem erstellen und pflegen Sie technische Dokumentationen, um Nachvollziehbarkeit und Governance zu gewährleisten. Das Arbeitsumfeld ist geprägt von einem starken Teamgeist und einem kreativen Austausch von Ideen, was Ihnen zahlreiche Entwicklungsmöglichkeiten eröffnet.

Der ideale Kandidat hat ein abgeschlossenes Studium in Informatik, Data Engineering, Wirtschaftsinformatik oder einem vergleichbaren Bereich. Sie bringen mehrjährige Erfahrung im Data Engineering mit, idealerweise zwischen 3 und 6 Jahren. Sehr gute Kenntnisse in Python, insbesondere mit PySpark, sind unerlässlich, ebenso wie fundierte Erfahrungen mit Apache Spark und Databricks. Ein starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung ist erforderlich. Zudem sollten Sie Erfahrung mit Microsoft SQL Server und sehr gute SQL-Kenntnisse mitbringen. Eine analytische, strukturierte und lösungsorientierte Arbeitsweise wird vorausgesetzt. Kenntnisse in Orchestrierungstools wie Airflow und ein Verständnis von Data Governance sowie Metadatenmanagement runden Ihr Profil ab. Persönliche Eigenschaften wie Teamfähigkeit, Kommunikationsstärke und analytisches Denken sind für diese Position ebenfalls von großer Bedeutung.