Data Engineer (m/w/d) Azure Databricks

Unser Kunde ist ein traditionsreiches Familienunternehmen, das seit über 150 Jahren innovative Geschäftsmodelle in den Bereichen Logistik, Digital, Real Estate und Ventures vorantreibt. Mit mehr als 22.000 Mitarbeitenden an rund 136 Standorten in 14 Ländern zeichnet sich das Unternehmen durch eine starke Unternehmenskultur und einen einzigartigen Erfolgsspirit aus. Der Arbeitgeber sucht für sein Team im Bereich Data & AI am Standort Düsseldorf zum nächstmöglichen Zeitpunkt Unterstützung als Data Engineer (m/w/d) mit dem Schwerpunkt Azure Databricks. In dieser Rolle sind Sie verantwortlich für die Entwicklung, den Betrieb und die Optimierung moderner Data Pipelines unter Verwendung von Azure Databricks und Lakeflow. Sie implementieren automatisierte Deployment-Prozesse auf Basis von Declarative Automation Bundles (DAB) und bauen Test- sowie CI/CD-Pipelines auf. Darüber hinaus setzen Sie eine ganzheitliche Medaillon-Architektur in Databricks um und stellen die Datenqualität, Governance und Compliance in enger Zusammenarbeit mit dem Data Governance Team sicher. Ihre aktive Mitwirkung an der Weiterentwicklung der Data-Plattform-Strategie ist ebenso gefragt wie die enge Kooperation mit Data Scientists, Analysts, Product Ownern und Fachbereichen zur Umsetzung datengetriebener Anwendungsfälle. Zudem teilen Sie Ihr Wissen im Team durch Code Reviews, interne Schulungen und Mentoring.

Der ideale Kandidat hat ein abgeschlossenes Studium der (Wirtschafts-)Informatik, Mathematik, Statistik oder eine vergleichbare Qualifikation. Zudem bringt er mindestens 3 Jahre Berufserfahrung im Data Engineering mit, vorzugsweise mit einem Fokus auf Azure Databricks. Fundierte Kenntnisse in Deployment-Prozessen, insbesondere mit Azure DevOps und Git, sind erforderlich. Sehr gute Kenntnisse in Apache Spark und Python, insbesondere im Umgang mit Databricks Notebooks und der Datenverarbeitung, sind ebenfalls notwendig. Erfahrung in der Datenmodellierung sowie mit ETL-/ELT-Prozessen und der Performance-Optimierung verteilter Datenpipelines sind von Vorteil. Persönlich überzeugen Sie durch analytisches Denkvermögen, eine strukturierte Arbeitsweise und starke Kommunikationsfähigkeiten, auch im Austausch mit nicht-technischen Stakeholdern. Idealerweise haben Sie erste Erfahrungen mit AI-assisted Development, Skills, Agents oder MCP-basierten Entwicklungsumgebungen gesammelt. Fließende Deutsch- und Englischkenntnisse in Wort und Schrift runden Ihr Profil ab.