Data Engineer
<div class="show-more-less-html__markup show-more-less-html__markup--clamp-after-5 relative overflow-hidden"> <p>Wir sind ein spezialisiertes Beratungsunternehmen mit klarem Fokus auf die Databricks Lakehouse Plattform. Aufgrund der steigenden Nachfrage nach modernen Daten- und KI-Lösungen erweitern wir unsere Databricks Kompetenz und suchen erfahrene Experten, die anspruchsvolle Datenplattformen für unsere Kunden konzipieren, entwickeln und betreiben.</p><p>Bei uns arbeiten Sie in einem hochqualifizierten Team, gestalten technische Entscheidungen aktiv mit und unterstützen Unternehmen bei der Modernisierung ihrer Datenlandschaften.</p><p><br/></p><p><br/>Ihre Aufgabe</p><ul><li>nKonzeption, Entwicklung und Betrieb produktionsreifer Databricks Lakehouse Lösunge</li><li>nEntwicklung von Structured Streaming Pipelines mit Python und PySpar</li><li>kVerantwortung für die Weiterentwicklung von Unity Catalog Governance zur Sicherstellung sicherer, auffindbarer und gut verwalteter Datenbeständ</li><li>eEntwicklung und Wartung ereignisgesteuerter Datenpipelines in enger Zusammenarbeit mit Backend Engineering Team</li><li>sImplementierung und Betreuung von CI/CD Pipelines in Azure DevOps für automatisierte und zuverlässige Databricks Deployment</li><li>sErstellung hochwertiger, analysefähiger Datensätze zur Generierung skalierbarer Business Insight</li><li>sKontinuierliche Optimierung von Performance, Stabilität, Automatisierung, Monitoring und Observability der Databricks Plattfor</li><li>mMitarbeit an Architekturentscheidungen und technischen Standard</li><li>sBetrieb und Optimierung geschäftskritischer Databricks Lösungen in Produktionsumgebunge</li></ul><p><br/></p><p>n<br/>Ihr Prof</p><ul><li>ilFundierte praktische Erfahrung in der Konfiguration und Verwaltung von Databricks Umgebungen, einschließlich Cluster Management, Dependency Management und Paketinstallati</li><li>onUmfangreiche Erfahrung mit Azure Databricks in produktiven Enterprise Umgebung</li><li>enNachweisbare Erfahrung in der Entwicklung von Spark und Databricks Pipelines mit Python und PySpa</li><li>rkErfahrung in der End to End Implementierung von Databricks Lösung</li><li>enFähigkeit, Architektur und Designentscheidungen innerhalb von Databricks Plattformen zu treff</li><li>enTiefgehendes Verständnis von Spark Internals, Performance Optimierung und Cluster Konfigurati</li><li>onErfahrung im Betrieb geschäftskritischer Databricks Lösung</li><li>enKenntnisse in Azure DevOps und modernen CI/CD Prozess</li><li>enSehr gute Kommunikations und Beratungsfähigkeit</li></ul><p><br/></p>en </div>