Data Engineer (AWS, Kubernetes, Python, Realtime/Streaming) (m/w/d)
<div class="show-more-less-html__markup show-more-less-html__markup--clamp-after-5 relative overflow-hidden"> Das Projekt im Bereich „KI in der Disposition" verantwortet die Entwicklung eines KI-basierten Tools. Die IT-Anwendung analysiert auf Basis von unterschiedlichen Echtzeitdaten den aktuellen Betrieb im Verkehrsnetz, erstellt Vorschläge zur Optimierung und unterstützt das Dispositions-Personal datenbasiert in der täglichen Arbeit, um Verspätungen zu minimieren und den Verkehrsfluss zu verbessern. Darüber hinaus hilft das System durch die Darstellung des simulierten Verkehrs für die nächsten 120 Minuten bei der Evaluation verschiedener Entscheidungsszenarien.<br/><br/>Aktuell wird die Anwendung bereits in mehreren städtischen Regionen getestet. Eine Skalierung auf weitere Regionen ist in Planung, um die Effizienzsteigerungen flächendeckend nutzen zu können.<br/><br/><strong> Projektbeschreibung <br/><br/></strong><strong>Aufgaben Und Tätigkeiten Des Data Engineers Umfassen<br/><br/></strong><ul><li>Konzeption von Datenpipelines zur Datenaufnahme und -verarbeitung im Rahmen projektbezogener Leistungen</li><li>Architektonische Konzeption von Datenbanken, Data-Mesh-Systemen und Data Warehouses</li><li>Konzeption und Spezifikation fachlicher und technischer Datenmodellen für die Speicherung von Daten</li><li>Konzeption von Integrationslösungen aus verschiedenen Datenquellen (u.a. Realtime, Streaming, Big Data)</li><li>Beratung bei der Ausarbeitung von Data Governance und -Sicherheitsrichtlinien</li><li>Analyse bestehender Datenbanken und Datenverarbeitungsprozesse</li><li>Konzeption von Lösungen zur Skalierung von Dateninfrastrukturen unter Berücksichtigung des Operating Models (u.a. DevOps)</li><li>Beratung bei der Definition und Implementierung technischer Datenqualitätsregeln und Validierungsmechanismen in Datenpipelines</li><li>Umsetzung von fachlichen Datenqualitätsregeln und Validierungsmechanismen in Datenpipelines</li><li>Konzeption von Testdesigns, Testautomatisierungen und Testfällen für Datenprozesse</li><li>Durchführung von Deployments und Versionskontrolle in datenverarbeitenden Umgebungen (z.B. CI/CD für Data Pipelines)</li><li>Erstellung und Pflege technischer Dokumentationen für Datenprozesse und Datenflüsse<br/><br/></li></ul><strong>Skills<br/><br/></strong><ul><li>Muss-Kriterien:</li><li>Deployment komplexer Services auf Kubernetes-Clustern in AWS - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre</li><li>Erfahrung mit AWS Cloud/AWS Services - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre</li><li>Praktische Erfahrung mit REST-API-basierten Schnittstellen - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre</li><li>Praktische Erfahrung mit SQL - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre</li><li>Umfangreiche Erfahrung in der Python-Programmierung - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre</li><li>Soll-Kriterien:</li><li>Erfahrung innerhalb des Sektors Transport und Logistik - Nachweis durch: Anzahl Referenzen - Anzahl/Nachweis: 1 - Gewichtung: 30%</li><li>Erfahrung mit Docker - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Grafana - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Kafka - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Kinesis - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Open Telemetry - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Polars - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Prometheus - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 5 Jahre - Gewichtung: 10%</li></ul> </div>