Data Engineer (KI-Disposition, Realtime- & Streaming-Pipelines, Big Data) (m/w/d)

None  •  IT & Software  •  Frankfurt am Main, Germany

<div class="show-more-less-html__markup show-more-less-html__markup--clamp-after-5 relative overflow-hidden"> Das Projekt im Bereich „KI in der Disposition" verantwortet die Entwicklung eines KI-basierten Tools. Die IT-Anwendung analysiert auf Basis von unterschiedlichen Echtzeitdaten den aktuellen Betrieb im Verkehrsnetz, erstellt Vorschläge zur Optimierung und unterstützt das Dispositions-Personal datenbasiert in der täglichen Arbeit, um Verspätungen zu minimieren und den Verkehrsfluss zu verbessern. Darüber hinaus hilft das System durch die Darstellung des simulierten Verkehrs für die nächsten 120 Minuten bei der Evaluation verschiedener Entscheidungsszenarien.<br/><br/>Aktuell wird die Anwendung bereits in mehreren städtischen Regionen getestet. Eine Skalierung auf weitere Regionen ist in Planung, um die Effizienzsteigerungen flächendeckend nutzen zu können.<br/><br/><strong> Projektbeschreibung <br/><br/></strong><strong>Aufgaben Und Tätigkeiten Des Data Engineers Umfassen<br/><br/></strong><ul><li>Konzeption von Datenpipelines zur Datenaufnahme und -verarbeitung im Rahmen projektbezogener Leistungen</li><li>Architektonische Konzeption von Datenbanken, Data-Mesh-Systemen und Data Warehouses</li><li>Konzeption und Spezifikation fachlicher und technischer Datenmodellen für die Speicherung von Daten</li><li>Konzeption von Integrationslösungen aus verschiedenen Datenquellen (u.a. Realtime, Streaming, Big Data)</li><li>Beratung bei der Ausarbeitung von Data Governance und -Sicherheitsrichtlinien</li><li>Analyse bestehender Datenbanken und Datenverarbeitungsprozesse</li><li>Konzeption von Lösungen zur Skalierung von Dateninfrastrukturen unter Berücksichtigung des Operating Models (u.a. DevOps)</li><li>Beratung bei der Definition und Implementierung technischer Datenqualitätsregeln und Validierungsmechanismen in Datenpipelines</li><li>Umsetzung von fachlichen Datenqualitätsregeln und Validierungsmechanismen in Datenpipelines</li><li>Konzeption von Testdesigns, Testautomatisierungen und Testfällen für Datenprozesse</li><li>Durchführung von Deployments und Versionskontrolle in datenverarbeitenden Umgebungen (z.B. CI/CD für Data Pipelines)</li><li>Erstellung und Pflege technischer Dokumentationen für Datenprozesse und Datenflüsse <br/><br/></li></ul><strong>Skills<br/><br/></strong><ul><li>Muss-Kriterien:</li><li>Erfahrung in der Verwaltung von Kubernetes Clustern - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre</li><li>Erfahrung mit AWS Cloud/AWS Services - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre</li><li>Praktische Erfahrung mit REST-API-basierten Schnittstellen - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre</li><li>Praktische Erfahrung mit SQL - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre</li><li>Umfangreiche Erfahrung in der Python Programmierung - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre</li><li>Soll-Kriterien:</li><li>Erfahrung innerhalb des Sektors Transport und Logistik - Nachweis durch: Anzahl Referenzen - Anzahl/Nachweis: 1 - Gewichtung: 30%</li><li>Erfahrung mit Docker - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Grafana - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Kafka - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Kinesis - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Polars - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre - Gewichtung: 10%</li><li>Erfahrung mit Prometheus - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre - Gewichtung: 10%</li><li>Open Telemetry - Nachweis durch: Erfahrungslevel in Jahren - Anzahl/Nachweis: ab 3 Jahre - Gewichtung: 10%</li></ul> </div>

Randstad Deutschland

Weitere Jobs dieses Unternehmens
Job Overview
  • Datum der Veröffentlichung

    Jun 06, 2026

  • Kategorie

    IT & Software

  • Job Type

  • Standort

    Frankfurt am Main, Germany

  • Arbeitgeber

    Randstad Deutschland

  • Source

    LinkedIn