Die Luftfahrtindustrie ist ein Paradebeispiel für Big Data: Millionen von Flugzeugpositionen, Flughöhen, Geschwindigkeiten, Fluglinieninformationen und Flughafendaten werden täglich generiert. Die Flightradar24-API ermöglicht den Zugriff auf diese Informationen in Echtzeit und historisch, doch die Verarbeitung von etwa 500.000 Datensätzen pro Fluglinie stellt eine Herausforderung dar – sowohl technisch als auch analytisch. Hier setzt KNIME (Konstanz Information Miner) an, eine Open-Source-Plattform, die durch ihre visuelle Workflow-Oberfläche, Skalierbarkeit und Erweiterungen überzeugt. Dieser Beitrag bietet einen detaillierten Leitfaden zur Nutzung der Flightradar24-API und KNIME, um Flugzeugbewegungen inklusive interaktiver Karten zu visualisieren, und leitet fundierte Erkenntnisse aus den Daten ab.

1. Die Flightradar24-API: Technische Grundlagen

Flightradar24 sammelt weltweite Flugdaten über ein Netzwerk von ADS-B-Empfängern (Automatic Dependent Surveillance-Broadcast) und stellt sie über eine RESTful-API zur Verfügung. Zu den abrufbaren Parametern gehören:

• Flugnummern und Fluglinien (z. B. ICAO-Code „DLH“ für Lufthansa)
• Geografische Positionen (Breiten- und Längengrad)
• Flughöhe (in Fuß)
• Geschwindigkeit (in Knoten)
• Abflug- und Zielflughäfen (IATA/ICAO-Codes)
• Zeitstempel (Unix oder ISO-Format)

Die API ist kostenpflichtig und erfordert einen API-Schlüssel, erhältlich über einen Business- oder Enterprise-Plan. Für dieses Projekt simulieren wir den Abruf von 500.000 Datensätzen für Lufthansa über einen definierten Zeitraum (z. B. Januar bis März 2025).

Technische Voraussetzungen

• API-Zugang: Registrierung unter Flightradar24 Business Services.
• Software: KNIME Analytics Platform, herunterladbar unter KNIME Downloads.
• Hardware: Ein System mit mindestens 16 GB RAM und Multicore-Prozessor; für Big Data optional eine Cloud-Instanz (z. B. AWS EC2 mit Spark-Unterstützung).

2. KNIME: Eine umfassende Plattform für Datenanalyse

KNIME ist ein führendes Open-Source-Tool für Datenverarbeitung, Analyse und Visualisierung, das sich durch seine Modularität und Flexibilität auszeichnet. Es basiert auf einem Workflow-Prinzip, bei dem „Nodes“ spezifische Aufgaben wie Datenimport, Transformation oder Visualisierung übernehmen. Zu den Hauptmerkmalen gehören:

• Visuelle Programmierung: Keine Skriptkenntnisse erforderlich – Workflows werden per Drag-and-Drop erstellt.
• Big-Data-Integration: Unterstützung für Apache Spark, Hadoop und Datenbanken wie PostgreSQL.
• Erweiterbarkeit: Hunderte Nodes, darunter Geospatial Analytics für Kartenvisualisierungen.

Für dieses Projekt nutzen wir KNIME, um API-Daten abzurufen, Millionen Datensätze zu verarbeiten und sowohl statische als auch interaktive Visualisierungen zu erstellen.

Installation und Erweiterungen

• Basisinstallation: KNIME Analytics Platform (Version 5.x empfohlen).
• Zusätzliche Erweiterungen:
  • KNIME Geospatial Analytics für Karten.
  • KNIME Apache Spark für Big Data.

3. Datenabfrage mit KNIME und der Flightradar24-API

Die Flightradar24-API liefert Daten über REST-Endpunkte (hypothetisch /v1/flights). Da die API Paginierung unterstützt, müssen wir mehrere Aufrufe kombinieren, um 500.000 Datensätze zu erreichen.

Workflow für die Datenabfrage

1. API-Zugriff konfigurieren:
   • GET Request Node:
     • URL: https://api.flightradar24.com/v1/flights
     • Parameter: api_key, airline=DLH, limit=10000, start_time=2025-01-01T00:00:00Z, end_time=2025-03-06T23:59:59Z.
   • Authentifizierung: API-Schlüssel als Header (Authorization).
2. Paginierung mit Schleifen:
   • Table Row to Variable Loop Start Node: Erstellt eine Schleife über Seiten (1 bis 50).
   • Loop End Node: Sammelt Ergebnisse.
3. JSON-Verarbeitung:
   • JSON to Table Node: Wandelt JSON in eine Tabelle um.
4. Speicherung:
   • CSV Writer Node: Speichert Daten als lufthansa_flights.csv.

Workflow-Diagramm

[GET Request] → [Table Row to Variable Loop Start] → [JSON to Table] → [Loop End] → [CSV Writer]

Dieser Workflow ruft schrittweise Daten ab und aggregiert sie zu einer Datei mit 500.000 Datensätzen.

4. Datenaufbereitung in KNIME

Die Rohdaten müssen strukturiert und bereinigt werden, bevor sie visualisiert werden können.

Workflow für die Datenaufbereitung

1. Datenimport:
   • CSV Reader Node: Lädt lufthansa_flights.csv.
2. Spaltenauswahl:
   • Column Filter Node: Wählt flight_number, airline, departure_airport, arrival_airport, latitude, longitude, altitude, speed, timestamp.
3. Datenbereinigung:
   • Missing Value Node: Entfernt oder ersetzt fehlende Werte (z. B. mit Mittelwert für altitude).
4. Zeitformatierung:
   • String to Date&Time Node: Konvertiert timestamp in ein Datumsformat (z. B. yyyy-MM-dd HH:mm:ss).

Beispielausgabe

5. Visualisierung mit KNIME

KNIME bietet vielseitige Visualisierungsmöglichkeiten – von statischen Diagrammen bis hin zu interaktiven Karten.

Statische Visualisierung: Flughöhe und Geschwindigkeit

1. Histogramm der Flughöhe:
   • Histogram Node:
     • Eingabe: altitude
     • Bins: 50
     • Farbe: „Skyblue“, Rand: „Black“
     • Titel: „Verteilung der Flughöhe (Lufthansa, 500.000 Flüge)“
   • Ausgabe: Säulendiagramm zur Analyse der Höhenverteilung.
2. Streudiagramm Geschwindigkeit vs. Flughöhe:
   • Scatter Plot Node:
     • X-Achse: speed
     • Y-Achse: altitude
     • Transparenz (Alpha): 0.1
     • Punktgröße: 10
     • Titel: „Geschwindigkeit vs. Flughöhe“
   • Ausgabe: Punktwolke zur Korrelation von Geschwindigkeit und Höhe.

Interaktive Karte mit Geospatial Analytics

Für Karten nutzen wir die KNIME Geospatial Analytics Extension:

1. Heatmap der Flugzeugpositionen:
   • Geospatial View Node:
     • Koordinaten: latitude und longitude
     • Visualisierungstyp: Heatmap
     • Radius: 5
     • Stichprobe: 50.000 Punkte (via Row Sampling Node), um Performance zu gewährleisten.
   • Ergebnis: Dichtekarte mit Hotspots der Flugaktivität.
2. Flugroute darstellen:
   • Row Filter Node: Filtert flight_number = LH123.
   • Sorter Node: Sortiert nach timestamp.
   • OSM Map Node:
     • Linie: Verbindung von latitude und longitude
     • Farbe: Rot, Gewicht: 2.5
   • Ergebnis: Flugroute als Linie auf OpenStreetMap.
3. Export:
   • Data to Report Node: Speichert die Karte als lufthansa_flight_map.html.

Workflow-Diagramm

[CSV Reader] → [Column Filter] → [Missing Value] → [String to Date&Time] → 
[Geospatial View] → [Row Filter] → [Sorter] → [OSM Map] → [Data to Report]

6. Skalierung für 500.000 Datensätze

Die Verarbeitung großer Datenmengen erfordert Optimierungen:

• Big-Data-Integration:
  • Spark Executor Node: Lädt Daten in Apache Spark für parallele Verarbeitung.
  • Beispiel: Mittelwert der Flughöhe pro Fluglinie mit Spark SQL.
• Datenbankanbindung:
  • Database Writer Node: Speichert Daten in PostgreSQL.
  • Database Connector Node: Ermöglicht effiziente Abfragen.
• Sampling:
  • Row Sampling Node: Reduziert Daten auf 10 % für Visualisierungen.

Workflow-Beispiel für Big Data

[CSV Reader] → [Database Connector] → [Database Writer] → [Spark Executor] → [Row Sampling] → [Geospatial View]

7. Analytische Erkenntnisse aus den Visualisierungen

Die Visualisierungen liefern tiefgehende Einblicke in die Flugzeugbewegungen:

1. Flughöhenmuster:
   • Das Histogramm zeigt eine Konzentration zwischen 30.000 und 40.000 Fuß, was auf optimierte Langstreckenflughöhen hinweist. Kurzstreckenflüge fallen unter 25.000 Fuß, bedingt durch kürzere Steigphasen.
2. Geschwindigkeitsverteilung:
   • Der Scatter-Plot zeigt Geschwindigkeiten von 400–500 Knoten bei Höhen über 35.000 Fuß, was auf die Nutzung von Jetstreams bei Transatlantikflügen hindeutet.
3. Geografische Hotspots:
   • Die Heatmap markiert Frankfurt (EDDF) und München (EDDM) als primäre Knotenpunkte, was die Hub-Strategie von Lufthansa widerspiegelt. Weitere Aktivität ist über Nordamerika (z. B. KJFK) erkennbar.
4. Zeitliche Analyse:
   • Eine zusätzliche Visualisierung mit dem Time Series Plot Node könnte zeigen, dass Abflugzeiten auf Morgen- (06:00–09:00) und Abendstunden (17:00–20:00) konzentriert sind, was mit Passagierpräferenzen korreliert.
5. Effizienzpotenziale:
   • Flughöhen unterhalb von 30.000 Fuß bei Langstrecken könnten auf Luftraumbeschränkungen oder Wetterumwege hinweisen, was Optimierungen ermöglicht.

8. Fazit und Ausblick

Die Kombination aus der Flightradar24-API und KNIME bietet eine robuste Lösung zur Verarbeitung und Visualisierung von Luftfahrtdaten – selbst bei Datenmengen von 500.000 Datensätzen pro Fluglinie. KNIME’s visuelle Workflows ermöglichen eine intuitive Handhabung, während die Integration von Big-Data-Tools und Geospatial Analytics komplexe Analysen zugänglich macht. Die erstellten Visualisierungen – Histogramme, Streudiagramme und interaktive Karten – liefern nicht nur ästhetische Ergebnisse, sondern auch operative Erkenntnisse für Fluggesellschaften, Analysten und Luftfahrtenthusiasten.

Für zukünftige Analysen könnten zusätzliche Datenquellen integriert werden, etwa Wetterdaten (via OpenWeatherMap API Node) oder Flugzeugtypen, um Effizienzfaktoren weiter zu untersuchen. KNIME’s Flexibilität macht es zur idealen Plattform für derartige Erweiterungen, und die stetig wachsende Community sorgt für kontinuierliche Verbesserungen.