Abschlussbericht
FAHRZEUGKAMERAS
Innenkamera Fahrzeug
Advanced Occupant Monitoring System (AOMS)
Verarbeitungskette
Sensorpositions-unabhängige Aktivitätserkennung
- Aufbauend auf Robot Operating System 2 (ROS2)
- Module kommunizieren über Netzwerk
- Webbasierte Zustandvisualisierung
- Modularisierte Umsetzung bereits vieler User-Cases
- Umsetzung von Handgesten für INITIATIVE
- Videobasierte Verfahren generalisieren schlecht auf unbekannte Perspektiven
- Hypothese: Modulare 3D basierte Verarbeitungsketten generalisieren gut
- Test auf: Drive & Act
Weboberfläche des Advanced Ocupant Monitoring Systems
Sensorpositionierung Innenspiegel (IS), Beifahrer A-Säule (KIR)
Handgestenerkennung
- Neue Module im AOMS
- Handskeletterkennung
- Handgestenerkennung durch leichtgewichtiges Fully Connected Network
- Training mit wenigen Trainingsbeispielen möglich
- Erfasste Gesten: Hand heben, flache Hand, Zeigegesten, OK
Flache Hand
Zeigegesten
Hand heben
OK
Außenkamera Fahrzeug
VRU-Detektions und Intentionsschätzung
Verarbeitungskette des Fahrzeugs
Fußgänger Gestenerkennung
- Aufbauend auf Robot Operating System 2 (ROS2)
- Module kommunizieren über Netzwerk
- Webbasierte Zustandvisualisierung
- Open-set Klassifikation
- 24 verschiedene Gesten
- Training auf NTU-RGB+D (Labordaten)
- Gestenerkennung basierend auf Graph Convolutions (ST-GCN++)
- Genauigkeit: 85,98 % (Körperskelett),
94,96 % (mit Handskelett)
Ansichten
NTU-RGB+D Trainingssample
Fußgänger Kreuzungsverhalten
- Öffentliche Datensätze (JAAD, PIE)
- Multi-stream Ansatz
- Experiment zur Generalisierbarkeit via Bildtransformation mit Generative Adversial Networks (GANs)