Abschlussbericht

FAHRZEUGKAMERAS

Innenkamera Fahrzeug

Advanced Occupant Monitoring System (AOMS)
Verarbeitungskette
Sensorpositions-unabhängige Aktivitätserkennung
  • Aufbauend auf Robot Operating System 2 (ROS2)
  • Module kommunizieren über Netzwerk
  • Webbasierte Zustandvisualisierung
  • Modularisierte Umsetzung bereits vieler User-Cases
  • Umsetzung von Handgesten für INITIATIVE
  • Videobasierte Verfahren generalisieren schlecht auf unbekannte Perspektiven
  • Hypothese: Modulare 3D basierte Verarbeitungsketten generalisieren gut
  • Test auf: Drive & Act

Weboberfläche des Advanced Ocupant Monitoring Systems

Sensorpositionierung Innenspiegel (IS), Beifahrer A-Säule (KIR)

Handgestenerkennung
  • Neue Module im AOMS
  • Handskeletterkennung
  • Handgestenerkennung durch leichtgewichtiges Fully Connected Network
  • Training mit wenigen Trainingsbeispielen möglich
  • Erfasste Gesten: Hand heben, flache Hand, Zeigegesten, OK

Flache Hand

Zeigegesten

Hand heben

OK

Außenkamera Fahrzeug

VRU-Detektions und Intentionsschätzung
Verarbeitungskette des Fahrzeugs
Fußgänger Gestenerkennung
  • Aufbauend auf Robot Operating System 2 (ROS2)
  • Module kommunizieren über Netzwerk
  • Webbasierte Zustandvisualisierung
  • Open-set Klassifikation
  • 24 verschiedene Gesten
  • Training auf NTU-RGB+D (Labordaten)
  • Gestenerkennung basierend auf Graph Convolutions (ST-GCN++)
  • Genauigkeit: 85,98 % (Körperskelett),
    94,96 % (mit Handskelett)

Ansichten

NTU-RGB+D Trainingssample

Fußgänger Kreuzungsverhalten
  • Öffentliche Datensätze (JAAD, PIE)
  • Multi-stream Ansatz
  • Experiment zur Generalisierbarkeit via Bildtransformation mit Generative Adversial Networks (GANs)