Maschinelle Wahrnehmung & Tracking

1. Überblick

Die Vorlesung führt in die vollständige Wahrnehmungs- und Tracking-Pipeline für technische Systeme ein und verbindet klassische Computer Vision, Sensorik, probabilistische Modellierung, Kalman-Filter und Multi-Target-Tracking. Typische Anwendungsdomänen umfassen autonomes Fahren, Luftraumüberwachung, Robotik, Videoanalyse und medizinische Technik.

Die Vorlesung ist in drei Phasen gegliedert: Wahrnehmung, Probabilistik und Tracking.

2. Prüfungsformat und Semesterstruktur

Die Veranstaltung nutzt ein Portfolio-Assessment mit einem semesterlangen Teamprojekt (DFB-Videoanalyse) sowie drei Moodle-Quizzes:

• Wahrnehmungs-Quiz,
• Wahrscheinlichkeits-/Stochastik-Quiz,
• Tracking-Quiz.

3. Einführung: Maschinelle Wahrnehmung

Maschinelle Wahrnehmung bezeichnet den Prozess, durch den Maschinen ihre Umgebung erfassen und mögliche Aktionen ableiten. Historische Entwicklung von früher Bildverarbeitung zu modernem Deep Learning, Multi-Object-Tracking, CNNs, GANs und Transformern.

4. Sensortechnologien

4.1 Kamerasensoren

Kameras als passive optische Sensoren. CCD- und CMOS-Sensoren, Farbfilterarrays (RGGB-Bayer-Muster), Aberrationen und Linsenverzerrung.

Bildverarbeitungsoperationen:

• Kantendetektion: Sobel-Gradienten, Morphologie, Hysterese-Schwellenwert,
• Eckendetektion: Moravec-Detektor, Harris-Detektor, Nicht-Maximum-Unterdrückung,
• Optischer Fluss: Lucas-Kanade-Methode für pixelweise Bewegungsschätzung.

4.2 LiDAR

Aktiver Sensor mit Laser-Laufzeitmessungen (ToF). Rotierende Spiegel für weites Sichtfeld. Typische Wellenlängen 900 nm und 1550 nm.

Verarbeitungsstufen der Punktwolke: Filterung, Extraktion von Interesse-Punkten, Segmentierung, Klassifikation, Posenschätzung.

4.3 Radar

Aktiver elektromagnetischer Sensor. Impulsradar und Dauerwellenradar. Doppler-Frequenz und Radialgeschwindigkeit. FMCW-Radar für gleichzeitige Entfernungs- und Geschwindigkeitsmessung. Vergleich von LiDAR und Radar nach Wellenlänge, Auflösung und Wetterfestigkeit.

5. Objektdetektion

5.1 Metriken für Objektdetektoren

Konfusionsmatrix, Präzision, Recall, Intersection over Union (IoU), Precision-Recall-Kurven, Average Precision (AP), mean Average Precision (mAP).

5.2 Viola-Jones-Gesichtsdetektion

Haar-Wavelet-Merkmale, Integralbilder zur effizienten Merkmalsauswertung, AdaBoost zur Merkmalsauswahl, Kaskaden-Klassifikatoren und Bildpyramiden für Skalierungsinvarianz.

5.3 Dalal-Triggs HOG + SVM

Fußgängerdetektion durch: Kontrastkorrektur, Gradientenberechnung, Histogramme of Oriented Gradients (HOG), Blocknormalisierung und lineare SVM-Klassifikation.

5.4 YOLO – You Only Look Once

CNN-basierter Objektdetektor mit Gitterstruktur. Jede Zelle sagt Bounding-Box-Offsets, Objektkonfidenz und Klassenwahrscheinlichkeiten voraus. Trainiert mit Verlust über Koordinaten, Konfidenz und Klassen.

5.5 PointNet für LiDAR-Punktwolken

Deep Learning auf ungeordneten Punktmengen. PointNet verarbeitet direkt 3D-Koordinaten und lernt lokale und globale Merkmale ohne Voxelisierung.

6. Koordinatensysteme, Kalibrierung und Projektion

6.1 Homogene Koordinaten

Homogene Darstellung in 2D und 3D: Punkte, Geraden, Ebenen. Punkte im Unendlichen mit w = 0. Affine Transformationen als Matrixmultiplikationen in homogenen Koordinaten.

6.2 Transformationen

Translationen, Rotationen und konkatenierte Transformationen. Rotationsmatrizen um x-, y-, z-Achsen. Reihenfolge der Matrizenmultiplikation ist entscheidend. Roll, Pitch, Yaw — Konventionen aus Luftfahrt und Automobilindustrie.

6.3 Kamerakalibrierung und Projektion

Modellierung der Kamera als System zur Abbildung von 3D-Weltkoordinaten auf 2D-Sensorkoordinaten.

• Extrinsische Parameter: Position und Rotation der Kamera in der Welt,
• Intrinsische Parameter: Abbildung von Bild- auf Sensor-/Pixelkoordinaten.

Themen: Perspektivprojektion, Brennweite, Kalibrierungsmatrix, Direct Linear Transformation (DLT), Pixelseitenverhältnis, Hauptpunkt, nichtlineare Linsenverzerrung mit radialen Verzerrungsparametern.

7. Stochastische Prozesse und Hidden Markov Models

Stochastische Prozesse als Folgen von Zufallsvariablen. Markov-Eigenschaft: der nächste Zustand hängt nur vom aktuellen Zustand ab.

Themen:

• Markov-Prozesse,
• Random Walk und Brownsche Bewegung,
• Beispiele für Markov-Verletzungen und State-Design zur Wiederherstellung der Markov-Eigenschaft,
• Hidden Markov Models (HMMs): echter Zustand ist nicht direkt beobachtbar,
• Beobachtungsvariablen abhänging nur vom aktuellen verborgenen Zustand,
• Vorwärtsalgorithmus für rekursive Zustandsinferenz aus Beobachtungen.

8. Minimale-Varianz-Fusion

Grundlage des Kalman-Filters: Fusion mehrerer Messungen mit minimaler Ergebnisvarianz.

• Zwei Gauß’sche Messungen werden so kombiniert, dass der Schätzwert unverzerrt und varianzminimal ist,
• Zuverlässigere Sensoren werden stärker gewichtet,
• Erweiterung auf mehrere unkorrelierte Messungen,
• Sonderfall: wiederholte Messungen gleicher Varianz ergeben das arithmetische Mittel.

9. Kalman-Filter

9.1 Linearer Kalman-Filter

Zustandsraumodell mit Transitionsmatrix, Beobachtungsmatrix und Rauschmodellen. Zwei Phasen:

1. Prädiktionsschritt: Zustand und Kovarianz aus dem Systemmodell voraussagen,
2. Aktualisierungsschritt: Kalman-Gain berechnen, Innovation einfügen, Kovarianz aktualisieren.

Der Kalman-Gain ist die optimale Gewichtung zwischen Systemprädition und Messung.

9.2 Erweiterter Kalman-Filter (EKF)

Linearisierung nichtlinearer Systemfunktionen über Jacobi-Matrizen. Anwendbar für kurvenlineare Bewegungsmodelle und nichtlineare Sensoren.

9.3 Unscented Kalman-Filter (UKF)

Sigma-Punkt-Methode für bessere Approximation nichtlinearer Transformationen ohne Jacobi-Ableitung.

9.4 Partikel-Filter

Monte-Carlo-basierter Filter für allgemeine nichtlineare Zustandsraummodelle. Gewichtete Partikel repräsentieren die Zustandsverteilung. Resampling zur Vermeidung von Partikeldegeneration. Genauer als Kalman-Filter für stark nichtlineare Probleme.

9.5 Interacting Multiple Models (IMM)

Kombination mehrerer Bewegungsmodelle in parallelen Filtern mit Modellwahrscheinlichkeiten für adaptive Modellauswahl.

10. Datenassoziation

Zuordnung von Messungen zu bekannten Tracks (Spuren). Behandelte Methoden:

• Nearest-Neighbor (NN): einfachste Methode — jeder Messung wird der nächste Track zugeordnet,
• Probabilistische Datenzuordnung (PDA): mehrere Messhypothesen werden gewichtet kombiniert,
• Joint PDA (JPDA): berücksichtigt alle Messung-Track-Kombinationen gleichzeitig,
• Hungarian Algorithm / Optimal Assignment: optimale globale Zuordnung über Kostenfunktionen,
• Gating: Ablehnung unplausibler Messungen über Mahalanobis-Distanz vor der Zuordnung.

11. Track-Management und Multi-Target-Tracking

Track-Lebenszyklus: Initialisierung neuer Tracks (tentativ), Bestätigung durch Akkumulation von Evidenz, Löschung bei fehlendem Nachweis.

Tracking-by-Detection-Paradigma: Detektor liefert Messungen pro Frame, Tracker verwaltet Zustand und Identität über Zeit.

Themen:

• Multiple Hypothesis Tracking (MHT) für robuste Zuordnung bei Okklusionen,
• Spurwechsel, Okklusionen, Spurinitialisierung und -beendigung,
• Bewertungsmetriken für Multi-Target-Tracking (CLEAR MOT: MOTA, MOTP, ID Switches).

12. Themenübersicht