Laufende Projekte

Projekt: Objekterfassung und Objektverfolgung für die Verkehrsbeobachtung mit Multikamerasystemen (MCS)
 Ansprechpartner: Ralf Reulke
Beteiligte Mitarbeiter: Sascha Bauer, Björn Piltz, Marcel Lemke
(In Zusammenarbeit mit dem DLR, Berlin-Adlershof)

Verkehrsbeobachtung ist hier definiert als die Erfassung und Verfolgung von Verkehrsobjekten von ruhenden und bewegten Plattformen. Die abgeleiteten Daten sollen Eingang in die Verkehrsmodellierung und -simulation finden. Ziel ist eine verbesserte Verkehrssteuerung. Im Kontext der Verkehrsbeobachtung ist die Erfassung von Form, Farbe und Position der Verkehrsobjekte von Interesse. Weiteren Informationsgewinn ergibt die Analyse und Interpretation von Bildfolgen oder Videosequenzen. Hieraus können zusätzliche Daten, beispielsweise Geschwindigkeit und Beschleunigung und damit generelle dynamische Eigenschaften von Objekten gewonnen werden.

Für die Objektsegmentierung wird eine graphische Entwicklungsumgebung verwendet. Dazu wurde ein graphenbasierter Ansatz umgesetzt, d.h. alle relevanten Parameter und Bilddaten können über eine graphische Benutzeroberfläche (GUI) editiert und visualisiert werden.

Abbildung 1: Graphische Entwicklungsumgebung für die Extraktion von verkehrsrelevanten Objekten

Für die flächendeckende und zeitversetzte Verfolgung von Verkehrsobjekten in großräumigen Gebieten mit verschieden positionierten optoelektronischen Sensoren erfolgt die Kombination der abgeleiteten Daten eines Sensors mittels Verfolgungsalgorithmen (Tracking). Zunächst wurde ein Kalmanfilter als Trackingansatz zur Verfolgung mehrerer Fahrzeuge innerhalb einer Videoszene gewählt. Dieses Kalman-Filter wurde anschließend für den Einsatz mehrerer Kameras angepasst. Durch den gewählten Ansatz ist eine Synchronisation der Aufnahmedaten nicht notwendig. 

Abbildung 2: Ergebnis des Multikameratrackings mithilfe des Kalman-Filters

 

Ein weiterer wichtiger Aspekt war die Evaluation dieses auf dem Kalman-Filter basierenden Verfolgungsalgorithmus, der auch Grundlage für die Fusion von Objektdaten mehrerer Kamerasysteme ist. Dazu wurden verschiedene reale Verkehrsszenen untersucht und erste Simulationen durchgeführt. Die Verfolgung der Objekte erfolgt in Weltkoordinaten. Als Voraussetzung dafür wurden zuvor die äußere und wenn möglich auch die innere Orientierung der Kameras ermittelt.

 

Abbildung 3: Objekterkennung und -verfolgung aus Daten realer Kamerasysteme (links). Projektion der Ergebnisse in  ein Orthophoto (rechts)

Für Multikamerasysteme ist die Bestimmung der gegenseitigen Orientierung der Kameras von besonderer Bedeutung. Als Beispiel soll hier ein Projekt zur Verfolgung von Personen auf einem Campus dienen. Dazu müssen die Orientierungsparameter von mehreren Kameras so bestimmt werden, dass die von ihnen gemessenen Weltkoordinaten im Überlappungsbereich nur geringe Abweichungen aufweisen. Dies wurde auf der Grundlage von Passpunkten, die aus Stereoluftbildern gewonnen wurden, realisiert.

Abbildung 4: Überlappungsbereiche der Kameras und Überdeckung des Beobachtungs-Bereichs (Kamera 1 rot, Kamera 2 grün, Kamera 3 blau, Kamera 4 gelb)

 

Projekt: Orientierungsbestimmung von Kameras für Verkehrsapplikationen
 Ansprechpartner: Sascha Bauer
Beteiligte Mitarbeiter: Sascha Bauer, Andreas Luber, Marcel Lemke
(In Zusammenarbeit mit dem DLR, Berlin-Adlershof)

Die Orientierung einer Kamera beschreibt den funktionalen Zusammenhang zwischen dem Bild- und dem Weltkoordinatensystem. Dazu müssen die Parameter der Modelle bestimmt werden, die den Zusammenhang von Bild- und Kamerakoordinatensystem bzw. Kamera- und Weltkoordinatensystem beschreiben. Mit Hilfe der Parameter der inneren Orientierung können kameraspezifische Korrekturen angebracht werden. Die äußere Orientierung beschreibt die Lage des Projektionszentrums und die Blickrichtung der Kamera bezogen auf das Weltkoordinatensystem der aufgenommene Szene. Die Bestimmung der Parameter entspricht einer Kalibration der Kamera. Diese Kamerakalibration kann mathematisch über einen Bündelblockausgleich realisiert werden. Dabei werden die Soll-/Istpositionen von Kalibrationsmarken bestimmt (vgl. Abbildung 5).

                           

Abbildung 5: Kalibrationswand des Instituts für Verkehrssystemtechnik. Zur Sicherung der Genauigkeit werden kalibrierte Referenzstäbe verwendet.

 

Projekt: Objekterfassung und Objektverfolgung für die Verkehrsbeobachtung von mobilen Plattformen
 Ansprechpartner: Karsten Kozempel
Beteiligte Mitarbeiter: Karsten Kozempel, Alvaro Catala-Prat
(In Zusammenarbeit mit dem DLR, Berlin-Adlershof)

Die Verarbeitung von Bilddaten, die von bewegten Plattformen aus erfasst wurden, entspricht in wesentlichen Teilen der oben beschriebenen Methodik. Ziel ist hier die automatische Erkennung von Fahrbahnen und Fahrzeugen aus einem fahrenden Fahrzeug heraus. Dazu werden zuerst die verkehrsaktiven Flächen identifiziert. So werden Fluchtpunkt und Lage der Fahrbahnen durch die Analyse der linienartigen extrahiert. Ein erster Schritt zur Objektverfolgung aus dem Fahrzeug heraus ist die Erkennung, die Zusammenfassung und die Verfolgung von charakteristischen Strukturen.

 

Abbildung 6: Fahrbahnerkennung (links) und Verfolgung interessanter Strukturen (rechts)


Projekt: Multi-Sensor-Datenfusion zur Interpretation komplexer Situationen
Ansprechpartner: Prof. Dr. Ralf Reulke
Beteiligte Mitarbeiter: David Pfeiffer
 (In Zusammenarbeit mit dem DLR, Berlin-Adlershof)

Ziel ist die Beobachtung und die automatische Interpretation dynamischer Situationen mit vielen unabhängigen Akteuren. Zum Verständnis einer Szene gehört dabei nicht nur die Rekonstruktion der dreidimensionalen Zusammenhänge zwischen sich bewegenden Objekten, sondern auch die Bewertung der Vorgänge im Hinblick auf atypische Aspekte, die gegebenenfalls als Gefährdung eingestuft werden müssen. Solche Systeme können bei der Verkehrsüberwachung, in der Luft- und Raumfahrt, zur Beurteilung belebter Plätze und Fußgängerzonen oder auch zur Sicherung von Großereignissen, wie z.B. der Fußballweltmeisterschaft zum Einsatz kommen.

Ausgegangen wird dabei immer von der multisensoriellen Erfassung einer Situation, insbesondere mit optischen Sensoren (Kameras) unterstützt durch Infrarot- und LIDAR-Systeme. Den verschiedenen Typen von Sensoren und deren unterschiedlichen Erfassungsbereichen und Standorten muss durch geeignete Fusionsverfahren Rechnung getragen werden.

Projekt: Aufnahme und Visualisierung von komplexen Szenen
Ansprechpartner: Sascha Bauer
Beteiligte Mitarbeiter: Martin Misgaiski
(In Zusammenarbeit mit dem DLR, Berlin-Adlershof)

Im Rahmen der Verkehrsforschung gibt es eine Reihe von Fragestellungen, die eine Visualisierung von Verkehrsobjekten erforderlich machen. So werden Kreuzungen mittels optoelektronischer Systeme (z.B. Kameras, die im sichtbaren oder im thermalen infraroten Spektralbereich messen) überwacht. Mit Bildverarbeitungsmethoden werden Objektinformationen (Ort, Typ, Größe, etc.) abgeleitet. Diese Bildinformation wird an den Kreuzungsrechner weitergeleitet und in einer Verkehrszentrale verarbeitet und visualisiert.

Um adäquate Entscheidungen treffen zu können, muss die Visualisierung das Umfeld weitestgehend originalgetreu wiedergeben können. Die Verkehrsobjekte werden geokodiert in ein solches Umfeld eingesetzt.

Für die Erstellung einer „realistischen virtuellen Umgebung“ sind Oberflächenmodelle und die Texturierung dieser 3D-Objekte notwendig. Die Messung dieser Informationen kann terrestrisch und von Flugzeugplattformen erfolgen. Zum Teil existieren diese Daten, andere müssen neu erhoben werden. Das entsprechende Sensorpaket besteht aus einer hochauflösenden Kamera (z.B. die Panoramakamera), ein Laserscanner und ein Inertialnavigationssystem.

Mehrere Experimente mit einem solchen Sensorpaket wurden im Jahre 2004 durchgeführt. Weitere Untersuchungen befassen sich insbesondere mit der Automatisierung des Auswerteprozesses und der Genauigkeit der Koregistrierung und der Messungen.

        

Abbildung 8: Ausschnitte aus dem 3D-Modell des DLR in Berlin-Adlershof

Projekt: Beschreibung alternativer Abbildungsgeometrien
Ansprechpartner: Sascha Bauer
Beteiligte Mitarbeiter:
(In Zusammenarbeit mit dem DLR, Berlin-Adlershof)

Für die automatisierte Verkehrserfassung bieten sich neben klassischen Kameras auch andere Projektionsgeometrien an. Ein gutes Beispiel dafür sind katadioptrische Kameras. In der Regel bestehen solche Systeme aus einer Kombination von Kamera und konvexem Spiegel. Sie liefern zylindrische Panoramen und ermöglichen dabei ein vertikales Sichtfeld von mehr als 180°. Dies bedeutet, dass man mit einer Kamera mehr als eine Hemisphäre aufnehmen und somit überwachen kann. Auf Grund der geringen anfallenden Datenmengen lässt sich die Aufnahme und Verarbeitung in Echtzeit durchführen (Siehe Abbildung 9).

Abbildung 9: Aufgenommenes Kamerabild

Das hauptsächliche Einsatzgebiet katadioptrischer Kameras ist vor allem die großflächige Überwachung. Sie kommen aber auch bei der autonomen Roboternavigation und Teleconferencing zum Einsatz. Eine wesentliche Anforderung an die Kameras ist, dass die durch den Spiegel induzierte Verzerrung korrigiert werden kann. Um dies zu ermöglichen muss der Abbildungsprozess (die Abbildung eines Punktes vom Objektraum in den Bildraum) hinreichend genau bekannt sein.

Im Rahmen einer Diplomarbeit wurden verschiedene Modelle für den Abbildungsprozess und die Bestimmung ihrer Parameter durch Kalibrierung untersucht. Mit diesen Ansätzen lassen sich die nötigen Kameraparameter ermitteln und somit mehrere perspektivisch korrekte Bilder oder ein Panorama erzeugen (Siehe Abbildung 10).

Abbildung 10: entzerrte Teilbilder (oben) und entzerrtes Panorama (unten)

© 2009 - Computer Vision, Institut für Informatik, HU Berlin - webmaster