Logo: Leibniz Universität Hannover

AnalySAR: Detektion von Gebäuden in urbanen Gebieten mittels Fusion optischer Bilder mit SAR Daten sehr hoher Auflösung

Jan Dirk Wegner und Uwe Sörgel

Eine zunehmende Anzahl von optischen Sensoren (IKONOS, Quickbird, Worldview) und Radarsensoren (TerraSARX, CosmoSkyMed), die mit dem "Synthetic Aperture Radar" Prinzip (SAR) Bilder erzeugen, ermöglichen Aufnahmen sehr hoher geometrischer Auflösung. Aufgrund der unterschiedlichen Spektralbereiche beider Aufnahmeprinzipien können sich ergänzende Objekteigenschaften für die Detektion von z.B. Gebäuden genutzt werden. 

Optische Sensoren erzeugen sehr hoch auflösende Aufnahmen, die den gesamten sichtbaren Spektralbereich abdecken. Aufgrund des Messprinzips entsprechen optische Bilder zudem der menschlichen Wahrnehmung, was die Interpretation erleichtert. Da optische Sensoren das an der Erdoberfläche reflektierte Sonnenlicht erfassen, ist es bei Wolkenbedeckung oder bei Nacht nicht möglich, aussagekräftige optische Aufnahmen zu erhalten. SAR-Sensoren unterliegen nur bedingt dieser Einschränkung, da sie aktiv ein Signal im Mikrowellenbereich aussenden und dessen Reflektion vom Erdboden erfassen. So ist es möglich, Objekte auch bei Nacht oder dichter Bewölkung abzubilden. Allerdings liefern SAR-Sensoren keine Farbinformation. Außerdem treten in Radarbildern aufgrund der beugungsbedingten geringen Winkelauflösung und des Distanzmessprinzips spezielle Effekte auf, die besonders in urbanen Gebieten eine Bildinterpretation erschweren.

Um die Vorteile beider Sensortypen zu kombinieren, werden neue Methoden erforscht, um optische Bilder und Radarbilder gemeinsam auszuwerten. Eine gemeinsame Auswertung solcher heterogenen Bilddaten, etwa zum Zwecke der Erkennung städtischer Objekte, ist kein triviales Problem, da oftmals komplementäre Objektmerkmale erfasst werden. Aus diesem Grund ist eine einfache ikonische Fusion der Bilder nicht zielführend. Vielmehr ist es nötig, die Fusion der Sensordaten auf höheren semantischen Ebenen durchzuführen, etwa auf der Ebene von Objektprimitiven. In einem ersten Schritt werden Gebäudehinweise im SAR-Bild und im optischen Bild extrahiert. Die Hinweise werden dann geometrisch aufeinander transformiert und anschließend mittels eines lernenden statistischen Klassifikationsverfahrens gemeinsam ausgewertet. Dabei liegt ein besonderer Forschungsschwerpunkt auf der Integration von Kontextinformation in den statistischen Ansatz. Hierzu bieten sich unter anderem Conditional Random Fields an, die sich zur Lösung ähnlicher Probleme bewährt haben. 

Im Projekt AnalySAR am IPI wurde ein Conditional Random Field-Ansatz implementiert, der die Detektion und Rekonstruktion von Einzelgebäuden und Gebäudereihen realisiert. Die Analyse basiert auf Objektprimitiven, die in Luftbildern und SAR-Bildern extrahiert werden. Im Luftbild werden diese Objektprimitive durch eine Segmentierung erzeugt. Das Ergebnis dieser Segmentierung sind homogene Regionen im Bild, die auch Superpixel genannt werden, die eine Szene in homogene Objekte oder Objektteile unterteilt. Jedes Superpixel wird mit seinen Nachbarn im Bild mit Hilfe eines Nachbarschaftsgraphen in Beziehung gesetzt, über den sich sehr gut Kontextwissen erfassen lässt. Basierend auf diesem Nachbarschaftsgraph der Superpixel des Luftbildes wird für jedes Superpixel im Graph ein Merkmalsvektor aufgestellt. Als Merkmale bieten sich z.B. Farbe, Textur und Form der Superpixel an. In den SAR-Daten werden sogenannte Corner-Linien als Objektprimitive genutzt, die sehr starke Gebäudehinweise sind und die mit einem Liniendetektor segmentiert werden (siehe rote Linien in der Abbildung). Die segmentierten Linien werden mit Hilfe der bekannten Geometrie des SAR-Sensors und der InSAR-Höhen in das optische Bild projiziert (siehe rote Linien in der Abbildung). Superpixel des optischen Bildes die in Blickrichtung des SAR-Sensors hinter einer Corner-Linie liegen gehören mit großer Wahrscheinlichkeit zu einem Gebäude. In einem Trainingsschritt werden die Gewichte für die einzelnen Merkmale bestimmt. Für das Training werden Verfahren wie Stochastic Meta Descent oder Quasi-Newton Methoden verwendet. Basierend auf den Merkmalsvektoren und den trainierten Gewichten wird daraufhin eine Klassifikation in Gebäudesegmente und Nicht-Gebäudesegmente durchgeführt. Die a posteriori Wahrscheinlichkeiten für die beiden Klassen setzen sich aus Assoziierungspotential und Interaktionspotential zusammen die jeweils mit Generalized Linear Models berechnet werden. Insbesondere das Interaktionspotential wurde dabei genutzt, um Kontextwissen zu formulieren, anzutrainieren und in die Klassifikation einzuführen.

Der Schwerpunkt der Arbeit lag auf der Fusion der Objektprimitive und der Ableitung einer möglichst vollständigen Beschreibung des Gebäudebestandes daraus unter Berücksichtigung des Kontexts. Auf Grundlage der entwickelten Verfahren können in Zukunft z.B. automatisiert Schadenskarten erstellt werden, um eine sofortige Koordinierung von Hilfsmaßnahmen nach Naturkatastrophen wie Überflutungen und Erdrutschen zu ermöglichen. Der entwickelte Ansatz wurde in MatLab und C implementiert. Die Testdaten setzten sich zusammen aus einem Luftbild (Orthofoto) und einem InSAR-Datensatz (Interferometrisches SAR-Bildpaar) der Stadt Dorsten.

Zahlreiche Tests der programmierten Software wurden erfolgreich auf dem Cluster des Rechenzentrums durchgeführt. Es ist insbesondere der freundlichen und kompetenten Art und Weise der Mitarbeiter des RRZN zu verdanken, dass große Datenmengen mit dem neu entwickelten Verfahren zeitnah prozessiert werden konnten. Ohne die Kapazitäten des RRZN Clusters bezüglich Rechenleistung und Arbeitsspeicher wären diese Tests nicht durchführbar gewesen.

Dieses Projekt war Teil des von der Deutschen Forschungsgemeinschaft (DFG) geförderten Bündelprojekts "AnalySAR", das in Kooperation mit Wissenschaftlern an der TU München und der TU Berlin durchgeführt wird. 

Veröffentlichungen:

  • Wegner, J.D.; Rosenhahn, B.; Soergel, U.: Segment-based building detection with Conditional Random Fields: 6th IEEE/GRSS/ISPRS Joint Urban Remote Sensing Event, Munich, 2011, accepted.

Ein geschlossenes photogrammetrisches Kontrollnetz auf dem Mars aus HRSC-Daten der Mars Express Mission

Jonas Bostelmann

Seit ihrem Eintritt in die Umlaufbahn im Januar 2004 hat die europäische Raumsonde Mars Express den Roten Planeten nun bereits rund 9.000 mal umkreist (Stand: Februar 2011). An Bord der Sonde befindet sich unter anderem die in Deutschland vom DLR entwickelte HRSC (High Resolution Stereo Camera), welche sehr erfolgreich seit über 7 Jahren dreidimensionale Bild-Daten des Nachbarplaneten zur Erde sendet. Die ursprünglich nur für zwei Jahre ausgelegte Mission wurde bereits ein viertes Mal verlängert und läuft nun bis Ende 2012. Es wird somit möglich sein, den Planeten nahezu vollständig mit hochauflösenden 3D-Bildern in Farbe aufzunehmen.

Mit der immer dichter werdenden Abdeckung des Planeten mit HRSC-Aufnahmen wird es bald möglich sein einen geschlossenen photogrammetrischen Block aus HRSC-Bildern zu berechnen. Eine simultane Bündelblockausgleichung dieses geschlossenen Blocks, der den gesamten Planeten umspannt, kann eine außerordentlich hohe Genauigkeit und eine sehr stabile Geometrie erzielen. Mit den Ergebnissen dieses Forschungs-Projektes kann ein hochgenaues Festpunktnetz aufgebaut werden, das als wissenschaftliche Grundlage für alle früheren, aktuellen und zukünftigen Mars-Missionen von Nutzen sein wird.

Auf den Compute-Servern des RRZN konnten die Bilddaten, die während der gesamten Mission (derzeit bereits über 7 Jahre) aufgenommen wurden, in nur 2 Wochen ausgewertet werden. Auf dem bisher als Rechenserver eingesetzten Desktop-PC würde dies in etwa ein Jahr reine Rechenzeit beanspruchen. Verbindet man mehrere Bildstreifen zu photogrammetrischen Blöcken, übersteigt der Bedarf an Arbeitsspeicher außerdem schnell die auf den Rechnern am Institut verfügbaren Ressourcen. Auch wenn durch Optimierung der Software in Zukunft der Speicherbedarf weiter reduziert werden soll, wird
die Berechnung von Blöcken, die den gesamten Planeten abdecken, erst durch die Rechenleistung der Compute-Server des RRZN möglich.

Dieses Projekt wird mit Mitteln des Bundesministerium für Bildung und Forschung (BMBF) durch das Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR) unter dem Förderkennzeichen 50 Q 0902 gefördert.

Weitere Information:

Publikationen:

Ansprechpartner:

Dipl.-Ing. Jonas Bostelmann
Institut für Photogrammetrie und GeoInformation (IPI)
Nienburger Str. 1
D-30167 Hannover
Tel.: +49 511 762 2797
Mail: bostelmannipi.uni-hannover.de

LandSAfe - The Landing Site Risk Analysis Software Framework

Jonas Bostelmann

Background

The Aurora program of the European Space Agency (ESA) aims at the robotic and human exploration of the Solar System in the next decades. One key element of this program is the Lunar Lander mission planned for the year 2018 which targets the polar regions of the Moon. To ensure a safe and successful landing a careful risk analysis has to be carried out. This is comprised of identifying favorable target areas and evaluating the surface conditions in these areas. Concretely, features like craters and boulders of size bigger than 50 cm have to be identified which pose a potential hazard for the lander. Additionally, shadows and steep slopes have to be avoided in order to allow for a successful touchdown and subsequent surface operation of the lander.

LandSAfe

The Landing Site Risk Analysis software framework (LandSAfe) has the objective to provide software modules for the automatic production of lunar digital surface models (DSM) or digital terrain models (DTM) respectively, derived products like hazard and illumination maps as well as tools for analysis and visualization of these data. The combination of image and height data allows for a quantitative evaluation of landing site hazards like craters and boulders with respect to detection, counting, sizing and distribution. The final hazard maps support decision making in visualizing potential unsuitable landing areas by incorporating vital factors like surface roughness, shadows, slope, boulders and craters. The results have relevance in two stages of the mission: First, the software helps in defining a suitable landing site in the preparatory stage of the mission. Second, during the descent stage the lander shall navigate automatically to the designated landing site while avoiding obstacles like craters and boulders in a self-acting way. In this stage live footage of the descending has to be compared and aligned with a landmark database stored on the lander in real-time. The landmark database has to be build up by LandSAfe with the help of suitable feature elements like points or edges.

Within the LandSAfe activity the Institute of Photogrammetry and GeoInformation (IPI) of Leibniz Universität Hannover (LUH) has the task to develop techniques, algorithms and software modules for the automatic derivation of lunar DSMs. In a narrow sense this incorporates software modules for digital image matching which automatically determines corresponding image points in stereo imagery. Auxiliary modules for rectification of the images for the generation of the final hazard maps and to support the matching are necessary. For the combination of overlapping single DSMs or ortho photos into a common image a geometric mosaicking module is needed. Geometric mosaicking refers to assembling the ortho photos cartographic correctly. Radiometry is accounted for by averaging gray values and not by complex radiometric adjustments like de-/reshading. In order to obtain high accuracy final products a bundle adjustment is mandatory which improves the relative accuracy of the orientation data of the camera/ spacecraft and the absolute accuracy with respect to the body-fixed coordinate system of the Moon. The sequence of tie point matching - bundle adjustment - DSM matching - ortho rectification - mosaicking constitutes a complete photogrammetric processing chain.

Further Information:

Contact Person:

Dipl.-Ing. Jonas Bostelmann
Institut für Photogrammetrie und GeoInformation (IPI)
Nienburger Str. 1
D-30167 Hannover
Tel.: +49 511 762 2797
Mail: bostelmannipi.uni-hannover.de

Regionales Rechenzentrum für Niedersachsen - URL: www.rrzn.uni-hannover.de/cluster_ipi.html?&L=1
 
Dr. Paul Cochrane, Last Change: 24.02.2012
Copyright Gottfried Wilhelm Leibniz Universität Hannover