Original paper
Bundle Adjustment and System Calibration with Points at Infinity for Omnidirectional Camera Systems
Schneider, Johannes; Förstner, Wolfgang
Photogrammetrie - Fernerkundung - Geoinformation Jahrgang 2013 Heft 4 (2013), p. 309 - 321
published: Aug 1, 2013
DOI: 10.1127/1432-8364/2013/0179
ArtNo. ESP172201304007, Price: 29.00 €
Abstract
We present a calibration method for multi-view cameras that provides a rigorous maximum likelihood estimation of the mutual orientation of the cameras within a rigid multi-camera system. No calibration targets are needed, just a movement of the multi-camera system taking synchronized images of a highly textured and static scene. Multi-camera systems with non-overlapping views have to be rotated within the scene so that corresponding points are visible in different cameras at different times of exposure. By using an extended version of the projective collinearity equation all estimates can be optimized in one bundle adjustment where we constrain the relative poses of the cameras to be fixed. For stabilizing camera orientations - especially rotations - one should generally use points at the horizon within the bundle adjustment, which classical bundle adjustment programs are not capable of. We use a minimal representation of homogeneous coordinates for image and scene points which allows us to use images of omnidirectional cameras with single viewpoint like fisheye cameras and scene points at a large distance from the camera or even at infinity. We show results of our calibration method on (1) the omnidirectional multi-camera system Ladybug 3 from Point Grey, (2) a camera-rig with five cameras used for the acquisition of complex 3D structures and (3) a camera-rig mounted on a UAV consisting of four fisheye cameras which provide a large field of view and which is used for visual odometry and obstacle detection in the project MoD (DFG-Project FOR 1505 “Mapping on Demand“).
Kurzfassung
In diesem Artikel stellen wir eine Kalibrierungsmethode für Multikamerasysteme vor, welche eine strenge Maximum-Likelihood-Schätzung der gegenseitigen Orientierungen der Kameras innerhalb eines starren Multikamerasystems ermöglicht. Zielmarken werden nicht benötigt. Das synchronisiert Bilder aufnehmende Kamerasystem muss lediglich in einer stark texturierten statischen Szene bewegt werden. Multikamerasysteme, deren Bilder sich nicht überlappen, werden innerhalb der Szene rotiert, so dass korrespondierende Punkte in jeder Kamera zu unterschiedlichen Aufnahmezeitpunkten sichtbar sind. Unter Verwendung einer erweiterten projektiven Kollinearitätsgleichung können alle zu schätzenden Größen in einer Bündelausgleichung optimiert werden. Zur Stabilisierung der Kameraorientierungen - besonders der Rotationen - sollten Punkte am Horizont in der Bündelausgleichung verwendet werden, wozu klassische Bündelausgleichungsprogramme nicht in der Lage sind. Wir benutzen eine minimale Repräsentation für homogene Koordinaten für Bild- und Objektpunkte, welche es uns ermöglicht, mit Bildern omnidirektionaler Kameras wie Fisheye-Kameras und mit Objektpunkten, welche weit entfemt oder im Unendlichen liegen, umzugehen. Wir zeigen Ergebnisse unserer Kalibrierungsmethode für (1) das omnidirektionale Multikamerasystern Ladybug 3 von Point Grey, (2) ein Kamerasystern mit fünf Kameras zur Aufnahme komplexer 3D-Strukturen und (3) ein auf eine Drohne montiertes Kamerasystem mit vier Fisheye-Kameras, welches ein großes Sichtfeld besitzt und zur visuellen Odometrie und zur Hinderniserkennung im Projekt MoD (DFG-Projekt FOR 1505 ,,;Mapping on Demand“) verwendet wird.
Keywords
bundle adjustment • omnidirectional camera systems • multi-view cameras • calibration