Abstract
This paper is focused on the finite-element (FE) method of camera calibration. The FE method enables the modelling of systematic error effects, including those which cannot be recovered by standard modelling procedures, e.g., those based on Brown’s distortion model. The FE approach to camera modelling has been previously published a number of times; however, some important aspects were not sufficiently addressed in this earlier research work. In addition, the computing power was too low to test the finite-element method with high-resolution FE grid. The proposed FE implementation is fully independent of any polynomial model and includes correction of the distance-dependent distortion effect. Besides modelling the effects such as lens distortion and sensor unflatness, the approach also accommodates the calibration of non-perspective lenses such as fisheye lenses. In addition to introducing the proposed FE calibration method, this paper addresses the related issues of sufficient target density, correction pattern smoothness and FE grid size. It also reports on experimental testing of the new FE implementation using the acceptance test procedure of the German VDI guideline 2634. Two different cameras were calibrated within the acceptance tests to analyse the impacts of the sensor size and field of view of the lens. For comparison with the FE method, both data sets were also processed using standard photogrammetric software (AICON 3D Studio). The results have proven the ability of the proposed FE modification to recover any systematic effects and to model ultra-wide field-of-view lenses, while achieving highly accurate measurements. The method is able to model the distance-dependent distortion effect, but requires a very large number of observations, which may be expensive and difficult to establish in practise. The proposed method, which can be characterised by utilising a high-resolution grid, is mostly intended for laboratory calibration of highly stable camera systems and not for on-the-job type calibration, where the target density would likely not be sufficiently large.
Zusammenfassung
Dieser Beitrag befasst sich mit einem Finite-Elemente-Ansatz (FE) zur Kamerakalibrierung. Die FE-Methode ermöglicht die Modellierung von systematischen Abbildungsfehlern, einschließlich derer, die nicht durch Standardmodellierungsverfahren, wie z. B. Browns Verzeichnungsmodell, beschrieben werden können. FE-Ansätze zur Kameramodellierung wurden schon mehrfach veröffentlicht. Einige wichtige Aspekte wurden in früheren Arbeiten jedoch nicht ausreichend berücksichtigt. Darüber hinaus war bisher die Rechenleistung zu niedrig, um die Methode mit hochauflösendem FE-Gitter zu testen. Die vorgeschlagene FE-Implementierung ist unabhängig von irgendeinem Polynommodell und beinhaltet zudem die Korrektur von entfernungsabhängigen Verzeichnungseffekten. Neben der Modellierung von Effekten wie Objektivverzeichnung und Sensorunebenheit ermöglicht der Ansatz auch die Kalibrierung von nicht-perspektivischen Objektiven, wie z. B. Fisheye-Objektiven. Zusätzlich zur Einführung der vorgeschlagenen FE-Kalibriermethode befasst sich dieser Artikel mit den damit verbundenen Fragen wie ausreichende Punktdichte, Ebenheit des Korrekturgitters und Größe des FE-Rasters. Weiterhin werden experimentelle Tests der neuen FE-Implementierung nach dem Abnahmeverfahren der VDI-Richtlinie 2634/1 diskutiert. Zwei verschiedene Kameras wurden verwendet und im Rahmen der Abnahmeprüfungen kalibriert, um die Auswirkungen der Sensorgröße und des Sichtfeldes des Objektivs zu analysieren. Als Vergleich zur FE-Methode wurden beide Datensätze auch mit einer Standard-Photogrammetrie-Software (AICON 3D Studio) verarbeitet. Die Ergebnisse belegen die Fähigkeit der vorgeschlagenen FE-Modifikation, alle systematischen Effekte zu modellieren, auch bei extrem großen Bildfeldwinkeln, bei gleichzeitig hoher erreichter Genauigkeit. Das Verfahren ist in der Lage, die abstandsabhängige Verzeichnungseffekte zu erfassen, erfordert jedoch eine sehr große Anzahl von Beobachtungen, die in der Praxis ggf. teuer und schwer zu realisieren sind. Das vorgeschlagene Verfahren lässt sich durch die Verwendung eines hochauflösenden Gitters charakterisieren und ist hauptsächlich für die Laborkalibrierung von hochstabilen Kamerasystemen vorgesehen. Bei einer On-the-Job-Kalibrierung dürfte dagegen die Punktdichte häufig nicht ausreichend groß sein.
Similar content being viewed by others
References
Bookstein FL (1989) Principal warps: thin-plate splines and the decomposition of deformations. In: IEEE trans. pattern analysis and machine intelligence, vol 11. https://doi.org/10.1109/34.24792
Bräuer-Burchardt C, Heinze M, Munkelt C, Kuhmstedt P, Notni G (2006) Distance dependent lens distortion variation in 3D measuring systems using fringe projection. In: Proceedings of the British machine conference. BMVA Press, pp 34.1–34.10. https://doi.org/10.5244/C.20.34
Brown DC (1971) Close-range camera calibration. Photogramm Eng 37(8):855–866
Dörstel C (2007) DMC-(r)evolution on geometric accuracy. In: Fritsch D (ed) Photogrammetric Week’07. Wichmann Verlag, pp 81–88
Ebner H (1976) Self-calibrating block adjustment. Bildmessung und Luftbildwesen 44(4):128–139
Fritsch D (2017) Photogrammetrische Auswertung digitaler Bilder—Neue Methoden der Kamerakalibration, dichten Bildzuordnung und Interpretation von Punktwolken. In: Heipke (ed) Photogrammetrie und Fernerkundung. Springer Spectrum, Berlin, pp 157–196
Grün A (1978) Experiences with self-calibrating bundle adjustment. In: ACSM-ASP annual meeting, Washington D.C
Hastedt H, Ekkel T, Luhmann T (2016) Evaluation of the quality of action cameras with wide-angle lenses in UAV photogrammetry. In: International archives of the photogrammetry, remote sensing and spatial information sciences, vol XLI-B1, pp 851–859. https://doi.org/10.5194/isprsarchives-xli-b1-851-2016
Jacobsen K (2007) Geometric handling of large size digital airborne frame camera images. In: Optical 3D measurement techniques VIII, Zürich 2007, pp 164–171
Jacobsen K, Cramer M, Ladstädter R, Ressl C, Spreckels V (2010) DGPF project: evaluation of digital photogrammetric camera systems—geometric performance. Photogrammetrie Fernerkundung Geoinformation 2010(2):83–97. https://doi.org/10.1127/1432-8364/2010/0042
Kotowski R (1984) Zur Reseaukorrektur von systematischen Bildfehlern. Bildmessung und Luftbildwesen 52(2):96–101
Lichti DD, Chapman MA (1995) CCD camera calibration using the finite element method. In: Proc. SPIE, vol 2598, videometrics IV, pp 34–43
Luhmann T, Robson S, Kyle S, Boehm J (2014) Close-range photogrammetry and 3D imaging. De Gruyter textbook, 2nd edn. ISBN 978-3-11-030269-1
Luhmann T, Fraser C, Maas H-G (2015) Sensor modelling and camera calibration for close-range photogrammetry. ISPRS J Photogramm Remote Sens. https://doi.org/10.1016/j.isprsjprs.2015.10.006
McGlone JC (ed) (2013) Manual of photogrammetry, American Society for Photogrammetry and Remote Sensing, 6th edn
Mikhail EM, Ackermann F (1976) Observations and least squares. IEP-A Dun-Donnelley Publisher, New York
Miks A, Novak J (2012) Dependence of camera lens induced radial distortion and circle of confusion on object position. Opt Laser Technol 44(4):1043–1049. https://doi.org/10.1016/j.optlastec.2011.10.012
Munjy R (1986) Self-calibration using the finite element approach. Photogramm Eng Remote Sens 51(3):411–418
Remondino F, Fraser CS (2006) Digital camera calibration methods: considerations and comparisons. Int Arch Photogramm Remote Sens 36(5):266–272
Reznicek J, Luhmann T, Jepping C (2016) Influence of raw image preprocessing and other selected processes on accuracy of close-range photogrammetric systems according to VDI 2634. In: International archives of the photogrammetry, remote sensing and spatial information sciences, vol XLI-B5, pp 107–113, https://doi.org/10.5194/isprs-archives-xli-b5-107-2016
Richter K, Mader D, Seidl K, Maas H-G (2013) Development of a geometric model for an all-reflective camera system. ISPRS J Photogramm Remote Sens 86:41–51. https://doi.org/10.1016/j.isprsjprs.2013.09.002
Rieke-Zapp DH (2010) A digital medium-format camera for metric applications—ALPA 12 metric. Photogram Rec 25(131):283–298. https://doi.org/10.1111/j.1477-9730.2010.00586.x
Tang R (2013) Mathematical methods for camera self-calibration in photogrammetry and computer vision, DGK Reihe C, p 703
Tecklenburg W, Luhmann T, Hastedt H (2001) Camera modelling with image-variant parameters and finite elements. In: Optical 3-D measurement techniques V, Wichmann Verlag, Heidelberg
VDI/VDE 2634.1 (2002) German guideline on optical 3D measuring systems—imaging systems with point-by-point probing. VDI/VDE guideline 2634 Part 1, Beuth Verlag, Berlin
Acknowledgements
The authors would like to thank Mr. Ralph Rosenbauer and ALPA Company for providing us the ALPA camera. This research has been supported by the Lower Saxony program for Research Professors, 2013–2016, and Jade University of Applied Sciences in Oldenburg.
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
About this article
Cite this article
Reznicek, J., Luhmann, T. Finite-Element Approach to Camera Modelling and Calibration. PFG 87, 1–17 (2019). https://doi.org/10.1007/s41064-019-00068-x
Received:
Accepted:
Published:
Issue Date:
DOI: https://doi.org/10.1007/s41064-019-00068-x