Original paper
A review of issues in ensemble-based Kalman filtering
Ehrendorfer, Martin
Meteorologische Zeitschrift Vol. 16 No. 6 (2007), p. 795 - 818
published: Dec 17, 2007
DOI: 10.1127/0941-2948/2007/0256
Open Access (paper may be downloaded free of charge)
Abstract
Ensemble-based data assimilation methods related to the fundamental theory of Kalman filtering have been explored in a variety of mostly non-operational data assimilation contexts over the past decade with increasing intensity. While promising properties have been reported, a number of issues that arise in the development and application of ensemble-based data assimilation techniques, such as in the basic form of the ensemble Kalman filter (EnKF), still deserve particular attention. The necessity of employing an ensemble of small size represents a fundamental issue which in turn leads to several related points that must be carefully considered. In particular, the need to correct for sampling noise in the covariance structure estimated from the finite ensemble must be mentioned. Covariance inflation, localization through a Schur/Hadamard product, preventing the occurrence of filter divergence and inbreeding, as well as the loss of dynamical balances, are all issues directly related to the use of small ensemble sizes. Attempts to reduce effectively the sampling error due to small ensembles and at the same time maintaining an ensemble spread that realistically describes error structures have given rise to the development of variants of the basic form of the EnKF. These include, for example, the Ensemble Adjustment Kalman Filter (EAKF), the Ensemble Transform Kalman Filter (ETKF), the Ensemble Square-Root Filter (EnSRF), and the Local Ensemble Kalman Filter (LEKF). Further important considerations within ensemble-based Kalman filtering concern issues such as the treatment of model error, stochastic versus deterministic updating algorithms, the ease of implementation and computational cost, serial processing of observations, avoiding the appearance of undesired dynamic imbalances, and the treatment of non-Gaussianity and nonlinearity. The discussion of the above issues within ensemble-based Kalman filtering forms the central topic of this article, that starts out with a brief overview of Bayesian updating and Kalman filtering theory. The article collects and discusses evidence related to these issues thus assessing also the status of knowledge regarding the performance of ensemble-based Kalman filtering methods.
Kurzfassung
Datenassimilationsmethoden basierend auf Ensembles und der grundlegenden Theorie des Kalmanfilters sind im vergangenen Jahrzehnt in verschiedenen meist nicht-operationellen Problemstellungen mit zunehmender Intensität untersucht worden. Während mehrere Erfolg versprechende Eigenschaften berichtet wurden, verbleibt eine Reihe von Diskussionspunkten in der Entwicklung und Anwendung von Ensemble-basierten Datenassimilationsmethoden, wie sie auch in der grundlegenden Form des Ensemble Kalman Filters (EnKF) gegeben sind, die speziell beachtet werden müssen. Die Notwendigkeit, Ensembles von kleinem Umfang zu verwenden, stellt einen grundlegenden Diskussionspunkt dar, aus dem sich mehrere weitere Punkte ergeben, die sorgfältig beachtet werden müssen. Speziell ist hier die Notwendigkeit zu nennen, den durch das Betrachten der endlichen (kleinen) Stichprobe entstehenden Lärm in der geschätzten Kovarianzstruktur zu korrigieren. Die sogenannte Kovarianz-Inflation, die Lokalisierung durch ein Schur/Hadamard Produkt, das Vermeiden des Auftretens von Filterdivergenz, und des sogenannten Inbreeding, sowie des Verlusts dynamischer Balanzen, zählen alle zu den Gesichtspunkten, die direkt mit der geringen Anzahl von Ensemble-Mitgliedern im Zusammenhang stehen. Versuche, den Lärm in der geschätzten Kovarianzstruktur effektiv zu reduzieren und gleichzeitig den Spread des Ensembles so zu gestalten, dass die Fehlerstrukturen realistisch beschrieben werden, hat zur Entwicklung mehrerer Varianten des EnKF geführt. Hierzu zählen beispielsweise der Ensemble Adjustment Kalman Filter (EAKF), der Ensemble Transform Kalman Filter (ETKF), der Ensemble Square-Root Filter (EnSRF), und der Local Ensemble Kalman Filter (LEKF). Weitere wichtige Aspekte des Ensemble-basierten Kalmanfilters betreffen die Behandlung von Modellfehlern, stochastische und deterministische Aktualisierungsalgorithmen, die Einfachheit von Implementierung und entstehender Rechenaufwand, das serielle Prozessieren von Beobachtungen, das Vermeiden unerwünschter dynamischer Imbalanzen, sowie die Behandlung von Nichtlinearitäten und von nicht Gauß-verteilten Prozessen. Die Diskussion dieser Punkte innerhalb des Ensemble-basierten Kalmanfilters bildet das zentrale Thema dieses Artikels, an dessen Anfang ein kurzer Überblick über Bayes- und Kalmanfilter-Theorie steht. Die Arbeit sichtet und diskutiert Evidenz, die zu diesen Punkten vorliegt, wodurch gleichzeitig der Stand des Wissens zu den Eigenschaften dieser Ensemble-basierten Kalmanfiltermethoden dokumentiert wird.