Partitioning filters
Abstract
In this paper a fundamentally new and computationally attractive class of linear filters—the partitioned filters—are presented and their important properties are briefly discussed. Specifically, it is shown that the partitioned filters constitute a powerful and unifying framework for linear estimation, posses a naturally parallel-processing structure, and yield numerically effective, robust, and fast estimation algorithms. As such, the partitioned filters constitute attractive alternatives to previous estimation algorithms such as the Kalman filter.
References (29)
- D.G. Lainiotis
Estimation: a brief survey
J. Information Sci.
(1974) - H. Wold
A Study in the Analysis of Stationary Times Series
(1938) - N. Wiener
Extrapolation, Interpolation, and Smoothing of Stationary Time-Series
(1949) - R.E. Kalman
A new approach to linear filtering and prediction problems
J. Basic Engin.
(Mar. 1960) - D.G. Lainiotis
Optimal adaptive estimation: structure and parameter adaptation
IEEE Trans. Automat. Control
(Apr. 1971) - T. Kailath
Some new algorithms for recursive estimation in constant linear systems
IEEE Trans. Inform. Theory
(Nov. 1973) - A. Lindquist
A new algorithm for optimal filtering of discrete-time stationary processes
SIAM J. Control
(Nov. 1974) - D.G. Lainiotis
Partitioning: A unifying framework for adaptive systems, I: Estimation
- D.G. Lainiotis
Partitioning: A unifying framework for adaptive systems, II: Control
- D.G. Lainiotis
A unifying framework for linear estimation: Generalized partitioned algorithms
J. Information Sci.
(June, 1976)
Partitioned estimation algorithms, I: Nonlinear estimation
J. Information Sci.
Optimal nonlinear estimation
Internat. J. Control
Partitioned estimation algorithms, II: Linear estimation
J. Information Sci.
Partitioned linear estimation algorithms: discrete case
IEEE Trans. Automat. Control
Cited by (11)
Bayesian classification of hidden Markov models
1996, Mathematical and Computer ModellingWe develop a recursive maximum a posteriori classification algorithm for discrete valued stochastic processes modelled by Hidden Markov Models. The classification algorithm solves recursively the following problem: given a collection of HMM's , and a sequence of observations y1, …, yt from a stochastic process {Yt}t=1∞, find the HMM that has maximum posterior probability of producing y1,…, yt. This algorithm is a modification (for discrete valued stochastic processes) of the Lainiotis partition algorithm [1,2]. We prove that, subject to ergodicity and positivity assumptions on {Yt}t= 1∞, our algorithm will converge to the “right” (in the cross entropy sense) HMM as t → ∞, for almost all sequences y1, y2,…. Finally, we give an example of the application of our algorithm to the classification of speech signals.
Underwater tracking of a maneuvering target using time delay measurements
1995, Signal ProcessingThe problem of estimating the relative position of an underwater maneuvering target is treated as an estimation problem when an unknown and time varying bias is present in the plant noise process. Pilot-initiated maneuvers are modeled as impulsive unknown inputs affecting the bias term at times unknown to the observer. A new algorithm, capable of efficiently handling the problem of state estimation with time varying unknown bias, is derived by using the Lainiotis multimodel partitioning theory coupled with conventional constant bias estimation algorithms. Simulation results show that the proposed algorithm performs very well under adverse operating conditions, such as high measurement noise, long target to observer range and large-scale target maneuvers.
Das Problem, die relative Position eines Unterwasser manövrierenden Ziels zu bestimmen, wird als Schätzproblem behandelt, wobei ein unbekannter und zeitvarianter Bias im ‘plant-noise’-Prozeβ vorhanden ist. Durch Piloten eingeleitete Manöver werden als impulsartige und unbekannte Eingänge modelliert, die den Bias-Term zu Zeiten beeinflussen, die dem Beobachter unbekannt sind. Ein neuer Algorithmus, der in der Lage ist, das Problem der Zustandsschätzung mit zeitvariantem und unbekannten Bias effizient zu behandeln, wird durch Verwendung der Lainiotis Multimodell-Partitionierungstheorie gekoppelt mit konventionellen ‘constant-bias’-Schätzalgorithmen abgeleitet, Simulationsergebnisse zeigen, daβ der vorgeschlagene Algorithmus unter widrigen Betriebsbedingungen wie hohem Meβrauschen, groβem Abstand zwischen Ziel und Beobachter und umfangreichen Zielmanövern ein sehr gutes Verhalten afweist.
Le problème de l'estimation de la position relative d'une cible sous-marine manoeuvrante est traité comme un probleme d'estimation lorsqu'un biais inconnu et variant dans le temps est présent dans le bruit de processus. Les manoeuvres de pilotage sont modelisées comme des entrées du système, inconnues et de nature impulsive, affectant le terme de biais à des instants inconnus de l'observateur. Un nouvel algorithme, capable de traiter efficacement le problème de l'estimation d'état avec un biais inconnu variant dans le temps, est dérivé en utilisant la théorie du partitionnement multimodèle de Lainiotis, couplée avec des algorithmes conventionnels d'estimation de biais constant. Les résultats des simulations montrent que l'algorithme proposé se comporte très bien en cas de mauvaises conditions d'utilisation, par exemple bruit de mesure élevé, cible grande par rapport à ce que peut voir l'observateur ou manoeuvres de grande amplitude de la cible.
On the parallel implementations of the linear Kalman and Lainiotis filters and their efficiency
1991, Signal ProcessingIn this paper, the parallel implementations of two well-known linear state-space filtering algorithms, namely the Kalman and the Lainiotis filters, in MIMD machines are studied from a computational standpoint. The analysis assumes both time invariant and time varying system models and uses precedence graphs and critical paths. The parallelism efficiency of the implementations is also defined and studied. Results indicate that these algorithms can be implemented in parallel using a comparatively small number of processors. Furthermore, the efficiency of the parallel implementations can be very high or very low, depending on the state and measurement vector dimensions.
In dieser Arbeit werden parallele Realisierungen zweier bekannter Zustandsraum-Filteralgorithmen, nämlich der Kalman- und der Lainiotis-Filter, mit MIMD Prozessoren vom rechentechnischen Standpunkt aus untersucht. Die Analyse setzt sowohl zeitinvariante als auch zeitvariante Systemmodelle voraus und benutzt Präzedenzgraphen und kritische Pfade. Der Parallelitätswirkungsgrad der Realisierungen wird definiert und untersucht. Die Ergebnisse zeigen daβ diese Algorithmen parallel mit Hilfe einer vergleichsweise kleinen Anzahl von Prozessoren realisiert werden können. Weiterhin kann der Wirkungsgrad der Parallelrealisierungen sehr hoch oder sehr niedrig sein, abhängig von den Dimensionen des Zustands- und des Beobachtungsvektors.
Nous étudions dans cet article, d'un point de vue calculatoire, les implantations paralléles sur des machines MIMD de deux algorithmes de filtrage linéaire dans l'espace d'état bien connus, à savoir les filtres de Kalman et de Lainiotis. Cette analyse est valable à la fois pour des modèles invariants et variants dans le temps, et utilise des graphes de priorité et des chemins critiques. L'efficacité des implantations en parallèle est également définie et étudiée. Les résultats indiquent que ces algorithmes peuvent être implantés en parrallèle à l'aide d'un nombre comparativement petit de processeurs. De plus, l'efficacité de ces implantations en parallèle peut être très grande ou très petite selon les dimensions des vecteurs d'état et de mesure.
Optimal seismic deconvolution
1988, Signal ProcessingDeconvolution is one of the most important aspects of seismic signal processing e.g. for oil exploration, etc. The objective of the deconvolution procedure is to remove the obscuring effect of the wavelet's replicas making up the seismic trace and consequently obtain an estimate of the reflection coefficient sequence. In this paper generic formulas for obtaining optimal estimates of the reflection coefficient sequence are derived. These formulas can utilize any estimation/smoothing scheme and yield optimal fixed-point, fixed-lag and fixed-interval estimates of the reflection coefficient sequence. New deconvolution algorithms are derived by use of the new formulas and Lainiotis' partitioning filter and smoother. The new algorithms are compared to previous ones with respect to computational complexity, memory requirements, performance and parallelism efficiency. Additional results concerning the algorithms' asymptotic behavior are given and validated through extensive computer simulation.
Bei der Verarbeitung seismischer Signale, zum Beispiel im Zusammenhang mit der Suche nach Erdöl, spielt die Operation der Entfaltung eine wichtige Rolle. Durch die Entfaltung wird eine Folge von Reflexionskoeffizienten geschätzt, welche die seismische Spur charakterisiert. In diesem Beitrag werden entsprechende Beziehungen zur optimalen Schätzung der Reflexionskoeffizienten abgeleitet. Diese Formeln können in Verbindung mit beliebigen Schätz- und Glättungsverfahren verwendet werden und liefern optimatle Schätzungen (Festkomma Technik, konstante Verzögerung). Neue Entfaltungsalgorithmen werden abgeleitet unter Verwendung der genannten Beziehungen und des von Lainiotis angegebenen Trennungs- und Glättungsfilters. Die neuen Algorithmen werden mit früheren Ergebnissen bezüglich Komplexität, Speicherbedarf, Leistungsfähigkeit und Parallelität verglichen, darüber hinaus wird das asymptotische verhalten angegeben und durch Rechnersimulation bestätigt.
La déconvolution est l'un des aspects les plus importants du traitement des signaux sismiques, c'est-à-dire pour l'exploration pétrolière, etc. Le but de la déconvolution est d'enlever l'effet obscurcissant des répliques de l'ondelette constituant la trace sismique et d'obtenir conséquemment une estimation de la séquence des coefficients de réflexion. Dans cet article, des formules génériques permettant l'estimation optimale de la séquence des coefficients de réflexion sont établies. Ces formules peuvent utiliser n'importe quelle methode d'estimation ou d'adoucissement et fournissent des estimées optimales de la séquence des coefficients de reflexion en virgule fixe, retard fixe et intervalle fixe. De nouveaux algorithmes de déconvolution sont établis en utilisant ces formules ainsi que le filtre et l'adoucisseur de Lainiotis. Les nouveaux algorithmes sont comparés aux algorithmes précédents sur les plans de la complexité de calcul, des besoins en mémoire, des performances et de l'adaptation au parallèlisme. Des résultats additionnels concernant le comportement asymptotique des algorithmes sont donnés et validés par de nombreuses simulations sur ordinateur.
A new per-sample partitioning filter
1987, Signal ProcessingThe partitioning approach essentially constitutes an adaptive framework which is a unifying and powerful setting for optimal linear and nonlinear estimation. In particular, for the class of linear estimation problems, model partitioning has yielded [Lainiotis (1971–1979) and Lainiotis and Andrisani (1979, 1983)] two novel and practically useful estimation algorithms. The first algorithm results by partitioning the initial state vector into the sum of two independent random vectors, arbitrarily chosen by the filter designer. Similarly, the second algorithm results by partitioning both the initial state, and the process-noise vectors, respectively, into the sum of two random vectors. These algorithms were shown to posses several computational advantages, and interesting properties.
In this paper, based on the above results, a new linear estimation algorithm is obtained. This constitutes a per-sample partitioning version of the above Lainiotis-Andrisani algorithm. Moreover, a computational analysis of the new algorithm is made with respect to computer time and storage requirements. This is compared to the computational requirements of the Kalman filter, and relevant conclusions are drawn. Finally, to demonstrate the practical usefulness of the new algorithm to signal processing, they are applied to the important class of multi-sensor estimation problems, encountered in geophysical data processing, multi-radar problems, etc.
Das Verfahren der Zerlegung in Teilbereiche steckt einen Rahmen ab, in dem lineare und nichtlineare Schätzungsprobleme in einheitlicher Weise optimal gelöst werden können. Insbesondere für die Klasse der linearen Schätz-probleme hat die Zerlegung des Modells zwei neuartige und in der Praxis nützliche Schätzalgorithmen hervorgebracht [Lainiotis (1971–1979) und Lainiotis und Andrisani (1979, 1983)]. Im ersten Algorithmus wird der Eingangs-Zustandsvektor zerlegt in die Summe zweier voneinander unabhängiger Zufalls vektoren, die beim Entwurf des Filters beliebig gewählt werden. In ähnlicher Weise ergibt sich der zweite Algorithmus, indem sowohl der Eingangs-Zustandsvektor als auch der Vektor, der das Rauschen darstellt, in die Summe zweier Zufallsvektoren zerlegt werden. Wie gezeigt wurde, besitzen diese Algorithmen einige Vorteile bezüglich der Implementation sowie weitere interessierende Eigenschaften.
Auf der Grundlage obengenannter Ergebnisse wird in diesem Beitrag ein neuer linearer Schätzalgorithmus hergeleitet. Dieser est eine Version des Lainiotis-Andrisani-Algorithmus, bei der die Zerlegung für jeden Abtastwert einzeln erfolgt. Darüber hinaus wird der neue Algorithmus hinsichtlich des Rechenaufwandes und des Speicherbedarfs untersucht. Hierbei dient das Kalmanfilter als Vergleichsobjekt. Um schließlich die Nützlichkeit des neuen Algorithmus in der praktischen Anwendung in der Signalverarbeitung zu demonstrieren, wird der Algorithmus in dem wichtigen Bereich der Multi-Sensor-Schätzprobleme eingesetzt; derartige Aufgaben treten beispielsweise in der Geophysik oder der Radartechnik auf.
Le partitionnement constitue une approche essentiellement adaptative ainsi qu'un cadre unificateur et puissant pour les problèmes d'estimation optimale linéaire et non linéaire. Le partitionnement a conduit en particulier, pour la classe des problèmes d'estimation linéaire, à deux nouveaux algorithmes d'utilité pratique [1971–1979) et Lainiotis et Andrisani (1979, 1983)]. Le premier résulte du partitionnement du vecteur d'état initial en la somme de deux vecteurs aléatoires indépendants choisis arbitrairement par le concepteur du filtre. Le second algorithme résulte d'un partitionnement analogue du vecteur d'état initial et du vecteur bruit de processus. Ces algorithmes possèdent de nombreux avantages calculatoires et d'intéressantes propriétés.
Cet article décrit un nouvel algorithme d'estimation linéaire basé sur les résultats précédents. Il constitute une version à partitionnement par échantillon de l'algorithme de Lainiotis-Andrisani évoqué ci-dessus. De plus, une analyse de la complexité de ce nouvel algorithme est faite en termes de temps de calcul et d'encombrement-mémoire. Une comparaison est faite avec les besoins en calcul du filtre de Kalman. Enfin, pour démontrer l'intérêt pratique du nouvel algorithme en traitement du signal, son application est étudiée pour la classe importante des problèmes d'estimation multi-capteurs rencontrés en traitement de données géophysiques, en problèmes multi-radars, etc.
Advances in Computational Efficiencies of Linear Filtering
1983, Control and Dynamic Systems