An EM-based approach for parameter enhancement with an application to speech signals

doi:10.1016/0165-1684(95)00068-O

Signal Processing

Volume 46, Issue 1, September 1995, Pages 1-14

https://doi.org/10.1016/0165-1684(95)00068-O Get rights and content

Abstract

This paper considers the estimation of signal parameters and their enhancement using an approach based on the estimation-maximation (EM) algorithm, when only noisy observation data are available. The algorithm is derived with an application to speech signals. The distribution of the excitation source for the speech signal is assumed as a mixture of two Gaussian probability distribution functions with differing variances. This mixture assumption is experimentally valid in enhancing noise-corrupted speech. We recursively estimate the signal parameters and analyze the characteristics of its excitation source in a sequential manner. In the maximum likelihood estimation scheme we utilize the EM algorithm, and employ a detection and an estimation step for the parameters. For their enhancement we use a Kalman filter for the parameters obtained from the estimation procedure. Simulation results using synthetic and real speech data confirm the improved performance of our algorithm in noisy situations, with an increase of about 3 dB in terms of output SNR compared to conventional Gaussian assumption. The proposed algorithm also may be noteworthy in that it needs no voiced/unvoiced decision logic, thanks to the use of the residual approach in the speech signal model.

Zusammenfassung

Dieser Beitrag behandelt die Schätzung von Signalparametern und ihre Verbesserung unter Verwendung eines Ansatzes, der auf dem “Schätzungs-Maximierungs- (“EM-”) Algorithmus beruht, wobei nur verrauschte Daten verfügbar sind. Der Algorithmus wird für eine Anwendung auf Sprachsignale hergeleitet. Für die Verteilung der Erregungsquelle für das Sprachsignal wird eine Mischung zweier Gauβ-Verteilungsdichtefunktionen mit unterschiedlichen Varianzen angenommen. Diese Mischungsannahme erweist sich im Experiment bei der Verbesserung verrauschter Signale als gültig. Wir schätzen die Signalparameter rekursiv und analysieren die Eigenschaften der Erregungsquelle in sequentieller Weise. Den EM-Algorithmus nutzen wir innerhalb des Maximum-Likelihood-Schätzverfahrens, und wir verwenden einen Detektions- und einen Schätzschritt für die Parameter. Zu ihrer Verbesserung verwenden wir ein Kalmanfilter für die Parameter, die wir aus der Schätzprozedur erhalten haben. Simulationsergebnisse auf der Basis künstlicher und echter Sprachdaten bestätigen die bessere Leistungsfähigkeit unseres Algorithmus in Störsituationen durch eine 3-dB-Verbesserung gegenüber dem SNR bei einer normalen Gauβ-Annahme. Bemerkenswerterweise benötigt der vorgeschlagene Algorithmus dank der Verwendung eines Restsignal-Ansatzes im Sprachmodell keine Stimmhaft/ Stimmlos-Entscheidung.

Résumé

Cet article étudie l'estimation des paramètres du signal et leur rehaussement en utilisant une approche basée sur l'algorithme d'estimation-maximisation (EM), dans le cas où seules des données d'observation bruitées sont disponibles. L'algorithme est dérivé en vue d'une application aux signaux de parole. La distribution de la source d'excitation est supposée être un mélange de deux fonctions de distribution de probabilité gaussienne avec des variances différentes. Cette hypothèse a été validée expérimentalement pour le rehaussement de la parole corrompue par du bruit. Nous estimons récursivement les paramétres du signal et analysons les charactéristiques de sa source d'excitation de manière séquentielle. Dans le cadre de l'estimation au maximum de vraisemblance nous utilisons l'algorithme EM et employons un pas de detection et d'estimation pour les paramètres. Pour le rehaussement, nous utilisons un filtre de Kalman pour les paramètres obtenus par la procedure d'estimation. Les résultats de simulation utilisant des données de parole, synthétique et réelle, confirme les meilleures performances de notre algorithme dans les situations de bruit, avec un accroissement d'environ 3 dB du rapport signal-sur-bruit de sortie par rapport à l'hypothèse gaussienne conventionnelle. L'algorithme proposé peut aussi être digne d'attention en ce qu'il ne nécessite aucune logique de décision énoncé/ non-énoncé, grâce à l'utilisation de l'approche résiduelle dans le modèle du signal de parole.

References (21)

A.K. Mahalanabis et al.
Recursive decision directed estimation of reflection coefficients for seismic data deconvolution
Automatica
(1982)
B.D.O. Anderson et al.
A.P. Dempster et al.
Maximum likelihood from incomplete data via the EM algorithm
Ann. Roy. Stat. Soc. Ser. B.
(December 1977)
Y. Ephraim
A Bayesian estimation approach for speech enhancement using hidden Markov models
IEEE Trans. Signal Process.
(April 1992)
B.S. Everitt et al.
M. Feder et al.
Parameter estimation of superimposed signals using the EM algorithm
IEEE Trans. Acoust. Speech Signal Process.
(April 1988)
P. Huber
R. Lagendijk et al.
Identification and restoration of noisy blurred images using the expectation-maximization algorithm
IEEE Trans. Acoust. Speech Signal Process.
(July 1990)
B.-G. Lee et al.
A sequential algorithm for robust parameter estimation and enhancement of noisy speech
C.-H. Lee
On robust linear prediction of speech
IEEE Trans. Acoust. Speech Signal Process.
(May 1988)

There are more references available in the full text version of this article.

Cited by (27)

Multisensory processing for speech enhancement and magnitude-normalized spectra for speech modeling
2008, Speech Communication
Citation Excerpt :
Based on the domain in which removal is done, speech enhancement algorithms may be classified under two broad categories, namely, time-domain based algorithms and spectral-domain based methods. For the former category, examples include (Paliwal and Basu, 1987; Gannot et al., 1998; Lee et al., 1995). For the latter, Quatieri (2002) provides a nice description of various algorithms including spectral subtraction, Wiener filtering, model-based processing and auditory masking.
In this paper, we tackle the problem of speech enhancement from two fronts: speech modeling and multisensory input. We present a new speech model based on statistics of magnitude-normalized complex spectra of speech signals. By performing magnitude normalization, we are able to get rid of huge intra- and inter-speaker variation in speech energy and to build a better speech model with a smaller number of Gaussian components. To deal with real-world problems with multiple noise sources, we propose to use multiple heterogeneous sensors, and in particular, we have developed microphone headsets that combine a conventional air microphone and a bone sensor. The bone sensor makes direct contact with the speaker’s temple (area behind the ear), and captures the vibrations of the bones and skin during the process of vocalization. The signals captured by the bone microphone, though distorted, contain useful audio information, especially in the low frequency range, and more importantly, they are very robust to external noise sources (stationary or not). By fusing the bone channel signals with the air microphone signals, much improved speech signals have been obtained.
Temporally correlated source separation using variational Bayesian learning approach
2007, Digital Signal Processing: A Review Journal
Basic blind source separation (BSS) algorithms did not adopt time information of signals. They assumed that each source was independent and identically distributed (i.i.d.). In the paper, we propose to use time structure and prior information of sources in order to improve separation. Modeling source by generalized autoregressive (GAR) process, we can tackle the problem of temporally correlated source separation using variational Bayesian (VB) learning approach. The advantages of our proposed algorithm are that (i) it makes full use of time structure of sources; (ii) it can separate different type of sources in noisy environment; (iii) it can avoid overfitting in separation. Experimental results demonstrate that our algorithm outperforms VB separation algorithm based on i.i.d. source model and second-order statistical decorrelation algorithm.
Adaptive model-based speech enhancement
2001, Speech Communication
Citation Excerpt :
We have published preliminary results in (Logan and Robinson, 1997a). Several other adaptive enhancement algorithms which make ML estimates of the unknown parameters have been proposed (Lee et al., 1995; Gannot, 1998; Lee et al., 1996). These approaches estimate the enhanced speech within a Kalman filter framework.
We investigate the enhancement of speech corrupted by unknown independent additive noise when only a single microphone is available. We present adaptive enhancement systems based on an existing non-adaptive technique [Ephraim, Y., 19992a. IEEE Transactions on Signal Processing 40 (4), 725–735]. This approach models the speech and noise statistics using autoregressive hidden Markov models (AR-HMMs). We develop two main extensions. The first estimates the noise statistics from detected pauses. The second forms maximum likelihood (ML) estimates of the unknown noise parameters using the whole utterance. Both techniques operate within the AR-HMM framework. We have previously shown that the ability of AR-HMMs to model speech can be improved by the incorporation of perceptual frequency using the bilinear transform. We incorporate this improvement into our enhancement systems. We evaluate our techniques on the NOISEX-92 and Resource Management (RM) databases, giving indications of performance on simple and more complex tasks, respectively. Both enhancement schemes proposed are able to improve substantially on baseline results. The technique of forming ML estimates of the noise parameters is found to be the most effective. Its performance is evaluated over a wide range of noise conditions ranging from −6 to 18 dB and on various types of stationary real-world noises.
Wir untersuchen die Verbesserung von Sprache die durch eine unbekanntes unabhängiges additives Geräusch gestört ist für den Fall, dass nur ein einzelnes Mikrophone verfügbar ist. Wir presentieren ein adaptives Verbesserungssystem basierend auf existierenden nicht-adaptiven Verfahren [Ephraim, Y., 19992a. IEEE Transactions on Signal Processing 40 (4), 725–735]. Dieser Ansatz modelliert die Sprach und Geräusch Verteilung durch Benutzung von auto-regressiven “hidden Markov” Modellen (AR-HMMs). Wir haben zwei Haupterweiterungen entwickelt. Die erste bestimmt die Geräuschstatistik von erkannten Pausen. Die zweite Erweiterung bestimmt “maximum likelihood (ML)” Bewertungen der unbekannten Geräuschparameter basierenden auf der gesamten Äuzerung. Wir haben bereits gezeigt, dass die Fähigkeit von AR-MMs Sprache zu modellieren, verbessert werden kann durch Berücksichtigung von wahrnehmbaren Frequenzen unter Verwendung der bilinearen Transformation. Wir haben diese Verbessung in unser Erweiterungssystem einbezogen. Wir bewerten den Erfolg unserer Methoden für die NOISEX-92 und “Resource Management (RM)” Datenbanken, resultierend in Bewertungen für einfache (im Falle von NOISEX-92) und schwerere Fälle (im Falle von RM). Beide Erweiterungsmethoden erzielen wesentliche Verbesserung wenn verglichen mit Resultaten von Basisverfahren. Es stellt sich heraus, dass die ML Bewertung der Geräuschparameter die erfolgreichste Methode ist. Ihre Leistung is bestimmt für eine weite Spanne von Geräuschbedingungen (von −6 dB bis 18 dB) und für verschiedene Arten von stationären “real-world” Geräuschen.
Nous explorons des méthodes d'amélioration de la parole altérée par un bruit additif indépendant avec une source unique. Nous présentons des systèmes d'amélioration adaptative basés sur une technique non-adaptative [Ephraim, Y., 19992a. IEEE Transactions on Signal Processing 40 (4), 725–735]. Cette approche permet de construire des modèles statistiques de la parole et du bruit en utilisant des modèles de Markov cachés auto-regressifs. Nous développons deux méthodes principales. La première méthode estime les modèles statistiques du bruit à partir des silences détectés. La deuxième crée des estimations du maximum de vraisemblance des paramètres du bruit inconnu en utilisant l'ensemble de la phrase. Les deux techniques opèrent sur un schéma auto-regressive hidden Markov models (AR-HMM). Nous avons montré précédemment que les possibilités des AR-HMMs pour modéliser la parole pouvaient être améliorées en incorporant une fréquence de perception utilisant une transformée bilinéaire. Nous introduisons cette correction dans nos systèmes d'amélioration de la parole. Nos approches sont évaluées sur les bases de données NOISEX-92 et Resource Management, en donnant des indications de la performance respectivement sur des taches simples et complexes. Les deux schémas permettent d'améliorer les résultats de base. La technique qui crée des estimations ML des paramètres du bruit apparaît être la plus efficace. Son efficacité est évaluée sur une large variété de bruits allant de −6 dB à 18 dB et sur divers types de bruit stationnaires réels.
Smoothing approach using forward-backward Kalman filter with Markov switching parameters for speech enhancement
2000, Signal Processing
In this paper, a smoothing approach for enhancing speech signals degraded by statistically independent additive nonstationary noise is developed. The autoregressive hidden Markov model (ARHMM) is used for modeling the statistical characteristics of both the clean speech signal and the nonstationary noise process. In this case, the speech enhancement comprises a weighted sum of the conditional mean estimators for the composite states of the models for the speech and noise, where the weights are equal to the posterior probabilities of the composite states, given the noisy speech. The conditional mean estimators use a smoothing approach based on two Kalman filters with Markovian switching coefficients, where one of the filters propagates in the forward-time direction and the other propagates in the backward-time direction with one frame. The proposed method is tested on speech signals degraded by Gaussian colored noise or nonstationary noise at various input signal-to-noise ratios. An approximate improvement of 4.7–5.2 dB in SNR is achieved at input SNR 10 and 15 dB. Also, in comparison with conventional method (Ephraim, IEEE Trans. Signal Process. SP-41 (April 1992) 725–735), our proposed method shows improvement of about 0.3 dB in SNR.
In dieser Arbeit wird ein Glättungsansatz zur Entstäorung von Sprachsignalen, welche durch statistisch unabhängiges additives instationäres Rauschen gestört sind, entwickelt. Das autoregressive hidden Markov Modell (ARHMM) wird zur Modellierung der statistischen Eigenschaften sowohl des ungestäorten Sprachsignals als auch des instationären Rauschprozesses verwendet. In diesem Fall umfasst die Sprachentstörung eine gewichtete Summe der bedingten Mittelwert-Schätzer für die zusammengesetzten Zustände der Modelle für Sprache und Rauschen. Die Gewichte sind dabei gleich den A-posteriori-Wahrscheinlichkeiten der zusammengesetzten Zustände unter der Bendingung gegebener verrauschter Sprache. Die bedingten Mittelwert-Schätzer verwenden einen Glättungsansatz, welcher auf zwei Kalman-Filtern mit Markovschen Schaltkoeffizienten beruht. Eines der Filter schreitet in Richtung der Zeit fort, während das andere mit einem Rahmen entgegengesetzt zur Zeitrichtung fortschreitet. Die vorgeschlagene Methode wird mit Sprachsignalen getestet, die durch färbiges oder instationäres Gaußsches Rauschen mit verschiedenen Signal-zu-Geräusch-Verhältnissen (SNR) gestört sind. Es wird eine SNR-Verbesserung von ca. 4.7–5.2 dB bei einem Eingangs-SNR von 10 und 15 dB erzielt. Im Vergleich zu einer herkömmlichen Methode (Epharaim, IEEE Trans. Singal Process. SP-41 (April 1992) 725–735), ergibt die vorgeschlagene Methode eine um 0.3 dB vergröb́erte SNR-Verbesserung.
Dans cet article, nous développons une approche de lissage pour le rehaussement des signaux de parole dégradés par un bruit non stationnaire additif statistiquement indépendant. Nous utilisons le modèle de Markov caché autorégressif pour modéliser les caractéristiques statistiques à la fois du signal de parole propre et du processus de bruit non stationnaire. Dans ce cas, le rehaussement de la parole contient une somme pondérée des estimateurs de moyenne conditionnelle pour les états composites des modèles pour la parole et le bruit, où les poids sont égaux aux probabilités à posteriori des états composites, étant donnée la parole bruitée. Les estimateurs de moyenne conditionnelle utilisent une approche de lissage basée sur deux filtres de Kalman avec des coefficients de changement Markoviens, où l’un des filtres se propage dans la direction directe du ternps et l’autre dans la direction inverse avec une trame. La méthode proposée est testée sur des signaux de parole dégradés par du bruit gaussien coloré ou du bruit non stationnaire a différents rapports signal sur bruit. Une amélioration approximative de 4.7–5.2 dB en SNR est atteinte à des SNR d’entrée de 10 et 15 dB. De plus, en comparaison avec une méthode conventionnelle (Epharaim, IEEE Trans. Singal Process. SP-41 (April 1992) 725–735), notre méthode présente une amélioration d’à peu près 0.3 dB en SNR.
Time-domain approach using multiple kalman filters and EM algorithm to speech enhancement with nonstationary noise
2000, IEEE Transactions on Speech and Audio Processing
Iterative and sequential kaiman filter-based speech enhancement algorithms
1998, IEEE Transactions on Speech and Audio Processing

View all citing articles on Scopus

View full text

PaperAn EM-based approach for parameter enhancement with an application to speech signals

Abstract

Zusammenfassung

Résumé

Automatica

Maximum likelihood from incomplete data via the EM algorithm

Ann. Roy. Stat. Soc. Ser. B.

A Bayesian estimation approach for speech enhancement using hidden Markov models

IEEE Trans. Signal Process.

Parameter estimation of superimposed signals using the EM algorithm

IEEE Trans. Acoust. Speech Signal Process.

Identification and restoration of noisy blurred images using the expectation-maximization algorithm

IEEE Trans. Acoust. Speech Signal Process.

A sequential algorithm for robust parameter estimation and enhancement of noisy speech

On robust linear prediction of speech

IEEE Trans. Acoust. Speech Signal Process.

Paper
An EM-based approach for parameter enhancement with an application to speech signals