Stimatori a minima varianza non polarizzati. Cramer-Rao lower bound. Stima a massima verosimiglianza e ai minimi quadrati. Approccio Bayesiano alla stima. Filtro di Wiener. Stime spettrali.
S.M. Kay, Fundamentals of statistical signal processing: Volume I - Estimation theory, Prentice Hall, 1998.
M.H. Hayes, Statistical Digital Signal Processing and Modeling, John Wiley & Sons, 1996.
A. Papoulis, S.U. Pillai, Probability, Random Variables, and Stochastic Processes, 4th ed., McGraw-Hill, 2002.
D. Manolakis, V.K. Ingle, S.M. Kogon, Statistical and Adaptive Signal Processing: Spectral Estimation, Signal Modeling, Adaptive Filtering and Array Processing, Artech House, 2005.
P. Stoica, R.L. Moses, Introduction to Spectral Analysis, Prentice Hall, 1997.
Obiettivi Formativi
Il corso ha lo scopo di fornire le conoscenze di base per il trattamento dei segnali stocastici, con particolare attenzione alla teoria della stima di parametri, con metodi Bayesiani e non Bayesiani, il filtraggio di segnali aleatori, i metodi di stima spettrale.
Al termine del corso, lo studente avrà acquisito la capacità di classificare i diversi metodi e i criteri usati nella teoria della stima e applicare i metodi piu' idonei nelle singole applicazioni per estrarre i parametri di interesse di un segnale in presenza di rumore.
Prerequisiti
Si presuppone una conoscenza di base di: teoria dei segnali; teoria delle probabilità; variabili e processi aleatori e loro caratterizzazione nel dominio temporale e della frequenza; calcolo vettoriale e matriciale.
Metodi Didattici
Lezioni frontali
Modalità di verifica apprendimento
L'esame finale consiste in due prove:
- un elaborato al calcolatore da effettuarsi (preferibilmente) in linguaggio MATLAB su un argomento concordato con il docente
- una prova orale sugli argomenti svolti durante il corso
Programma del corso
Richiami sulla definizione e proprietà delle variabili aleatorie. Richiami sui processi aleatori.
Introduzione al problema della stima. Dati osservati e modello del segnale. Generalità sugli stimatori. PDF dei dati. Bias di uno stimatore. Stimatore minimum variance unbiased (MVU): caso scalare e vettoriale. Esempi di calcolo della media e della varianza degli stimatori. Calcolo del Cramer-Rao lower bound (CRLB). Informazione di Fisher. CRLB e trasformazione dei parametri. CRLB per segnale in AWGN. Calcolo del CRLB per vettore di parametri. Esempi di calcolo del CRLB, caso scalare e vettoriale. Statistica sufficiente. Fattorizzazione di Neyman-Fischer. Uso della statistica sufficiente per ricavare lo stimatore MVU (teorema di Rao-Blackwell-Lehmann-Scheffe). Estensione al caso vettoriale.
Modello lineare. Stimatore per il modello lineare e sua covarianza. Modello lineare generalizzato ed estensione al caso vettoriale. Best unbiased linear estimator (BLUE), caso scalare e vettoriale. Esempi di calcolo del BLUE.
Stima a massima verosimiglianza (maximum likelihood estimator, MLE). Definizione e motivazioni del MLE. Proprieta' asintotiche del MLE. Calcolo del MLE per via numerica. Stimatore ML per trasformazione dei parametri. Stima ML per vettore di parametri. Esempi di stima ML. Stima ai minimi quadrati (least squares, LS). Stima LS con modello lineare. Weighted LS. Interpretazione geometrica della stima LS. Stima LS non lineare.
Approccio Bayesiano alla stima. PDF a priori e a posteriori. Stimatore Bayesiano in senso MMSE. Modello lineare Bayesiano generalizzato. Esempi di stima Bayesiana. Stima Bayesiana con vettore di parametri. Rischio di Bayes. Stima maximum a posteriori (MAP). Stima MAP vettoriale. Esempi di stima MAP. Stimatore MAP per vettore di parametri. Stima LMMSE, caso scalare e vettoriale. Esempi di stima LMMSE. Interpretazione geometrica stima LMMSE.
Teoria del filtraggio ottimo. Filtro di Wiener: predizione, filtraggio, smoothing. Filtraggio FIR. Filtraggio IIR non causale. Filtraggio IIR causale. Filtraggio inverso e deconvoluzione.
Stime spettrali. Metodi non parametrici: periodogramma, periodogramma modificato, metodo di Welch-Bartlett, metodo di Blackman-Tukey. Stima a minima varianza. Metodi parametrici: stime spettrali basate su modelli AR, MA e ARMA. Metodi agli autovalori, Pisarenko Harmonic Decomposition, MUSIC, ESPRIT.