Distribuzione e densità condizionata

Da Wikiversità, l'apprendimento libero.
Jump to navigation Jump to search
esercitazione
Distribuzione e densità condizionata
Tipo di risorsa Tipo: esercitazione
Materia di appartenenza Materia: Teoria dei segnali e dei fenomeni aleatori

Distribuzione condizionata[modifica]


Definizione: Distribuzione condizionata
Data una variabile casuale definita su con e con , si dice distribuzione di condizionata all'evento la funzione

definita come

dove


Nota: può essere vista come la funzione di distribuzione definita su con .


Definizione: Funzione di densità di probabilità condizionata
Sia una variabile casuale su con e . Se esiste la funzione

tale che

allora si dice che ammette densità e è la funzione di densità di probabilità condizionata di dato l'evento .



Teorema: Teorema della probabilità totale
Sia una variabile casuale su con

con gli disgiunti a coppie. Allora, la probabilità dell'evento

è data da

ossia


Se poi la variabile casuale ammette densità, allora si ha



Esempio:
Sia una variabile casuale con funzione di densità di probabilità definita su . Siano gli una partizione dell'insieme . Data

si ha



Esercizio: Calcolo della densità di probabilità dell'errore di quantizzazione
Sia una variabile casuale con funzione di densità di probabilità . Sia la variabile casuale errore, calcolare la sua con

dove

TFA esempio importante quantizzazione.png


In generale, per determinare la si deve conoscere lo spazio di probabilità su cui è definita la variabile casuale , dal momento che bisogna calcolare la probabilità

con . Se però è espresso in funzione di , per esempio

allora la può essere calcolata a partire da .


Esempio:
Sia una variabile casuale con distribuzione di probabilità e sia

Allora, si ha

TFA X variabile casuale per esempio densità condizionata.png

Si ha

Se la ammette anche densità, allora



Esercizio:
Sia una variabile casuale con e . Calcolare la e la .


Valore atteso condizionato ad un evento[modifica]

Siano con e con . Data la variabile casuale definita su che ammette densità condizionata , allora

Se esiste una funzione per cui , con funzione di Borel, allora si ha


Teorema: Teorema di Bayes
Sia data una variabile casuale definita su uno spazio di probabilità , con e con . Allora, si ha



Esempio:
Sia una variabile casuale con distribuzione definita su , con . Si ha


Vediamo ora come è possibile calcolare la probabilità di un evento, condizionata ad una variabile casuale. Se si ha come variabile casuale discreta, si ha

con . Se è una variabile casuale continua, al contrario, si ha che ; osserviamo che vale

La probabilità di un evento condizionata a è definita come quella funzione

tale per cui

La grandezza può essere calcolata da


Teorema: Teorema della probabilità totale
Data una variabile casuale definita su , con e con funzione di densità di probabilità , allora si ha che


Dimostrazione:
Dalla definizione precedente, si ha

Se l'evento è tutto , allora si ha




Teorema: Teorema di Bayes per funzioni di densità di probabilità
Si ha lo spazio di probabilità , con come -algebra, e con . Si ha una variabile casuale con funzione di densità di probabilità . Allora, vale


Dimostrazione:
È lasciata allo studente...


Densità condizionata di variabile casuale, data un'altra variabile casuale[modifica]

Sappiamo calcolare la probabilità

come un caso particolare di . In altri termini, si ha


Definizione: Distribuzione di condizionata a
Data la variabile casuale con funzione di probabilità , si ha

Questa è la funzione di distribuzione (se ) perché la funzione

definita da

è una misura di probabilità se esiste la funzione di densità di probabilità tale per cui

da cui si ha che la è una densità.



Proposizione:

Questo risultato assomiglia alla probabilità condizionata di un evento, che è

cioè, la dentistà di probabilità congiunta non è altro che l'intersezione delle due variabili casuali di partenza.



Teorema:
Si ha

con dato dalla proposizione precedente.


Dimostrazione:
Per definizione,

Si ha



Osservazioni:

  • è la sezione di con il piano ;
  • se e sono variabili casuali indipendenti, allora si ha
Infatti, se le due variabili sono indipendenti, la conoscenza di non è in alcun mondo influenzata dalla conoscenza di .

Valore atteso condizionato[modifica]


Definizione: Valore atteso condizionato
Date due variabili casuali e , con funzione di densità di probabilità , si definisce il valore atteso di condizionato da la quantità


Anche qui, vale il teorema del valore atteso che dice che, data una variabile casuale , si ha


Proprietà: Proprietà del valore atteso condizionato:
  • Se le variabili casuali e sono indipendenti, allora , da cui si ha
  • Se , allora si ha dipendenza totale e vale
Questo è abbastanza intuitivo: se si ha dipendenza completa , allora vale
cioè, si ha una quando , non si ha alcuna incertezza sul risultato.
Se poi è separabile, cioè
allora si ha


Consideriamo il solito spazio di probabilità con le variabili casuali e con un'altra variabile casuale tale che

La variabile casuale ha un valore atteso condizionato; in generale, la variabile casuale rappresenta il valore atteso condizionato


Teorema:
Si ha


Dimostrazione:
Si ha

Applicando il teorema del valore atteso, si ha



Stima con la massima probabilità a posteriori (MPP) e con la massima verosimiglianza (MV)[modifica]

Dato lo spazio di probabilità con e , si definisce la variabile casuale

Quello che vogliamo fare è, dato , capire a quale delle due popolazioni oppure appartiene. Se si prende l'esempio delle molecole di gas, la funzione di densità di probabilità dell'energia è una combinazione lineare di altre funzioni di densità di probabilità; qui è la stessa cosa, si vuole calcolare la densità di uscita come mixture di altre densità.


Esempio: Canale discreto gaussiano
Si ha un canale discreto con rumore gaussiano.

TFA mixture esempio canale discreto rumore gaussiano.jpg

I simboli di partenza possono essere oppure , il rumore è di tipo gaussiano e la variabile casuale di interesse è la di uscita. Se si trasmette il segnale , la funzione di densità di probabilità sarà la ; al contrario, se si trasmette , allora la densità sarà .

TFA mixture esempio canale discreto rumore gaussiano f X A.jpg

TFA mixture esempio canale discreto rumore gaussiano f X barA.jpg

Si ha

Da qui, si ha che la sarà una combinazione lineare di e . In questo esempio, la somma sarà pesata con le probabilità dei due simboli, e . Lo scopo finale di questo lavoro è osservare il risultato della variabile casuale per capire se è stato trasmesso o



Esempio:
Data un'altezza umana, si tratta dell'altezza di un uomo o di una donna?


Massima probabilità a posteriori[modifica]

La massima probabilità a posteriori è definita come

Se vale , allora decidiamo che è stato trasmesso e non .

Il criterio a massima probabilità a posteriori, quindi, è

Massima verosimiglianza[modifica]

Nel caso in cui , il criterio di massima probabilità a posteriori diventa un criterio di massima verosimiglianza.

Il criterio a massima verosimiglianza è meno potente di quello a massima probabilità a posteriori, perché quest'ultimo sfrutta la conoscenza della probabilità dei simboli prima di essere trasmessi, mentre il secondo metodo si limita ad osservare il risultato finale e la funzione di densità di probabilità, considerando tutti i simboli equiprobabili. Quindi, il criterio a massima verosimiglianza è meno potente, perché sfrutta meno informazioni.


Esercizio al calcolatore:
Stimare la MPP e la MV del sistema dell'esempio, con sorgente e rumore TFA esempio canale discreto rumore gaussiano sistema completo.JPG