Distribuzione e densità condizionata

Distribuzione condizionata

Definizione: Distribuzione condizionata

Data una variabile casuale $X$ definita su $(\mathrm{\Omega },F,P)$ con $A\in F$ e con $P(A)\ne 0$, si dice distribuzione di $X$ condizionata all'evento $A$ la funzione

$F_{X|A}:ℝ\to [0,1]$

definita come

$F_{X|A}=P(X\le x|A)$

dove

$P(X\le x|A)=P(\{s\in \mathrm{\Omega }|X(s)\le x|A\})=\frac{P(\{s\in \mathrm{\Omega }|X(s)\le x\}\cap A)}{P(A)}$

Nota: $F_{X|A}$ può essere vista come la funzione di distribuzione definita su $(\mathrm{\Omega },F,P)$ con $P_A(B)=P(B|A)$.

Definizione: Funzione di densità di probabilità condizionata

Sia $X$ una variabile casuale su $(\mathrm{\Omega },F,P)$ con $A\in F$ e $P(A)\ne 0$. Se esiste la funzione

$f_{X|A}:ℝ\to {ℝ}^{+}$

tale che

$F_{X|A}(x|A)={\int }_{-\mathrm{\infty }}^x{f}_{X|A}(\alpha |A)d\alpha \mathrm{\forall }x\in ℝ$

allora si dice che $F_{X|A}$ ammette densità e $f_{X|A}$ è la funzione di densità di probabilità condizionata di $X$ dato l'evento $A$.

Teorema: Teorema della probabilità totale

Sia $X$ una variabile casuale su $(\mathrm{\Omega },F,P)$ con

$\mathrm{\Omega }=\bigcup _{i=1}^n{A}_i$

con gli $A_i\in F$ disgiunti a coppie. Allora, la probabilità dell'evento

$\{s\in \mathrm{\Omega }|X(s)\le x\}\in \mathrm{\Omega }$

è data da

$P(X\le x)=P(X\le x|A_1)+P(X\le x|A_2)+\cdots +P(X\le x|A_n)$

ossia

$F_X(x)=F_{X|A_1}(x|A_1)\cdot P(A_1)+F_{X|A_2}(x|A_2)\cdot P(A_2)+\cdots +F_{X|A_n}(x|A_n)\cdot P(A_n)$

Se poi la variabile casuale $X$ ammette densità, allora si ha

$f_X(x)=f_{X|A_1}(x|A_1)\cdot P(A_1)+f_{X|A_2}(x|A_2)\cdot P(A_2)+\cdots +f_{X|A_n}(x|A_n)\cdot P(A_n)$

Esempio:

Sia $X$ una variabile casuale con funzione di densità di probabilità $f_X$ definita su $(a,b)$. Siano gli $A_i$ una partizione dell'insieme $(a,b)$. Data

$Y=g(X)$

si ha

$\begin{array}{cc}{f}_Y(y)& =f_{Y|A_1}(y|A_1)\cdot P(A_1)+f_{Y|A_2}(y|A_2)\cdot P(A_2)+\cdots +f_{Y|A_n}(y|A_n)\cdot P(A_n)\\ & =\sum _{i=1}^n\frac{f_{X|A_i}(g^{-1}(y|A_i)\cdot P(A_i))}{\left|\frac{dg}{dx}(g^{-1}(y))\right|}\end{array}$

Esercizio: Calcolo della densità di probabilità dell'errore di quantizzazione

Sia $X$ una variabile casuale con funzione di densità di probabilità $f_{X}U(a,b)$ . Sia $E$ la variabile casuale errore, calcolare la sua $f_E$ con

$E=X-Z=X-h(X)=g(X)$

dove

$g(x)=\{\begin{array}{cc}x-z_1& x\in (x_1,x_2]\\ x-z_2& x\in (x_2,x_3]\\ x-z_{3}sex\in (x_3,x_4]\\ x-z_4& x\in (x_4,x_5]\end{array}$

In generale, per determinare la $f_{X|A}$ si deve conoscere lo spazio di probabilità $(\mathrm{\Omega },F,P)$ su cui è definita la variabile casuale $X$, dal momento che bisogna calcolare la probabilità

$P(X\le x|A)$

con $A\in F$. Se però $A$ è espresso in funzione di $X$, per esempio

$A=\{s\in \mathrm{\Omega }|X(s)\in B\}\text{ con }B\in 𝔹\mathbb{(}ℝ\mathbb{)}$

allora la $f_{X|A}$ può essere calcolata a partire da $F_X$.

Esempio:

Sia $X$ una variabile casuale con distribuzione di probabilità $F_X$ e sia

$A=\{s\in \mathrm{\Omega }|a<X(s)<b\}$

Allora, si ha

$F_{X|A}(x|A)=F_{X|A}(x|a<X\le b)=P(X\le x|a<X\le b)=\frac{P(X\le x\cap a<X\le b)}{P(a<X\le b)}$

Si ha

$F_{X|A}(x|a<X\le b)=\{\begin{array}{cc}0& x<a\\ \frac{F_X(x)-F_X(a)}{F_X(b)-F_X(a)}& x\in [a,b)\\ 1& x\ge b\end{array}$

Se la $F_X$ ammette anche densità, allora

$f_{X|a<X\le b}(x|a<X\le b)=\frac{d{F}_{X|A}}{dx}(x|A)=\{\begin{array}{cc}0& x\le a,x>b\\ \frac{f_X(x)}{F_X(b)-F_X(a)}& x\in (a,b]\end{array}$

Esercizio:

Sia $X$ una variabile casuale con $F_X$ e $f_X$. Calcolare la $F_{X|x>a}$ e la $f_{X|x>a}$.

Valore atteso condizionato ad un evento

Siano $(\mathrm{\Omega },F,P)$ con $A\in F$ e con $P(A)\ne 0$. Data la variabile casuale $X$ definita su $(\mathrm{\Omega },F,P)$ che ammette densità condizionata $f_{X|A}$, allora

$E[X|A]={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}x{f}_{X|A}(x|A)dx$

Se esiste una funzione $g(\cdot )$ per cui $Y=g(X)$, con $g:ℝ\to ℝ$ funzione di Borel, allora si ha

$E[Y|A]={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(x)f_{X|A}(x|A)dx$

Teorema: Teorema di Bayes

Sia data una variabile casuale $X$ definita su uno spazio di probabilità $(\mathrm{\Omega },F,P)$, con $A\in F$ e con $x\in ℝ|P(X\le x)\ne 0$. Allora, si ha

$P(A|X\le x)=\frac{P(X\le x|A)P(A)}{P(X\le x)}$

Esempio:

Sia $X$ una variabile casuale con distribuzione $F_X$ definita su $(\mathrm{\Omega },F,P)$, con $A\in F$. Si ha

$\begin{array}{cc}P(A|x_1<X\le x_2)& =\frac{P(x_1<X\le x_2|A)P(A)}{P(x_1<X\le x_2)}\\ & =\frac{[F_{X|A}(x_2|A)-F_{X|A}(x_1|A)]\cdot P(A)}{F_x(x_1)-F_X(x_2)}\end{array}$

Vediamo ora come è possibile calcolare la probabilità di un evento, condizionata ad una variabile casuale. Se si ha $X$ come variabile casuale discreta, si ha

$P(A|X=x)=\frac{P(X=x|A)\cdot P(A)}{P(X=x)}$

con $P(X=x)\ne 0$. Se $X$ è una variabile casuale continua, al contrario, si ha che $P(X=x)=0\mathrm{\forall }x\in ℝ$; osserviamo che vale

${\int }_B{f}_{X|A}(x|A)P(A)dx=P(x\in B,A)\mathrm{\forall }B\in 𝔹\mathbb{(}ℝ\mathbb{)}$

La probabilità di un evento $A$ condizionata a $X=x$ è definita come quella funzione

$g_A:ℝ\to {ℝ}^{+}$

tale per cui

${\int }_B{g}_A(x)f_X(x)=P(x\in B,A)\mathrm{\forall }B\in 𝔹\mathbb{(}ℝ\mathbb{)}$

La grandezza $P(A|X=x)$ può essere calcolata da

$P(A|X=x)=\{\begin{array}{cc}\frac{f_{X|A}P(A)}{f_X(x)}& f_X(x)\ne 0\\ 0& \text{altrimenti}\end{array}$

Teorema: Teorema della probabilità totale

Data una variabile casuale $X$ definita su $(\mathrm{\Omega },F,P)$, con $A\in F$ e con funzione di densità di probabilità $f_X(x)$, allora si ha che

$P(A)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}P(A|X=x)f_X(x)dx$

Dimostrazione:

Dalla definizione precedente, si ha

${\int }_{B}P(A|X=x)f_X(x)dx=P(x\in B,A)$

Se l'evento $B$ è tutto $\mathrm{\Omega }$, allora si ha

$P(\mathrm{\Omega },A)=P(\mathrm{\Omega }\cap A)=P(A)$

Teorema: Teorema di Bayes per funzioni di densità di probabilità

Si ha lo spazio di probabilità $(\mathrm{\Omega },F,P)$, con $a\in F$ come $\sigma$-algebra, e con $P(A)\ne 0$. Si ha una variabile casuale $X$ con funzione di densità di probabilità $f_X$. Allora, vale

$f_{X|A}(x|A)=\frac{P(A|X=x)f_X(x)}{{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}P(A|X=x)f_X(x)dx}=\frac{P(A|X=x)f_X(x)}{P(A)}$

Dimostrazione:

È lasciata allo studente...

Densità condizionata di variabile casuale, data un'altra variabile casuale

Sappiamo calcolare la probabilità

$P(Y\in B|X=x)$

come un caso particolare di $P(A|X=x)$. In altri termini, si ha

$P(Y\in B|X=x)=\{\begin{array}{cc}\frac{f_{X|Y\in B}(x|Y\in B)P(Y\in B)}{f_X(x)}& \mathrm{\forall }x|f_X(x)\ne 0\\ 0& \text{altrimenti}\end{array}$

Definizione: Distribuzione di $Y$ condizionata a $X=x$

Data la variabile casuale $X$ con funzione di probabilità $F_X$, si ha

$F_{Y,X=x}(y|X=x)=P(Y\le y|X=x)$

Questa è la funzione di distribuzione (se $f_X(x)\ne 0$) perché la funzione

$m_X:F\to [0,1]$

definita da

$m_X(A)=P(A|X=x)$

è una misura di probabilità se esiste la funzione di densità di probabilità $f_{Y|X}(y|x)$ tale per cui

$F_{Y|X=x}(y|X=x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{P}_{Y|X}(B|x)dB$

da cui si ha che la $f_{Y|X}$ è una densità.

Proposizione:

$f_{Y|X}=\{\begin{array}{cc}\frac{f_{XY}(x,y)}{f_X(x)}& f_X(x)\ne 0\\ 0& \text{altrimenti}\end{array}$

Questo risultato assomiglia alla probabilità condizionata di un evento, che è

$P(A|B)=\frac{P(B|A)P(A)}{P(B)}=\frac{P(A,B)}{P(B)}$

cioè, la dentistà di probabilità congiunta non è altro che l'intersezione delle due variabili casuali di partenza.

Teorema:

Si ha

$P(y\in C|X=x)={\int }_C{f}_{Y|X}(y,x)dy\mathrm{\forall }C\in 𝔹\mathbb{(}ℝ\mathbb{)}$

con $f_{Y|X}$ dato dalla proposizione precedente.

Dimostrazione:

Per definizione,

${\int }_{B}P(Y\in C|X=x)f_X(x)dx=P(Y\in C,X\in B)\mathrm{\forall }B\in 𝔹\mathbb{(}ℝ\mathbb{)}$

Si ha

$\begin{array}{cc}{\int }_B& ({\int }_C{f}_{Y|X}(y|x)dy)f_X(x)dx\\ & ={\int }_B{\int }_C{f}_{Y|X}{f}_X(x)dydx\\ & ={\int }_C{\int }_B{f}_{X,Y}(x,y)dxdy=P(X\in B,Y\in C)\\ & \mathrm{\forall }B,C\in 𝔹\mathbb{(}ℝ\mathbb{)}\end{array}$

Osservazioni:

• $f_{Y|X}(y|\overline{x})$ è la sezione di $f_{X,Y}(x,y)$ con il piano $x=\overline{x}$;
• se $X$ e $Y$ sono variabili casuali indipendenti, allora si ha

$f_{Y|X}(y|x)=f_Y(y)$

Infatti, se le due variabili sono indipendenti, la conoscenza di $Y$ non è in alcun mondo influenzata dalla conoscenza di $X$.

Valore atteso condizionato

Definizione: Valore atteso condizionato

Date due variabili casuali $X$ e $Y$, con funzione di densità di probabilità $f_{X,Y}(x,y)$, si definisce il valore atteso di $Y$ condizionato da $X=x$ la quantità

$E[Y|X=x]={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}y{f}_{Y|X}(y|x)dy$

Anche qui, vale il teorema del valore atteso che dice che, data una variabile casuale $Z=g(Y)$, si ha

$E[Z|X=x]=E[g(Y)|X=x]={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(y)\cdot f_{Y|X}(y|x)dy$

Proprietà: Proprietà del valore atteso condizionato:

• Se le variabili casuali $X$ e $Y$ sono indipendenti, allora $f_{Y|X}=f_Y$, da cui si ha

$E[Y|X=x]=\int y{f}_{Y|X}(y|x)dy=\int y{f}_Y(y)dy=E[Y]$

• Se $Y=g(X)$, allora si ha dipendenza totale e vale

$E[Y|X=x]=E[g(X)|X=x]={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}y\delta (y-g(x))dy=E[g(x)]$

Questo è abbastanza intuitivo: se si ha dipendenza completa $Y=g(X)$, allora vale

$f_{Y|X}(y|x)=\delta (y-g(x))$

cioè, si ha una $\delta$ quando $y=g(x)$, non si ha alcuna incertezza sul risultato.

• $E[g(X,Y)|X=x]=E[g(x,Y)|X=x]$

Se poi $g(x,Y)$ è separabile, cioè

$g(x,Y)=g_1(x)\cdot g_2(Y)$

allora si ha

$E[g_1(x)\cdot g_2(Y)|X=x]=g_1(x)\cdot E[g_2(Y)|X=x]$

Consideriamo il solito spazio di probabilità $\{\mathrm{\Omega },F,P\}$ con le variabili casuali $X,Y{f}_{X,Y}$ e con un'altra variabile casuale $Z:\mathrm{\Omega }\to ℝ$ tale che

$Z(s)=E[Y|X=X(s)]\mathrm{\forall }s\in \mathrm{\Omega }$

La variabile casuale $Z$ ha un valore atteso condizionato; in generale, la variabile casuale $Z$ rappresenta il valore atteso condizionato

$E[Y|X]$

Teorema:

Si ha

$E[Z]=E[E[Y|X]]=E[Y]$

Dimostrazione:

Si ha

$E[Z]={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}E[Y|X=x]f_X(x)dx$

Applicando il teorema del valore atteso, si ha

$\begin{array}{cc}E[Z]& ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}({\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}y\cdot f_{Y|X}(y|x)dy)\cdot f_X(x)dx\\ & ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}y\cdot f_{Y|X}(y|x)dxdy\\ & ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}y\cdot f_Y(y)dy=E[Y]\end{array}$

Stima con la massima probabilità a posteriori (MPP) e con la massima verosimiglianza (MV)

Dato lo spazio di probabilità $\{\mathrm{\Omega },F,P\}$ con $A,\overline{A}\in F$ e $A\cap \overline{A}=\varnothing A\cup \overline{A}=\mathrm{\Omega }$, si definisce la variabile casuale

$X{f}_X(x)=f_{X|A}(x|A)\cdot P(A)+f_{X|\overline{A}}(x|\overline{A})\cdot P(\overline{A})$

Quello che vogliamo fare è, dato $\overline{x}$, capire a quale delle due popolazioni $f_{X|A}$ oppure $f_{X|\overline{A}}$ appartiene. Se si prende l'esempio delle molecole di gas, la funzione di densità di probabilità dell'energia è una combinazione lineare di altre funzioni di densità di probabilità; qui è la stessa cosa, si vuole calcolare la densità di uscita come mixture di altre densità.

Esempio: Canale discreto gaussiano

Si ha un canale discreto con rumore gaussiano.

I simboli di partenza possono essere $A$ oppure $\overline{A}$, il rumore è di tipo gaussiano $N(\mu ,\sigma )$ e la variabile casuale di interesse è la $X$ di uscita. Se si trasmette il segnale $A$, la funzione di densità di probabilità sarà la $f_{X|A}$; al contrario, se si trasmette $\overline{A}$, allora la densità sarà $f_{X|\overline{A}}$.

Si ha

• $A\Rightarrow f_{X|A}(x|A)=N(\mu +A,\sigma )$
• $\overline{A}\Rightarrow f_{X|\overline{A}}(x|\overline{A})=N(\mu +\overline{A},\sigma )$

Da qui, si ha che la $f_X$ sarà una combinazione lineare di $f_{X|A}$ e $f_{X|\overline{A}}$. In questo esempio, la somma sarà pesata con le probabilità dei due simboli, $P(A)$ e $P(\overline{A})$. Lo scopo finale di questo lavoro è osservare il risultato della variabile casuale $X$ per capire se è stato trasmesso $A$ o $\overline{A}$

Esempio:

Data un'altezza umana, si tratta dell'altezza di un uomo o di una donna?

Massima probabilità a posteriori

La massima probabilità a posteriori è definita come

$P(A|X=x)=\{\begin{array}{cc}>P(\overline{A}|X=x)& A\\ <P(\overline{A}|X=x)& \overline{A}\end{array}$

Se vale $P(A|X=x)>P(\overline{A}|X=x)$, allora decidiamo che è stato trasmesso $A$ e non $\overline{A}$.

Il criterio a massima probabilità a posteriori, quindi, è

$f_{X|A}(x|A)\cdot P(A)\left(\begin{array}{c}<\\ >\end{array}\right)f_{X|\overline{A}}(x|\overline{A})\cdot P(\overline{A})$

Massima verosimiglianza

Nel caso in cui $P(A)=P(\overline{A})$, il criterio di massima probabilità a posteriori diventa un criterio di massima verosimiglianza.

$f_{X|A}(x|A)\cdot P(A)\left(\begin{array}{c}<\\ >\end{array}\right)f_{X|\overline{A}}(x|\overline{A})\cdot P(\overline{A})=f_{X|A}(x|A)\left(\begin{array}{c}<\\ >\end{array}\right)f_{X|\overline{A}}(x|\overline{A})$

Il criterio a massima verosimiglianza è meno potente di quello a massima probabilità a posteriori, perché quest'ultimo sfrutta la conoscenza della probabilità dei simboli prima di essere trasmessi, mentre il secondo metodo si limita ad osservare il risultato finale e la funzione di densità di probabilità, considerando tutti i simboli equiprobabili. Quindi, il criterio a massima verosimiglianza è meno potente, perché sfrutta meno informazioni.

Esercizio al calcolatore:

Stimare la MPP e la MV del sistema dell'esempio, con sorgente $AU[0,1]$ e rumore $N(\mu =0,\sigma )$