Distribuzione e densità condizionata

Distribuzione condizionata

Definizione: Distribuzione condizionata

Data una variabile casuale $X$ definita su $(\Omega ,F,P)$ con $A\in F$ e con $P(A)\neq 0$, si dice distribuzione di $X$ condizionata all'evento $A$ la funzione

$F_{X|A}:\mathbb {R} \to [0,1]$

definita come

$F_{X|A}=P(X\leq x|A)$

dove

$P(X\leq x|A)=P(\{s\in \Omega \ |\ X(s)\leq x\ |\ A\})={\frac {P(\{s\in \Omega \ |\ X(s)\leq x\}\cap A)}{P(A)}}$

Nota: $F_{X|A}$ può essere vista come la funzione di distribuzione definita su $(\Omega ,F,P)$ con $P_{A}(B)=P(B|A)$.

Definizione: Funzione di densità di probabilità condizionata

Sia $X$ una variabile casuale su $(\Omega ,F,P)$ con $A\in F$ e $P(A)\neq 0$. Se esiste la funzione

$f_{X|A}:\mathbb {R} \to \mathbb {R} ^{+}$

tale che

$F_{X|A}(x|A)=\int _{-\infty }^{x}f_{X|A}(\alpha |A)d\alpha \ \ \forall x\in \mathbb {R}$

allora si dice che $F_{X|A}$ ammette densità e $f_{X|A}$ è la funzione di densità di probabilità condizionata di $X$ dato l'evento $A$.

Teorema: Teorema della probabilità totale

Sia $X$ una variabile casuale su $(\Omega ,F,P)$ con

$\Omega =\bigcup _{i=1}^{n}A_{i}$

con gli $A_{i}\in F$ disgiunti a coppie. Allora, la probabilità dell'evento

$\{s\in \Omega \ |\ X(s)\leq x\}\in \Omega$

è data da

$P(X\leq x)=P(X\leq x|A_{1})+P(X\leq x|A_{2})+\cdots +P(X\leq x|A_{n})$

ossia

$F_{X}(x)=F_{X|A_{1}}(x|A_{1})\cdot P(A_{1})+F_{X|A_{2}}(x|A_{2})\cdot P(A_{2})+\cdots +F_{X|A_{n}}(x|A_{n})\cdot P(A_{n})$

Se poi la variabile casuale $X$ ammette densità, allora si ha

$f_{X}(x)=f_{X|A_{1}}(x|A_{1})\cdot P(A_{1})+f_{X|A_{2}}(x|A_{2})\cdot P(A_{2})+\cdots +f_{X|A_{n}}(x|A_{n})\cdot P(A_{n})$

Esempio:

Sia $X$ una variabile casuale con funzione di densità di probabilità $f_{X}$ definita su $(a,b)$. Siano gli $A_{i}$ una partizione dell'insieme $(a,b)$. Data

$Y=g(X)$

si ha

${\begin{aligned}f_{Y}(y)&=f_{Y|A_{1}}(y|A_{1})\cdot P(A_{1})+f_{Y|A_{2}}(y|A_{2})\cdot P(A_{2})+\cdots +f_{Y|A_{n}}(y|A_{n})\cdot P(A_{n})\\&=\sum _{i=1}^{n}{\frac {f_{X|A_{i}}\left(g^{-1}(y|A_{i})\cdot P(A_{i})\right)}{\left|{\frac {dg}{dx}}\left(g^{-1}(y)\right)\right|}}\end{aligned}}$

Esercizio: Calcolo della densità di probabilità dell'errore di quantizzazione

Sia $X$ una variabile casuale con funzione di densità di probabilità $f_{X}~U(a,b)$ . Sia $E$ la variabile casuale errore, calcolare la sua $f_{E}$ con

$E=X-Z=X-h(X)=g(X)$

dove

$g(x)=\left\{{\begin{matrix}x-z_{1}&x\in (x_{1},x_{2}]\\x-z_{2}&x\in (x_{2},x_{3}]\\x-z_{3}sex\in (x_{3},x_{4}]\\x-z_{4}&x\in (x_{4},x_{5}]\end{matrix}}\right.$

In generale, per determinare la $f_{X|A}$ si deve conoscere lo spazio di probabilità $(\Omega ,F,P)$ su cui è definita la variabile casuale $X$, dal momento che bisogna calcolare la probabilità

$P(X\leq x|A)$

con $A\in F$. Se però $A$ è espresso in funzione di $X$, per esempio

$A=\{s\in \Omega \ |\ X(s)\in B\}{\text{ con }}B\in \mathbb {B(R)}$

allora la $f_{X|A}$ può essere calcolata a partire da $F_{X}$.

Esempio:

Sia $X$ una variabile casuale con distribuzione di probabilità $F_{X}$ e sia

$A=\{s\in \Omega \ |\ a<X(s)<b\}$

Allora, si ha

$F_{X|A}(x|A)=F_{X|A}(x|a<X\leq b)=P(X\leq x|a<X\leq b)={\frac {P(X\leq x\cap a<X\leq b)}{P(a<X\leq b)}}$

Si ha

$F_{X|A}(x\ |\ a<X\leq b)=\left\{{\begin{matrix}0&x<a\\{\frac {F_{X}(x)-F_{X}(a)}{F_{X}(b)-F_{X}(a)}}&x\in [a,b)\\1&x\geq b\end{matrix}}\right.$

Se la $F_{X}$ ammette anche densità, allora

$f_{X|a<X\leq b}(x|a<X\leq b)={\frac {dF_{X|A}}{dx}}(x|A)=\left\{{\begin{matrix}0&x\leq a,\ x>b\\{\frac {f_{X}(x)}{F_{X}(b)-F_{X}(a)}}&x\in (a,b]\end{matrix}}\right.$

Esercizio:

Sia $X$ una variabile casuale con $F_{X}$ e $f_{X}$. Calcolare la $F_{X|x>a}$ e la $f_{X|x>a}$.

Valore atteso condizionato ad un evento

Siano $(\Omega ,F,P)$ con $A\in F$ e con $P(A)\neq 0$. Data la variabile casuale $X$ definita su $(\Omega ,F,P)$ che ammette densità condizionata $f_{X|A}$, allora

$E[X|A]=\int _{-\infty }^{+\infty }xf_{X|A}(x|A)dx$

Se esiste una funzione $g(\cdot )$ per cui $Y=g(X)$, con $g:\mathbb {R} \to \mathbb {R}$ funzione di Borel, allora si ha

$E[Y|A]=\int _{-\infty }^{+\infty }g(x)f_{X|A}(x|A)dx$

Teorema: Teorema di Bayes

Sia data una variabile casuale $X$ definita su uno spazio di probabilità $(\Omega ,F,P)$, con $A\in F$ e con $x\in \mathbb {R} \ |P(X\leq x)\neq 0$. Allora, si ha

$P(A|X\leq x)={\frac {P(X\leq x|A)P(A)}{P(X\leq x)}}$

Esempio:

Sia $X$ una variabile casuale con distribuzione $F_{X}$ definita su $(\Omega ,F,P)$, con $A\in F$. Si ha

${\begin{aligned}P(A|x_{1}<X\leq x_{2})&={\frac {P(x_{1}<X\leq x_{2}|A)P(A)}{P(x_{1}<X\leq x_{2})}}\\&={\frac {[F_{X|A}(x_{2}|A)-F_{X|A}(x_{1}|A)]\cdot P(A)}{F_{x}(x_{1})-F_{X}(x_{2})}}\end{aligned}}$

Vediamo ora come è possibile calcolare la probabilità di un evento, condizionata ad una variabile casuale. Se si ha $X$ come variabile casuale discreta, si ha

$P(A|X=x)={\frac {P(X=x|A)\cdot P(A)}{P(X=x)}}$

con $P(X=x)\neq 0$. Se $X$ è una variabile casuale continua, al contrario, si ha che $P(X=x)=0\ \forall x\in \mathbb {R}$; osserviamo che vale

$\int _{B}f_{X|A}(x|A)P(A)dx=P(x\in B,A)\ \forall B\in \mathbb {B(R)}$

La probabilità di un evento $A$ condizionata a $X=x$ è definita come quella funzione

$g_{A}:\mathbb {R} \to \mathbb {R} ^{+}$

tale per cui

$\int _{B}g_{A}(x)f_{X}(x)=P(x\in B,A)\ \forall B\in \mathbb {B(R)}$

La grandezza $P(A|X=x)$ può essere calcolata da

$P(A|X=x)=\left\{{\begin{matrix}{\frac {f_{X|A}P(A)}{f_{X}(x)}}&f_{X}(x)\neq 0\\0&{\text{altrimenti}}\end{matrix}}\right.$

Teorema: Teorema della probabilità totale

Data una variabile casuale $X$ definita su $(\Omega ,F,P)$, con $A\in F$ e con funzione di densità di probabilità $f_{X}(x)$, allora si ha che

$P(A)=\int _{-\infty }^{+\infty }P(A|X=x)f_{X}(x)dx$

Dimostrazione:

Dalla definizione precedente, si ha

$\int _{B}P(A|X=x)f_{X}(x)dx=P(x\in B,A)$

Se l'evento $B$ è tutto $\Omega$, allora si ha

$P(\Omega ,A)=P(\Omega \cap A)=P(A)$

Teorema: Teorema di Bayes per funzioni di densità di probabilità

Si ha lo spazio di probabilità $(\Omega ,F,P)$, con $a\in F$ come $\sigma$-algebra, e con $P(A)\neq 0$. Si ha una variabile casuale $X$ con funzione di densità di probabilità $f_{X}$. Allora, vale

$f_{X|A}(x|A)={\frac {P(A|X=x)f_{X}(x)}{\int _{-\infty }^{+\infty }P(A|X=x)f_{X}(x)dx}}={\frac {P(A|X=x)f_{X}(x)}{P(A)}}$

Dimostrazione:

È lasciata allo studente...

Densità condizionata di variabile casuale, data un'altra variabile casuale

Sappiamo calcolare la probabilità

$P(Y\in B|X=x)$

come un caso particolare di $P(A|X=x)$. In altri termini, si ha

$P(Y\in B|X=x)=\left\{{\begin{matrix}{\frac {f_{X|Y\in B}(x|Y\in B)P(Y\in B)}{f_{X}(x)}}&\forall x|f_{X}(x)\neq 0\\0&{\text{altrimenti}}\end{matrix}}\right.$

Definizione: Distribuzione di $Y$ condizionata a $X=x$

Data la variabile casuale $X$ con funzione di probabilità $F_{X}$, si ha

$F_{Y,X=x}(y|X=x)=P(Y\leq y|X=x)$

Questa è la funzione di distribuzione (se $f_{X}(x)\neq 0$) perché la funzione

$m_{X}:F\to [0,1]$

definita da

$m_{X}(A)=P(A|X=x)$

è una misura di probabilità se esiste la funzione di densità di probabilità $f_{Y|X}(y|x)$ tale per cui

$F_{Y|X=x}(y|X=x)=\int _{-\infty }^{+\infty }P_{Y|X}(B|x)dB$

da cui si ha che la $f_{Y|X}$ è una densità.

Proposizione:

$f_{Y|X}=\left\{{\begin{matrix}{\frac {f_{XY}(x,y)}{f_{X}(x)}}&f_{X}(x)\neq 0\\0&{\text{altrimenti}}\end{matrix}}\right.$

Questo risultato assomiglia alla probabilità condizionata di un evento, che è

$P(A|B)={\frac {P(B|A)P(A)}{P(B)}}={\frac {P(A,B)}{P(B)}}$

cioè, la dentistà di probabilità congiunta non è altro che l'intersezione delle due variabili casuali di partenza.

Teorema:

Si ha

$P(y\in C|X=x)=\int _{C}f_{Y|X}(y,x)dy\ \forall C\in \mathbb {B(R)}$

con $f_{Y|X}$ dato dalla proposizione precedente.

Dimostrazione:

Per definizione,

$\int _{B}P(Y\in C|X=x)f_{X}(x)dx=P(Y\in C,X\in B)\ \forall B\in \mathbb {B(R)}$

Si ha

${\begin{aligned}\int _{B}&\left(\int _{C}f_{Y|X}(y|x)dy\right)f_{X}(x)dx\\&=\int _{B}\int _{C}f_{Y|X}f_{X}(x)dydx\\&=\int _{C}\int _{B}f_{X,Y}(x,y)dxdy=P(X\in B,Y\in C)\\&\forall B,C\in \mathbb {B(R)} \end{aligned}}$

Osservazioni:

• $f_{Y|X}(y|{\bar {x}})$ è la sezione di $f_{X,Y}(x,y)$ con il piano $x={\bar {x}}$;
• se $X$ e $Y$ sono variabili casuali indipendenti, allora si ha

$f_{Y|X}(y|x)=f_{Y}(y)$

Infatti, se le due variabili sono indipendenti, la conoscenza di $Y$ non è in alcun mondo influenzata dalla conoscenza di $X$.

Valore atteso condizionato

Definizione: Valore atteso condizionato

Date due variabili casuali $X$ e $Y$, con funzione di densità di probabilità $f_{X,Y}(x,y)$, si definisce il valore atteso di $Y$ condizionato da $X=x$ la quantità

$E[Y|X=x]=\int _{-\infty }^{+\infty }yf_{Y|X}(y|x)dy$

Anche qui, vale il teorema del valore atteso che dice che, data una variabile casuale $Z=g(Y)$, si ha

$E[Z|X=x]=E[g(Y)|X=x]=\int _{-\infty }^{+\infty }g(y)\cdot f_{Y|X}(y|x)dy$

Proprietà: Proprietà del valore atteso condizionato:

• Se le variabili casuali $X$ e $Y$ sono indipendenti, allora $f_{Y|X}=f_{Y}$, da cui si ha

$E[Y|X=x]=\int yf_{Y|X}(y|x)dy=\int yf_{Y}(y)dy=E[Y]$

• Se $Y=g(X)$, allora si ha dipendenza totale e vale

$E[Y|X=x]=E[g(X)|X=x]=\int _{-\infty }^{+\infty }y\delta (y-g(x))dy=E[g(x)]$

Questo è abbastanza intuitivo: se si ha dipendenza completa $Y=g(X)$, allora vale

$f_{Y|X}(y|x)=\delta (y-g(x))$

cioè, si ha una $\delta$ quando $y=g(x)$, non si ha alcuna incertezza sul risultato.

• $E[g(X,Y)|X=x]=E[g(x,Y)|X=x]$

Se poi $g(x,Y)$ è separabile, cioè

$g(x,Y)=g_{1}(x)\cdot g_{2}(Y)$

allora si ha

$E[g_{1}(x)\cdot g_{2}(Y)|X=x]=g_{1}(x)\cdot E[g_{2}(Y)|X=x]$

Consideriamo il solito spazio di probabilità $\{\Omega ,F,P\}$ con le variabili casuali $X,Y~f_{X,Y}$ e con un'altra variabile casuale $Z:\Omega \to \mathbb {R}$ tale che

$Z(s)=E[Y|X=X(s)]\ \forall s\in \Omega$

La variabile casuale $Z$ ha un valore atteso condizionato; in generale, la variabile casuale $Z$ rappresenta il valore atteso condizionato

$E\left[Y|X\right]$

Teorema:

Si ha

$E[Z]=E\left[E[Y|X]\right]=E[Y]$

Dimostrazione:

Si ha

$E[Z]=\int _{-\infty }^{+\infty }E[Y|X=x]f_{X}(x)dx$

Applicando il teorema del valore atteso, si ha

${\begin{aligned}E[Z]&=\int _{-\infty }^{+\infty }\left(\int _{-\infty }^{+\infty }y\cdot f_{Y|X}(y|x)dy\right)\cdot f_{X}(x)dx\\&=\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }y\cdot f_{Y|X}(y|x)dxdy\\&=\int _{-\infty }^{+\infty }y\cdot f_{Y}(y)dy=E[Y]\end{aligned}}$

Stima con la massima probabilità a posteriori (MPP) e con la massima verosimiglianza (MV)

Dato lo spazio di probabilità $\{\Omega ,F,P\}$ con $A,{\bar {A}}\in F$ e $A\cap {\bar {A}}=\varnothing \ \ A\cup {\bar {A}}=\Omega$, si definisce la variabile casuale

$X~f_{X}(x)=f_{X|A}(x|A)\cdot P(A)+f_{X|{\bar {A}}}(x|{\bar {A}})\cdot P({\bar {A}})$

Quello che vogliamo fare è, dato ${\bar {x}}$, capire a quale delle due popolazioni $f_{X|A}$ oppure $f_{X|{\bar {A}}}$ appartiene. Se si prende l'esempio delle molecole di gas, la funzione di densità di probabilità dell'energia è una combinazione lineare di altre funzioni di densità di probabilità; qui è la stessa cosa, si vuole calcolare la densità di uscita come mixture di altre densità.

Esempio: Canale discreto gaussiano

Si ha un canale discreto con rumore gaussiano.

I simboli di partenza possono essere $A$ oppure ${\bar {A}}$, il rumore è di tipo gaussiano $N(\mu ,\sigma )$ e la variabile casuale di interesse è la $X$ di uscita. Se si trasmette il segnale $A$, la funzione di densità di probabilità sarà la $f_{X|A}$; al contrario, se si trasmette ${\bar {A}}$, allora la densità sarà $f_{X|{\bar {A}}}$.

Si ha

• $A\Rightarrow f_{X|A}(x|A)=N(\mu +A,\sigma )$
• ${\bar {A}}\Rightarrow f_{X|{\bar {A}}}(x|{\bar {A}})=N(\mu +{\bar {A}},\sigma )$

Da qui, si ha che la $f_{X}$ sarà una combinazione lineare di $f_{X|A}$ e $f_{X|{\bar {A}}}$. In questo esempio, la somma sarà pesata con le probabilità dei due simboli, $P(A)$ e $P({\bar {A}})$. Lo scopo finale di questo lavoro è osservare il risultato della variabile casuale $X$ per capire se è stato trasmesso $A$ o ${\bar {A}}$

Esempio:

Data un'altezza umana, si tratta dell'altezza di un uomo o di una donna?

Massima probabilità a posteriori

La massima probabilità a posteriori è definita come

$P(A|X=x)=\left\{{\begin{matrix}>P({\bar {A}}|X=x)&A\\<P({\bar {A}}|X=x)&{\bar {A}}\end{matrix}}\right.$

Se vale $P(A|X=x)>P({\bar {A}}|X=x)$, allora decidiamo che è stato trasmesso $A$ e non ${\bar {A}}$.

Il criterio a massima probabilità a posteriori, quindi, è

$f_{X|A}(x|A)\cdot P(A)\left({\begin{matrix}<\\>\end{matrix}}\right)f_{X|{\bar {A}}}(x|{\bar {A}})\cdot P({\bar {A}})$

Massima verosimiglianza

Nel caso in cui $P(A)=P({\bar {A}})$, il criterio di massima probabilità a posteriori diventa un criterio di massima verosimiglianza.

$f_{X|A}(x|A)\cdot P(A)\left({\begin{matrix}<\\>\end{matrix}}\right)f_{X|{\bar {A}}}(x|{\bar {A}})\cdot P({\bar {A}})=f_{X|A}(x|A)\left({\begin{matrix}<\\>\end{matrix}}\right)f_{X|{\bar {A}}}(x|{\bar {A}})$

Il criterio a massima verosimiglianza è meno potente di quello a massima probabilità a posteriori, perché quest'ultimo sfrutta la conoscenza della probabilità dei simboli prima di essere trasmessi, mentre il secondo metodo si limita ad osservare il risultato finale e la funzione di densità di probabilità, considerando tutti i simboli equiprobabili. Quindi, il criterio a massima verosimiglianza è meno potente, perché sfrutta meno informazioni.

Esercizio al calcolatore:

Stimare la MPP e la MV del sistema dell'esempio, con sorgente $A~U[0,1]$ e rumore $N(\mu =0,\sigma )$