Caratterizzazione sintetica delle variabili casuali

In molti casi pratici interessa conoscere alcune caratteristiche sintetiche, dette momenti, di una variabile casuale. Queste caratteristiche possono essere calcolate dalla funzione di densità di probabilità.

Valor medio delle variabili casuali

Definizione: Valor medio

Sia $X$ una variabile casuale con $f_{X}(x)$. Si definisce il valor medio (o valore atteso) di $X$ la quantità

$\mu _{X}=E[X]=\int _{-\infty }^{+\infty }xf_{X}(x)dx$

Nel caso di variabili casuali discrete, invece, è definito come

$\mu _{X}=E[X]=\sum _{i}x_{i}p_{i}$

visto che si ha

$f_{X}(x)=\sum _{i}p_{i}\delta (x-x_{i})$

Esempio: Funzione indicatrice

Sia lo spazio di probabilità $\{\Omega ,F,P\}$, con $A\in F$ e $X=I_{A}$ la funzione indicatrice. Si ha

$E[X]=0\cdot P(X=0)+1\cdot P(X=1)=0\cdot (1-P(A))+1\cdot P(A)=P(A)$

Quindi, il valor medio della funzione indicatrice è la probabilità di successo.

Si noti che il valor medio della funzione può non essere un risultato possibile per l'esperimento.

Esempio: Variabile casuale di Bernoulli

Si ha

$f_{X}(x)=p\cdot \delta (x-1)+(1-p)\cdot \delta (x)$

da cui

$E[X]=1\cdot p+0\cdot (1-p)=p$

Esempio: Variabile casuale di Poisson

Si ha

$f_{X}(x)=\sum _{k=0}^{+\infty }e^{-\lambda }{\frac {\lambda ^{k}}{k!}}\delta (x-k)\ \lambda >0$

da cui si ha

$E[X]=\sum _{k=0}^{\infty }ke^{-\lambda }{\frac {\lambda ^{k}}{k!}}$

Siccome vale la proprietà

$e^{\lambda }=\sum _{k=0}^{\infty }{\frac {\lambda ^{k}}{k!}}\cdot {\frac {de^{\lambda }}{d\lambda }}=e^{\lambda }=\sum _{k=0}^{\infty }k{\frac {\lambda ^{k-1}}{k!}}$

allora si ottiene

$E[X]=\left(\sum _{k=0}^{\infty }k{\frac {\lambda ^{k-1}}{k}}e^{-\lambda }\lambda \right)=e^{\lambda }e^{-\lambda }\lambda =\lambda$

Esempio: Variabile casuale uniforme

Si ha

$f_{X}(x)=\left\{{\begin{matrix}{\frac {1}{b-a}}&x\in (a,b)\\0&{\text{altrove}}\end{matrix}}\right.$

Allora, il valore atteso sarà

${\begin{aligned}E[X]&=\int _{-\infty }^{+\infty }xf_{X}(x)dx\\&=\int _{a}^{b}{\frac {x}{b-a}}dx\\&={\frac {1}{b-a}}\left[{\frac {x^{2}}{2}}\right]_{a}^{b}\\&={\frac {(b^{2}-a^{2})}{b-a}}\cdot {\frac {1}{2}}\\&={\frac {(b-a)(b+a)}{2(b-a)}}\\&={\frac {a+b}{2}}\end{aligned}}$

Esercizio per casa: La variabile casuale gaussiana

Trovare il valor medio $E[X]$ di una variabile casuale gaussiana,

$X~N(\mu _{X},\sigma _{X})$

Teorema: Teorema fondamentale del valore atteso

Data la variabile casuale ${\underline {X}}$ n-dimensionale con funzione di densità di probabilità $f_{\underline {X}}(\cdot )$ e la trasformazione

$g:\mathbb {R} ^{n}\to \mathbb {R}$ (una funzione di Borel)

si ha che, per la variabile casuale

$Y=g({\underline {X}})$

vale

$E[Y]=\int _{-\infty }^{+\infty }f_{Y}(y)dy=\int _{-\infty }^{+\infty }g(x_{1},x_{2},\cdots ,x_{n})f_{\underline {X}}(x_{1},x_{2},\cdots ,x_{n})dx_{1}dx_{2}\cdots dx_{n}$

Nel caso particolare in cui $n=1$ e con una variabile casuale discreta, si ha

$f_{X}(x)=\sum _{i}p_{i}\delta (x-x_{i})$

da cui

$Y=g(X)$

ha

$f_{Y}(y)=\sum _{i}p_{i}\delta (y-g(x_{i}))=\sum _{j}\left(\sum _{i\ |\ g(x_{i})=y_{j}}p_{i}\right)\delta (y-y_{j})$

da cui si ottiene

${\begin{aligned}E[Y]&=\int _{-\infty }^{+\infty }yf_{Y}(y)dy\\&=\sum _{j}y_{j}\left(\sum _{i\ |\ g(x_{i})=y_{j}}p_{i}\right)\\&=\sum _{i}g(x_{i})p_{i}\\&=\int _{-\infty }^{+\infty }g(x)f_{X}(x)dx\end{aligned}}$

Proprietà: Proprietà di linearità

Una variabile casuale n-dimensionale può essere vista come combinazione lineare di $n$ variabili casuali monodimensionali pesate

$Y=a_{1}g_{1}(x)+a_{2}g_{2}(x)+\cdots +a_{n}g_{n}(x)$

Questo porta alla proprietà

$E[Y]=\sum _{i=1}^{n}a_{i}E[g_{i}(x)]$

se poi si impone $a_{i}=1\ \forall i$, allora si ha che $X=(X_{1},X_{2},\cdots X_{n})$ e vale

$Y=X_{1}+X_{2}+\cdots +X_{n}$

da cui

$E[Y]=\sum _{i=1}^{n}E[X_{i}]$

Varianza delle variabili casuali

Definizione: Varianza di una variabile casuale

Data una variabile casuale $X$ con una funzione di densità di probabilità $f_{X}(x)$, si dice varianza la grandezza

$\sigma _{X}^{2}=\int _{-\infty }^{+\infty }(x-\mu _{X})^{2}f_{X}(x)dx$

con

$\mu _{X}=E[X]$

La varianza si può definire anche come

$\sigma _{X}^{2}=E[(x-\mu _{X})^{2}]$

Se la variabile casuale è discreta anziché continua, allora si ha

$\sigma _{X}^{2}=\sum _{i}p_{i}(x_{i}-\mu _{X})^{2}$

con $\mu _{X}=\sum _{i}x_{i}p_{i}$

Esempio: Variabile casuale binomiale

Si hanno $n$ prove ripetute indipendenti di una variabile casuale binomiale, con $\{\Omega ,F,P\}$, $F=2^{\Omega }$ e con

• $P(\{1\})=p$
• $P(\{0\})=(1-p)=q$

Si definisce lo spazio prodotto

${\bar {\Omega }}=\Omega \times \Omega \times \cdots \times \Omega$

${\bar {F}}=F\otimes F\otimes \cdots \otimes F$

${\bar {P}}=P\times P\times P\times \cdots \times P$

Se $X$ rappresenta il numero di successi su $n$ prove, si ha

$P(X=k)={\binom {n}{k}}p^{k}q^{n-k}$

da cui

${\begin{aligned}E[X]&=\sum _{k=0}^{n}k{\binom {n}{k}}p^{k}q^{n-k}\\&=\sum _{k=1}^{n}k{\frac {n!}{(n-k)!k!}}p^{k}q^{n-k}\\&=\sum _{k=1}^{n}{\frac {n!}{(n-k)!(k-1)!}}p^{k}q^{n-k}\\&=\sum _{k=0}^{n-1}{\frac {n!}{(n-k-1)!k!}}p^{k+1}q^{n-k-1}\\&=np\sum _{k=0}^{n-1}{\frac {(n-1)!}{(n-k-1)!k!}}p^{k}q^{n-k-1}=np\end{aligned}}$

Si ha:

${\begin{aligned}\sigma _{X}^{2}&=E[(X-\mu _{X})^{2}]\\&=E[(X^{2}-2\mu _{X}X+\mu _{X}^{2})]\\&=E[X^{2}]-\mu _{X}^{2}+2E[X]\mu _{X}\mu _{X}\\&=E[X^{2}]-\mu _{X}^{2}=E[X^{2}]-E^{2}[X]\end{aligned}}$

Esempio: Variabile casuale di Bernoulli

Si ha

$f_{X}(x)=p\delta (x-1)+q\delta (x)$

da cui

• $E[X]=p$
• $E[X^{2}]=1^{2}\cdot p+0\cdot q=p$

di conseguenza

$\sigma _{X}^{2}=E[X^{2}]-E^{2}[X]=p-p^{2}=p(1-p)=pq$

Esempio: Variabile casuale uniforme

Sia $X~U(a,b)$. Allora:

• $E[X]={\frac {b+a}{2}}$
• ${\begin{aligned}E[X^{2}]&=\int _{a}^{b}{\frac {1}{b-a}}x^{2}dx\\&={\frac {1}{b-a}}\left[{\frac {x^{3}}{3}}\right]_{a}^{b}\\&=\cdots \\&={\frac {1}{3}}(b^{2}+ab+a^{2})\end{aligned}}$

da cui si ottiene

${\begin{aligned}\sigma _{X}^{2}&=E[X^{2}]-E^{2}[X]\\&={\frac {1}{3}}(a^{2}+ab+b^{2})-{\frac {1}{4}}(a^{2}+ab+b^{2})\\&={\frac {(a^{2}+ab+b^{2})}{12}}\end{aligned}}$

Esempio: Variabile casuale gaussiana

Si ha una variabile casuale con distribuzione

$N(\mu ,\sigma )\Rightarrow f_{X}(\alpha )={\frac {1}{{\sqrt {2\pi }}\sigma }}e^{-{\frac {(\alpha -\mu )^{2}}{2\sigma ^{2}}}}$

Allora, vale

$\sigma _{X}^{2}=E[(X-\mu _{X})^{2}]={\frac {1}{{\sqrt {2\pi }}\sigma }}\int _{-\infty }^{+\infty }(\alpha -\mu )^{2}e^{-{\frac {(\alpha -\mu )^{2}}{2\sigma ^{2}}}}d\alpha$

Si impone $\alpha -\mu =\beta$ e si ha

$\sigma _{X}^{2}={\frac {1}{{\sqrt {2\pi }}\sigma }}\int _{-\infty }^{+\infty }\beta ^{2}e^{-{\frac {\beta ^{2}}{2\sigma ^{2}}}}d\beta$

Siccome vale

$\int gh'=gh-\int g'h$

allora, con

• $g=\beta$
• $h'={\frac {\beta ^{2}}{\sigma ^{2}}}e^{-{\frac {\beta ^{2}}{2\sigma ^{2}}}}$
• $h=e^{-{\frac {\beta ^{2}}{2\sigma ^{2}}}}$

si ha

${\begin{aligned}\sigma _{X}^{2}&=-{\frac {\sigma }{\sqrt {2\pi }}}\left\{\left[\beta e^{-{\frac {\beta ^{2}}{2\sigma ^{2}}}}\right]-\int _{-\infty }^{+\infty }e^{-{\frac {\beta ^{2}}{2\sigma ^{2}}}}d\beta \right\}\\&=\sigma ^{2}{\frac {1}{{\sqrt {2\pi }}\sigma }}\int _{-\infty }^{+\infty }e^{-{\frac {\beta ^{2}}{2\sigma ^{2}}}}d\beta =\sigma ^{2}\end{aligned}}$

Momenti delle variabili casuali

Definizione: Momenti di una variabile casuale

Sia $X$ una variabile casuale con funzione di densità di probabilità $f_{X}(x)$. Si dice momento di ordine $n$ della variabile casuale $X$ la quantità

$m_{n,X}=E[X^{n}]=\int _{-\infty }^{+\infty }\alpha ^{n}f_{X}(\alpha )d\alpha$

Definizione: Momento centrale di una variabile casuale

Data una variabile casuale $X$ con funzione di densitù di probabilità $f_{X}(x)$, si dice momento centrale di ordine $n$ di $X$ la quantità

$m_{n,X}^{c}=E[(X-\mu _{X})^{n}]=\int _{-\infty }^{+\infty }(\alpha -\mu _{X})^{n}f_{X}(\alpha )d\alpha$

Proprietà

Il valore atteso di una funzione di due variabili casuali $X$ e $Y$, con

• densità di probabilità $f_{X,Y}(x,y)$
• $g:\mathbb {R} ^{2}\to \mathbb {R}$ (funzione di Borel)

è dato da

$E[g(X,Y)]=\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }g(\alpha ,\beta )f_{X,Y}(\alpha ,\beta )d\alpha d\beta$

Inoltre, se vale

$g(\alpha ,\beta )=ag_{1}(\alpha ,\beta )+bg_{2}(\alpha ,\beta )$

allora

$E[g(X,Y)]=aE[g_{1}(\alpha ,\beta )]+bE[g_{2}(\alpha ,\beta )]$

Somma di variabili casuali

Siano $X$ e $Y$ due variabili casuali. Allora il valore atteso è

$E[X+Y]=E[X]+E[Y]=\mu _{X}+\mu _{Y}$

mentre la varianza è

$E[((X+Y)-(\mu _{X}+\mu _{Y}))^{2}]=E[(X-\mu _{X})^{2}]+E[(Y-\mu _{Y})^{2}]+2E[(X-\mu _{X})(Y-\mu _{Y})]=\sigma _{X}^{2}+\sigma _{Y}^{2}+2E[(X-\mu _{X})(Y-\mu _{Y})]\neq \sigma _{X}^{2}+\sigma _{Y}^{2}$

nel caso di indipendenza, si ha

$E[(X+Y-(\mu _{X}+\mu _{Y}))^{2}]=\sigma _{X}^{2}+\sigma _{Y}^{2}$

Prodotto di variabili casuali

Siano $X$ e $Y$ due variabili casuali. Allora il valore atteso del loro prodotto è

$E[XY]=\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }\alpha \beta f_{XY}(\alpha ,\beta )d\alpha d\beta \neq E[X]\cdot E[Y]$

Se poi $X$ e $Y$ sono indipendenti, allora si ha

$E[XY]=E[X]\cdot E[Y]$

La varianza, invece, è

$\sigma _{XY}^{2}=\mathbb {E} {\Big [}{\big (}XY-\mathbb {E} [XY]{\big )}^{2}{\Big ]}=\mathbb {E} [X^{2}Y^{2}]-\mathbb {E} [XY]^{2}$

Ancora una volta, nel caso di indipendenza, si ha

$\sigma _{XY}^{2}=\mathbb {E} {\Big [}{\big (}XY-\mathbb {E} [XY]{\big )}^{2}{\Big ]}=\mathbb {E} [X^{2}Y^{2}]-\mathbb {E} [XY]^{2}=\sigma _{X}^{2}\cdot \sigma _{Y}^{2}+\mathbb {E} [Y]^{2}\cdot \sigma _{X}^{2}+\mathbb {E} [X]^{2}\cdot \sigma _{Y}^{2}$

Variabili casuali incorrelate

Definizione: Variabili casuali incorrelate

Due variabili casuali $X$ e $Y$ con densità di probabilità $f_{XY}$ si dicono incorrelate se

$E[XY]=E[X]\cdot E[Y]$

Si ha

${\begin{aligned}X,Y{\text{ indipendenti }}&\Rightarrow &{\text{ incorrelate }}\\X,Y{\text{ incorrelate }}&\not \Rightarrow &{\text{ indipendenti }}\end{aligned}}$

Si ricordano le definizioni:

• incorrelazione $\Rightarrow \ E[XY]=E[X]\cdot E[Y]$
• indipendenza $\Rightarrow \ f_{XY}(\alpha ,\beta )=f_{X}(\alpha )\cdot f_{Y}(\beta )$

Esempio:

Siano $X$ e $Y$ due variabili casuali con

$f_{XY}(\alpha ,\beta )=\left\{{\begin{matrix}{\frac {1}{4}}&(\alpha ,\beta )=(1,1){\text{ oppure }}(\alpha ,\beta )=(-1,1)\\{\frac {1}{2}}&(\alpha ,\beta )=(0,0)\\0&{\text{ altrimenti }}\end{matrix}}\right.$

Allora, si ha

$E[XY]=\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }\alpha \beta f_{X,Y}(\alpha ,\beta )d\alpha d\beta =(-1)\cdot (-1)\cdot {\frac {1}{4}}+0\cdot 0\cdot {\frac {1}{2}}+(-1)\cdot (1)\cdot {\frac {1}{4}}=0$

$f_{X}(\alpha )=\int _{-\infty }^{+\infty }f_{XY}(\alpha ,\beta )d\beta =\cdots =\left\{{\begin{matrix}1/4&x=-1\\1/2&x=0\\1/4&x=1\\0&{\text{ altrove }}\end{matrix}}\right.$

Allo stesso modo, si ha

$f_{Y}(\beta )=\left\{{\begin{matrix}1/2&y=0\\1/2&y=1\\0&{\text{ altrove }}\end{matrix}}\right.$

Si ha

$E[X]=\int _{-\infty }^{+\infty }xf_{X}(x)dx=0$

$E[Y]=\int _{-\infty }^{+\infty }yf_{Y}(y)dy={\frac {1}{2}}$

da cui si deduce che le due variabili casuali sono incorrelate. Non si può dire, però che vi sia indipendenza.

Se due variabili casuali sono congiuntamente gaussiane e sono incorrelate, allora sono anche indipendenti; vale il viceversa.

Definizione: Variabili casuali ortogonali

Due variabili casuali $X$ e $Y$ con funzione di denstità di probabilità congiunta $f_{XY}$ si dicono ortogonali se

$E[XY]=0$

e si indicano con $X\perp Y$.

Si ha:

• $X,Y{\text{ incorrelate }}\not \Rightarrow X\perp Y$
• $X\perp Y\not \Rightarrow X,Y{\text{ incorrelate}}$
• $\left\{{\begin{matrix}X,Y{\text{ incorrelate}}\\\mu _{X}=0{\text{ e/o }}\mu _{Y}=0\end{matrix}}\right.\Rightarrow X\perp Y$
• $\left\{{\begin{matrix}X\perp Y\\\mu _{X}=0{\text{ e/o }}\mu _{Y}=0\end{matrix}}\right.\Rightarrow X,Y{\text{ incorrelate}}$
• $X,Y{\text{ indipendenti}}\not \Rightarrow X\perp Y$
• $\left\{{\begin{matrix}X,Y{\text{ indipendenti}}\\\mu _{X}=0{\text{ e/o }}\mu _{Y}=0\end{matrix}}\right.\Rightarrow X\perp Y$
• $X,Y{\text{ indipendenti}}\Rightarrow (X-\mu _{X})\perp (Y-\mu _{Y})$

Definizione: Covarianza di variabili casuali

Siano $X$ e $Y$ due variabili casuali con funzione di densità di probabilità congiunta $f_{XY}$. Si definisce la covarianza come

$C_{X,Y}=\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }(x-\mu _{X})(y-\mu _{Y})f_{XY}(x,y)dxdy$

dove si ha

• $\mu _{X}=E[X]$
• $\mu _{Y}=E[Y]$

Una definizione alternativa è

${\begin{aligned}C_{X,Y}&=E[(X-\mu _{X})(Y-\mu _{Y})]\\&=E[XY]-\mu _{X}E[Y]+\mu _{X}\mu _{Y}-\mu _{Y}E[X]\\&=E[XY]-E[X]\cdot E[Y]\end{aligned}}$

Si ha che due variabili casuali $X$ e $Y$ sono incorrelate quando $C_{X,Y}=0$.

Definizione: Coefficiente di correlazione

Date $X$ e $Y$ due variabili casuali con funzione di densità di probabilità congiunta $f_{XY}$, si dice coefficiente di correlazione di $X$ e $Y$ la grandezza

$r={\frac {C_{X,Y}}{\sigma _{X}\sigma _{Y}}}$

Esempio:

Sia $X$ una variabile casuale con funzione di densità di probabilità $f_{X}$ e sia

$Y=aX+b$

Mostrare che $r=1$ se $a>0$ e $r=-1$ se $a<0$.

Soluzione:

Il coefficiente di correlazione è una misura della forza della relazione lineare che intercorre tra $x$ e $Y$. Si ha

• $r=0\Rightarrow X,Y{\text{ incorrelate}}$
• $r=1\Rightarrow X,Y{\text{ non incorrelate}}$

Si ha

$C_{XY}=E[(X-\mu _{X})(Y-\mu _{Y})]$

dove

$\mu _{Y}=E[Y]=E[aX+b]=a\mu _{X}+b$

da cui

${\begin{aligned}C_{XY}&=E[(X-\mu _{X})(aX+\not b-(a\mu _{X}+\not b))]\\&=E[(X-\mu _{X})a(X-\mu _{X})]\\&=aE[(X-\mu _{X})^{2}]\\&=a\cdot \sigma _{X}^{2}\end{aligned}}$

Si ha

$\sigma _{Y}^{2}=E[(Y-\mu _{Y})^{2}]=E[a^{2}(X-\mu _{X})^{2}]=a^{2}\sigma _{X}^{2}$

da cui si può calcolare il coefficiente di correlazione

$r={\frac {C_{XY}}{\sigma _{X}\sigma _{Y}}}={\frac {a\sigma _{X}^{2}}{\sigma _{X}|a|\sigma _{X}}}={\frac {a}{|a|}}=\left\{{\begin{matrix}1&a>0\\-1&a<0\end{matrix}}\right.$