Prob 1
Prob 1
Prob 1
22 ottobre 2002
ii
Indice
1 Fondamenti 1.1 Esperimento aleatorio . . . . . . . . . . 1.1.1 Spazio dei campioni. Eventi . . 1.1.2 Operazioni tra eventi . . . . . . 1.1.3 Algebre e -algebre . . . . . . 1.1.4 Gli assiomi della probabilit` . . a 1.2 Esempi di spazi di probabilit` . . . . . . a 1.2.1 Lancio di una coppia di dadi . . 1.2.2 Sorgente binaria senza memoria 1.2.3 Spazio dei campioni discreto . . . . . . 1.2.4 Coppia di arrivi in 1.3 Denizioni alternative di probabilit` . . a 1.3.1 Denizione classica . . . . . . 1.3.2 Frequenza relativa . . . . . . . 1.4 Tecniche di conteggio . . . . . . . . . . 1.5 Eventi indipendenti . . . . . . . . . . . 1.6 Probabilit` condizionata . . . . . . . . a 1.7 Leggi Fondamentali . . . . . . . . . . . 1.8 Probabilit` , incertezza ed informazione. a 1.9 Esercizi . . . . . . . . . . . . . . . . . 2 Variabili e vettori aleatori 2.1 Variabili aleatorie . . . . . . . . . . . 2.2 Spazio di probabilit` generato dalla a 2.3 Funzione di Distribuzione Cumulativa 2.3.1 CDF empirica . . . . . . . . . 2.3.2 Propriet` della CDF . . . . . a 2.4 Variabili aleatorie discrete . . . . . . 2.5 Variabili aleatorie continue. . . . . . . 2.6 Distribuzioni e densit` condizionate. . a 2.7 Vettori aleatori . . . . . . . . . . . . 2.8 CDF congiunta di v.a. doppie. . . . . 2.9 Variabili aleatorie discrete doppie. . . 2.10 Variabili aleatorie continue doppie. . . iii
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
1 1 2 6 9 11 15 15 16 18 19 21 21 21 23 32 34 37 43 46 1 1 7 8 11 13 16 21 25 27 30 33 36
. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
2.11 V.a. doppie: CDF, pmf e pdf condizionate. . . . . 2.11.1 Coppie di v.a. discrete: pmf condizionate. 2.11.2 Coppie di v.a.continue: pdf condizionate. 2.12 Caratterizzazione probabilistica di ve.a.. . . . . . 2.12.1 Distribuzioni e densit` condizionate . . . a 2.13 Variabili aleatorie indipendenti . . . . . . . . . . 2.14 Esercizi . . . . . . . . . . . . . . . . . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
. . . . . . .
38 39 40 42 43 44 49
iv
Capitolo 1
Fondamenti
Nello studio dei fenomeni sici e di fondamentale importanza avere a disposizione ` un modello matematico che renda possibile la descrizione o la predizione di alcune caratteristiche di interesse. La relazione fornisce ad esempio il modello matematico per descrivere la velocit` di un corpo in caduta libera nel vuoto. Questo e un a ` esempio di modello deterministico in quanto ripetendo pi` volte lo stesso esperimento u si osserveranno, essenzialmente, gli stessi valori di velocit` in determinati punti dello a spazio. In condizioni non ideali tuttavia, questa legge pu` fornire risultati completao mente inadeguati: si pensi, ad esempio, al moto di una particella di polvere soggetta, oltre allaccelerazione di gravit` , anche allazione di disturbi ambientali difcilmente a predicibili, quali gradienti di temperatura, pressione e umidit` . a Lo scopo della teoria della probabilit` e quello di fornire modelli matematici per a` trattare situazioni non predicibili in maniera deterministica. I primi studi sulla teoria della probabilit` risalgono al 1650 quando il Cavalier de M r chiese agli amici Pascal a ee e Fermat di sviluppare un modello matematico per descrivere alcune ricorrenze del gioco dazzardo. Pi` avanti, verso gli inizi del 1900, basandosi sulle idee di Emile u Borel circa la teoria della misura, Andr Kolmogorov elabor` un insieme di assiomi e o tramite i quali la teoria della probabilit` poteva essere formalizzata mediante la teoria a della misura. Lo scopo del seguente capitolo e di fornire i concetti fondamentali della teoria della ` probabilit` insieme con le linee di guida per una sua corretta applicazione. a
Se invece si osserva lemissione di un pacchetto di simboli, sinteticamente -pacchetto, il generico risultato e unennupla ordinata di cifre binarie del tipo `
cio` linsieme delle -ple binarie: anche in questo caso lo spazio delle prove e e nito, precisamente ha cardinalit` ` a , e pu` essere rappresentato in forma o . tabellare come illustrato in tabella 1.1 per Se, inne, si osserva lemissione della sorgente no a quando non si ottiene un 1, il risultato e del tipo `
1 )
8 7 6 5 3 43 43 )3 43 3 4
)
'( % &
) )0
Esempio: coppie di arrivi in . Si consideri larrivo di un viaggiatore e di un treno in una certa stazione nellintervallo . Il generico risultato e la coppia `
degli istanti di arrivo del viaggiatore e del treno ed il corrispondente spazio dei campioni e `
Se poi si lancia il dado due volte o, equivalentemente, si lancia una coppia di dadi lo spazio dei campioni e: `
) 0 0 ) 0 0 ) ) 5
Tabella 1.2: Spazio dei campioni relativo al lancio di una coppia di dadi.
8 43 8 43 8 43 8 43 8 43 8 43
43 8 43 7 )3 6 43 5 3 3
7 43 7 43 7 43 7 43 7 43 7 43
8 43 7 43 6 )3 5 43 3 3
6 )3 6 )3 6 )3 6 )3 6 )3 6 )3
8 43 7 43 6 )3 5 43 3 3
8 7 6 5 3 43 43 )3 43 3 4
8 7 6$ 5
5 43 5 43 5 43 5 43 5 43 5 43
3 3 3 3 3 3
8 43 7 43 6 )3 5 43 3 3
Pertanto, in questo caso, lo spazio delle prove e il quadrato di gura 1.1.1 ed e ` ` innito non numerabile, precisamente e continuo. `
Considerato un esperimento siamo interessati a sapere se i risultati soddisno o meno determinate condizioni: siamo cio` interessati a conoscere se si verichino o e meno determinati eventi. Formalmente un evento e una proposizione concernente i ` possibili risultati dellesperimento: tale proposizione denisce un sottoinsieme di risultati, cio` un sottoinsieme dello spazio dei campioni . Levento si verica in una e generica prova dellesperimento se il particolare risultato di tale prova appartiene ad , cio` se e . Esempio: sorgente binaria (continuazione). Con riferimento allemissione di un pacchetto di lunghezza 3 sono, ad esempio, eventi
gli eventi
ed
0 ) 0 )
) 0 ) 0 )
0 )
5
si
Si noti che lo spazio dei campioni e esso stesso un evento cos` come si include tra ` gli eventi anche linsieme vuoto . Levento si verica in ogni prova, per cui viene 5
% ! %
! !
(continuazione).
5
Gli eventi sono sottoinsiemi dello spazio dei campioni e le operazioni sugli eventi corrispondono pertanto alle usuali operazioni tra sottoinsiemi. Cos` ad esempio, la
detto evento certo, mentre levento e levento impossibile in quanto non si verica ` mai. Inne gli eventi del tipo , costituiti cio` da un unico risultato, sono detti eventi e elementari.
disgiunzione di due eventi e , cio` levento o , e levento che si verica quando e ` si verica almeno uno tra i due eventi, eventualmente entrambi: essa coincide quindi con lunione dei sottoinsiemi e , cio` col sottoinsieme costituito dai risultati che e appartengono ad oppure a , eventualmente ad entrambi, e sar` pertanto denotata a , oppure , (vedi gura 1.3). con Analogamente la congiunzione di due eventi e e levento che si verica quando ` si vericano sia che ; coincide quindi con lintersezione dei sottoinsiemi e , cio` col sottoinsieme costituito dai risultati che appartengono sia ad che a e la si e denota pertanto con , oppure , (vedi gura 1.3). Due eventi e la cui intersezione e non vuota ` si dicono compatibili in quanto, in una prova dellesperimento in esame, possono vericarsi entrambi. Viceversa, due eventi e che non possono mai vericarsi contemporaneamente, cio` per i quali e , si dicono mutuamente esclusivi o incompatibili (gura 1.4). La negazione di un evento e levento che si verica ogni volta che non si verica ` ; essa e pertanto il complemento del sottoinsieme , cio` il sottoinsieme costituito ` e da tutti i risultati che non appartengono ad (gura 1.4). Ovviamente un evento ed il suo negato sono sempre mutuamente esclusivi.
Figura 1.3: Diagrammi di Venn relativi alla disgiunzione e alla congiunzione di eventi
W W
Inne la differenza tra due eventi e levento che si verica ogni volta che ` si verica , ma non ; essa e pertanto il sottoinsieme costituito dai risultati che ` appartengono ad e non appartengono a ; in altri termini si ha:
Figura 1.4: Diagrammi di Venn relativi alla negazione di eventi e ad eventi mutuamente esclusivi.
Per comodit` del lettore nella tabella 1.3 sono riportate le pi` comuni propriet` di a u a unione, intersezione e complementazione.
0 ) 0 )
0 ) 0 ) 0 ) 5 0 )
La disgiunzione
0 ) 0 )
degli eventi
e levento ` ed
e levento `
W
Idempotenza
Leggi di De Morgan
Complementazione
Tabella 1.3: Principali propriet` dellunione e dellintersezione a Quindi ed sono compatibili ed in ogni prova si vericano o meno entrambi . Analogamente la congiunzione di a seconda che il risultato sia o no ed e levento ` il numero di uno nel pacchetto e due `
Pertanto anche ed sono compatibili: in particolare se il risultato della prova e ` (oppure o ) si vericano entrambi, mentre se il risultato e ` si verica e no; inne se il risultato e ` (oppure , o ) non si verica nessuno dei due. Viceversa, avendosi La differenza , e sono mutuamente esclusivi.
e levento `
) 0
0 )
Inne levento
0 ) 0 ) 5 5 0 ) 5 ) 0 0 ) 0 ) 5 0 ) 0 ) & 5
Distributivit` a
Commutativit` a
Associativit` a
e il complemento di `
Come e noto le usuali operazioni insiemistiche possono essere eseguite anche su ` famiglie innite, numerabili o pi` che numerabili, di sottoinsiemi; inoltre, nel caso di u spazi delle prove inniti, occorre anche effettuare dei ragionamenti limite. A tal ne ricordiamo che si deniscono i limiti per successioni monotone di sottoinsiemi. Precisamente il limite di una successione crescente di sottoinsiemi, soddisfacente cio` la condizione: e
( ' $
'"
e per denizione `
&
!"
&
! # %$
&
e per denizione `
decrescente di sottoinsiemi,
2
&
un evento: ci` porta ad imporre alcuni condizioni sullinsieme degli eventi che si o sintetizzano dicendo che deve essere unalgebra. Formalmente una famiglia non vuota di sottoinsiemi di e unalgebra di eventi ` se - A1: - A2:
Dalle condizioni A1 ed A2 segue che sono soddisfatte anche le seguenti propriet` : a - P1: - P2: - P3: - P4:
Unalgebra di eventi e pertanto chiusa rispetto alle operazioni di complemen` tazione, unione ed intersezione eseguite su un numero nito di eventi. Talvolta e per` necessario operare dei ragionamenti al limite per cui occorre pren` o dere in esame successioni di eventi: in tal caso si richiede che comunque si operi su una successione di eventi si abbia ancora un evento. Ci` porta ad imporre che non solo o sia unalgebra, ma una -algebra. Precisamente unalgebra di eventi e una -algebra ` se:
In altri termini una -algebra e chiusa rispetto alle operazioni di complementazione, ` unione ed intersezione eseguite su un numero nito o uninnit` numerabile di eventi; a conseguentemente anche il limite di una successione monotona di eventi e un evento. ` Inne si osservi che le famiglie
ove denota linsieme di tutti i sottoinsiemi di (insieme delle parti di ), costituiscono, rispettivamente, la pi` piccola e la pi` grande -algebra (algebra); inoltre la u u pi` piccola -algebra (algebra) contenente un dato evento e u `
10
- A2.b
! !
%
! !
ove e linsieme degli eventi. Tale corrispondenza non pu` essere arbitraria, ma deve ` o soddisfare le seguenti condizioni (assiomi della probabilit` ): a
Gli assiomi della probabilit` sono anche noti come assiomi di Kolmogorov dal a nome del fondatore dellapproccio assiomatico. Essi affermano che la probabilit` di a un qualsiasi evento e non negativa (A1), che levento certo ha probabilit` uno (A2) ed ` a inoltre la probabilit` di due eventi mutuamente esclusivi e la somma delle probabilit` a ` a dei singoli eventi (A3a); tale propriet` vale anche per uninnit` numerabile di eventi a a a due a due mutuamente esclusivi (A3b). Si noti che in alternativa allassioma della numerabile additivit` molti autori a preferiscono considerare lassioma di continuit` : a A3b bis: Continuit` della probabilit` : a a
ove luguaglianza deve valere per ogni successione monotona, crescente o decrescente, ` di eventi. E possibile dimostrare che lassioma di continuit` e equivalente a quello a` della numerabile additivit` . a Dagli assiomi di Kolmogorov segue che la probabilit` gode anche delle seguenti a propriet` : a 11
!
% $
A2. Normalizzazione:
!
" #
(monotonicit` ) a
ove le varie relazioni valgono qualunque siano gli eventi o . In altri termini la probabilit` dellevento impossibile e nulla; la probabilit` di una a ` a negazione e semplicemente il complemento ad uno della probabilit` dellaffermazione; ` a la probabilit` di una differenza e la differenza tra la probabilit` del primo evento e a ` a quella della congiunzione; la probabilit` di una disgiunzione e, per eventi non necesa ` sariamente mutuamente esclusivi, pari alla somma delle probabilit` degli eventi cosa tituenti meno quella della loro congiunzione; inne la probabilit` e crescente rispetto a` alla relazione dinclusione.
La dimostrazione della prima propriet` segue dallapplicazione delladditivit` a a alluguaglianza Analogamente, applicando lassioma delladditivit` alla relazione a
e tenendo presente lassioma di normalizzazione si ricava la propriet` P2. a Per quanto concerne P3, consideriamo due eventi arbitrari e : come e ` immediato vericare (vedi gura 1.5) si ha:
12
(subadditivit` ) a
onde la P3. Per quanto concerne la P4 innanzi tutto osserviamo che si ha (vedi gura 1.5):
Tale disuguaglianza prende il nome di numerabile subadditivit` o maggiorazione a dellunione (Union Bound). Con ragionamento analogo a quello seguito per la dimostrazione della P4, e pos` sibile dimostrare anche la monotonicit` della probabilit` (P5). Precisamente, come a a illustrato in gura 1.6, risulta:
13
da cui, per la P3, segue lasserto. Si noti che la P4 vale anche per un numero nito eventi, si ha cio` : e
o uninnit` numerabile di a
(1.1)
Per comodit` del lettore gli assiomi e le propriet` della probabilit` sono riassunte a a a nella tabella 1.4.
A1 A2 A3a
Continuit` a
In conclusione, un esperimento aleatorio o spazio di probabilit` e la terna a` dove: 1. e linsieme di tutti i possibili risultati sperimentali (spazio dei campioni). ` 2. e la -algebra degli eventi. ` 3. e la legge di probabilit` soddisfacente gli assiomi di Kolmogorov. ` a La coppia
14
%
!
"
A3b
Numerabile additivit` a
%
!
illustrato in tabella 1.2. Come famiglia di eventi consideriamo linsieme delle parti di , cio` : e
In questo caso lo spazio dei campioni, e quindi anche linsieme degli eventi, e ni` to. Conseguentemente e sufciente assegnare le probabilit` agli eventi elementari, per ` a denire la probabilit` di un qualunque altro evento. Infatti ogni evento pu` sempre a o essere riguardato come lunione degli eventi elementari che lo costituiscono secondo la relazione (1.2) e, quindi, essendo gli eventi elementari mutuamente esclusivi e dovendo essere la probabilit` additiva, si ha: a (1.3) Si noti esplicitamente che la relazione (1.2) vale sempre, cio` sia se il numero di e eventi elementari costituenti levento e discreto, sia se tale numero e pi` che numer` ` u abile. Viceversa la relazione (1.3) vale se il numero di eventi elementari costituenti e nito in virt` della nita additivit` (A3), o se e numerabile, in virt` della numerabile ` u a ` u additivit` (A3b). a Nel caso in esame non vi e alcuna ragione per cui alcuni risultati dovrebbero veri` carsi preferenzialmente rispetto agli altri, a meno che i dadi non siano truccati; conseguentemente gli eventi elementari sono assunti equiprobabili (principio di ragion insufciente), cio` si pone: e
(1.4)
15
' 4 3 3
8 7 6 5 43 43 )3 43 3 34
4
3 3
ove
denota la cardinalit` di un insieme. a La funzione cos` denita, come e immediato vericare, e una probabilit` nel senso ` ` a che soddisfa gli assiomi. Infatti essa e non negativa (A1); inoltre si ha (A2): `
vale anche la nita additivit` (A3). a Denita la legge di probabilit` calcoliamo la probabilit` dei seguenti eventi: a a
16
3 3 6 )3 8 43 1 3 8 43
facce uguali
'
5 43 5 43 7 43 3 3 7 43
) %
6 )3 6 )3 8 43 5 43 5 43 6 )3
)3 6 5 43 )3 6 43 7 6)3 6 )3
%
7 43 7 43 5 43 6 )3 6 )3 5 43
8 43 8 43 6 )3 7 43 7 43 3
3 1 3 3 1 3 7 7 43 43 543 8 43 8 3 43 3 1 3
843 3 6 )3 3 3 3
Inne, avendosi
Anche in questo caso linsieme dei possibili risultati e quello degli eventi sono niti. Conseguentemente, sulla scorta di quanto detto nel paragrafo precedente, per assegnare una legge di probabilit` e sufciente denire la probabili` dellevento a` a . Posto infatti , con , necessariamente deve aversi , ove . Conseguentemente resta denita la probabilit` di tutti gli eventi elementari e quindi, a per la (1.2) e la (1.3), la probabilit` di un qualsiasi altro evento. a Consideriamo ora il caso in cui la sorgente emetta un pacchetto di lunghezza 3. Ricordiamo che in tal caso lo spazio dei campioni e: `
ed e illustrato nella tabella 1.1. Come algebra degli eventi consideriamo di nuovo ` linsieme delle parti, cio` : e Pertanto, ancora una volta, e sufciente assegnare la probabilit` degli eventi elementari ` a . A tal ne assegper denire anche la probabilit` di un qualsiasi altro evento a namo un numero non negativo agli eventi elementari come illustrato nella tabella 1.5, cio` con la legge: e
(1, 1, 0 ) (1, 1, 1)
ove , , denota il numero di 1 presenti nella stringa ed analogamente denota il numero di 0. Si estenda poi la legge ad un qualsiasi sottoinsieme di con la relazione:
17
)0 5
4
5
(1, 0, 1 )
(1, 0, 0 )
4
5
5
8 7 6$ 5 )
&
4
(1.5)
(1.6)
La funzione cos` denita e una probabilit` nel senso che soddisfa gli assiomi. In ` a vero e immediato vericare la non negativit` (A1) e la additivit` (A3); per quanto ` a a riguarda lassioma di normalizzazione (A2), con lausilio della tabella 1.5 e immediato ` vericare che si ha:
onde lasserto. Nel caso di pacchetti di lunghezza arbitraria si pu` procedere in modo analogo, o cio` denendo la probabilit` degli eventi elementari con la posizione e a
ed utilizzando poi la relazione (1.6) per estendere la legge ad un arbitrario evento. Anche in tal caso, come e immediato vericare, la corrispondenza (1.6) soddisfa gli ` assiomi di Kolmogorov.
utilizzando poi la (1.6) per estendere la probabilit` ad un evento arbitrario. a Infatti la probabilit` cos` denita e certamente non negativa e, per la (1.8), a ` normalizzata ad uno. Inoltre, tenendo presente che
e immediato vericare che vale anche la nita additivit` se gli eventi e sono dis` a giunti. Inne, in modo analogo, e possibile dimostrare anche la numerabile additivit` ` a se e innito numerabile. `
5 5 ' ' 5 4
18
4 4
4
(1.7) (1.8)
Si riprenda in esame lesperimento dellesempio 3, relativo allarrivo a caso di un vi, il cui spazio delle aggiatore e di un treno in una certa stazione nellintervallo prove e il quadrato: `
di gura 1.1.1. Tale spazio e innito non numerabile, precisamente e continuo. ` ` Nel caso di spazi continui, come famiglia di eventi, si considera la pi` piccola u algebra contenente gli intervalli (sotto-rettangoli del quadrato nel caso in esame): essa e costituita dai sottoinsiemi misurabili, per i quali cio` e denita larea, del quadrato ` e` . Dai dati del problema, cio` arrivi a caso, e ragionevole ipotizzare che la probae ` bilit` di avere arrivi in un certo intervallo non dipenda dagli estremi dellintervallo, a ma solo dalla sua durata, e quindi, pi` in generale, che la probabilit` di un evento sia u a proporzionale alla sua area. In altri termini, nel caso in esame, una possibile legge di probabilit` e: a`
Figura 1.7: Legge di probabilit` per lo spazio delle prove dellesempio 3. a La legge di corrispondenza denita dalla (1.9) e una probabilit` in quanto, come e ` a ` immediato vericare, e non negativa ed e normalizzata ad 1; inoltre la nita (rispettiva` ` mente numerabile) additivit` segue dalla nita (rispettivamente numerabile) additivit` a a dellarea: sono pertanto soddisfatti gli assiomi. In particolare, utilizzando la legge di probabilit` (1.9), si veda anche la g. 1.1.1, si a 19
ove
denota larea di
, ed e illustrata in g. 1.2.4, . `
(1.9)
ha probabilit` nulla pur non essendo levento impossibile, analogamente levento a complementare viaggiatore e treno non arrivano contemporaneamente
ha probabilit` uno pur non essendo levento certo. Nel primo caso si dice che a e levento impossibile con probabilit` uno (c.p.u.) o quasi con certezza (q.c.) e, ` a sinteticamente si scrive c.p.u. analogamente, nel secondo si dice che sinteticamente, si scrive
c.p.u.
o, equivalentemente sse
Conseguentemente, considerati due eventi eguali c.p.u., con riferimento ad una generica prova, la probabilit` che uno dei due eventi si possa vericare e laltro no e nulla, a ` mentre la probabilit` che si verichino entrambi gli eventi o che non si verichi nessuno a dei due e uno. ` Si osservi inne che la corrispondenza denita dalla (1.9) e una possibile legge ` di probabilit` ogni volta che lo spazio delle prove e un sottoinsieme di a ` di misura nita. Qualora si utilizzi la probabilit` denita dalla (1.9), si dice che la probabilit` e a a` stata assegnata a caso; tale assegnazione e lequivalente, per spazi delle prove continui, ` dellequiprobabilit` degli eventi elementari considerata nel caso discreto. a
20
se e solo se (sse):
$ 4
%
4
4 4
%
5 )
tra il numero di volte che si verica levento ed il numero complessivo delle prove. La probabilit` di e poi denita come il limite della frequenza relativa a ` in prove, indipendenti ed effettuate tutte in identiche condizioni, al divergere di (Legge empirica del caso): in altri termini, si pone: (1.10)
Tale denizione per` postula lesistenza del limite ed e circolare in quanto il cono ` cetto di indipendenza e esso stesso un concetto probabilistico (vedi sezioni successive) ` cos` come leffettuare le prove in identiche condizioni. 21
Nellambito dellapproccio assiomatico, come si vedr` in un prossimo capitolo, a e possibile per` dimostrare che la frequenza relativa, in opportune ipotesi che tra` o ducono in termini precisi laffermazione prove indipendenti ed effettuate in identiche condizioni, converge alla probabilit` (Legge dei grandi numeri). a Si osservi per` che la (1.10) ha notevole valore operativo in quanto, in ipotesi di o norma soddisfatte in pratica, risulta:
0.9
0.8
0.6
0.5
0.4
0.3
0.2
0.1
0 0 10
10
10 Numero di lanci
facce uguali .
A scopo illustrativo si riprenda in esame il lancio di una coppia di dadi, precedentemente analizzato, ed in particolare levento: facce uguali
In gura 1.8 e riportato landamento della frequenza relativa di tale evento in funzione ` del numero delle prove: landamento della frequenza di successo e molto irregolare ` 22
10
10
se il numero delle prove e basso, ma, mano a mano che tale numero cresce, lo scosta` mento dal valore precedentemente calcolato diventa trascurabile. Nella stessa gura landamento della frequenza di successo e riportato per tre diverse serie di prove: i vari ` andamenti sono inizialmente molto diversi, ma la loro differenza e trascurabile se il ` numero delle prove e sufcientemente elevato. ` Si osservi inne che gli andamenti riportati in gura 1.8 si possono anche interpretare come la conferma sperimentale delle ipotesi che sono alla base dellanalisi precedentemente effettuata.
Tabella 1.6: Coppie ordinate per il lancio di una moneta e di un dado. moneta bisogna considerare i 6 possibili risultati del lancio del dado, ottenendo cos` un insieme composto da coppie diverse. Il risultato stabilito nellesempio precedente e un caso particolare del seguente: ` 23
8 43 8 43
8 43
7 43 7 43
7 43
6 )3 6 )3
6 )3
) %
5 43 5 43
5 43
) 3 3
3
3 3
3
Teorema fondamentale del conteggio (o Principio di moltiplicazione): La cardinalit` dellinsieme denito dal prodotto cartesiano a
ove
, e: `
Prova:
Poich il primo elemento della -pla pu` essere scelto in e o in modi diversi e cos` via, segue lasserto.
Esempio: Detto alfabeto di una sorgente linsieme di tutti i simboli differenti che essa pu` emettere, si consideri la sorgente con alfabeto o
costituito da 4 simboli. Calcolare il numero di pacchetti di lunghezza 3 ( pacchetti) ed il numero di pacchetti sempre di lunghezza 3 costituiti da simboli tutti diversi tra loro. I -pacchetti sono le terne ordinate di simboli dellalfabeto , cio` gli elementi e dellinsieme la cui cardinalit` , a norma del teorema fondamentale, vale: a
Detto poi il sottoinsieme dei -pacchetti, costituiti da simboli tutti diversi tra loro, la sua cardinalit` la si ricava tenendo presente che, dovendo essere i simboli a della terna tutti diversi, il primo simbolo, diciamolo , va scelto nellalfabeto, cio` nellinsieme e
24
di cardinalit` a
'
%
5 5
6 5
In particolare si ha:
'
ovvero:
(1.11)
'
ed, inne, il terzo, diciamolo , nellalfabeto privato dei due simboli precedentemente scelti e quindi nellinsieme
In denitiva si ha:
Esempio: Si consideri lestrazione di 4 carte da un mazzo di carte napoletane (40 carte), effettuata in due modalit` differenti: a a. dopo ogni estrazione la carta estratta viene reinserita nel mazzo di carte; b. dopo ogni estrazione la carta estratta non viene reinserita nel mazzo di carte. Calcolare il numero di tutte le possibili quaterne di carte nei due casi. Nel primo caso, indicando con linsieme costituito dalle 40 carte napoletane, si ottiene che, per ognuna delle 4 estrazioni, il risultato sar` sempre un elemento a di . Ci` signica che linsieme di tutte le sequenze di 4 carte cos` ottenute, o che comprende anche quelle sequenze in cui la stessa carta si ripete pi` volte, e u ` linsieme
Nel secondo caso si esclude la possibilit` che la stessa carta possa ripetersi e a quindi, mentre la prima carta estratta apparterr` ancora allinsieme a , la seconda sar` un elemento di a cio` dellinsieme e meno il risultato della prima 25
% % ' 5 5
6
% 6 6 6
% 5
di cardinalit` a
'
di cardinalit` a
estrazione e cos` via. Pertanto, detto il sottoinsieme delle sequenze di 4 carte tutte diverse tra loro, la sua cardinalit` , a norma del teorema fondamentale, vale: a
Gli esempi precedenti mettono in evidenza due caratteristiche fondamentali delle -ple considerate: la prima e la loro natura intrinseca di sequenze, cio` gruppi costi` e tuiti da un insieme ordinato di elementi. Si parla quindi di -ple ordinate che, come risulta evidente dagli esempi, possono differire anche solo per lordine degli elementi che le compongono, cio` non per il loro valore ma per la loro posizione allinterno e della sequenza. La seconda caratteristica viene evidenziata dal fatto che, nel contare le sequenze, il conteggio d` luogo a risultati diversi a seconda che gli elementi posa sano ripetersi o meno. Nei due casi si parla rispettivamente di conteggio con e senza ripetizione. Sulla scorta di quanto detto precedentemente, supposto di estrarre gli elementi cosa , le -ple ordinate tituenti la -pla tutti da uno stesso insieme di cardinalit` di elementi di , cio` gli elementi di e , sono . Viceversa le -ple ordinate, con , senza ripetizione di elementi di sono:
denota il fattoriale di 1 . Si noti che, mentre linsieme delle -ple ordinate con ripetizione non e mai vuoto ` ` . per ogni e naturali, quello delle -ple ordinate senza ripetizione e vuoto per a Le -ple ordinate di elementi di un insieme , nito e non vuoto, di cardinalit` sono anche dette disposizioni, con o senza ripetizione, di elementi su posti. Pertanto il numero delle disposizioni, con ripetizione, di elementi su posti, denotato con , vale: Analogamente, il numero delle disposizioni, senza ripetizione, di dette anche permutazioni di elementi su posti, denotato con elementi su posti, , vale:
Il fattoriale pu` anche essere valutato ricorsivamente con la relazione: o ove, per convenzione, si assume .
26
1 Ricordiamo che si denisce fattoriale di un numero naturale , e lo si denota appunto con dei primi numeri naturali, cio` : e
, il prodotto
%$#"!
)
ove
'' %
'
'
'
)
6 5
% )
% )
543
elementi su
Esse sono le -ple ordinate, senza ripetizione, di tutti gli elementi dellinsieme , e quindi differiscono soltanto per la posizione dei singoli elementi allinterno della sequenza. Gli esempi precedenti si riferiscono a situazioni in cui lordine e rilevante, ma es` istono altre situazioni in cui lordine dei singoli elementi allinterno della -pla non rappresenta una caratteristica discriminante, come illustrato dal seguente: Esempio: Supponiamo che siamo interessati a considerare i gruppi di 2 simboli diversi, estratti dallalfabeto (1.11) di 4 simboli, ma questa volta senza essere interessati allordine. In altri termini siamo interessati a valutare il numero di tutti a o i possibili sottoinsiemi di di cardinalit` 2. Tale numero pu` ricavarsi da quello delle coppie ordinate di simboli diversi, identicando quelle che differiscono solo per lordine. Il numero delle coppie ordinate e `
Tra queste, quelle che differiscono solamente per lordine dei simboli, e che si ottengono luna dallaltra permutando, cio` scambiando di posizione, i simboli e che le costituiscono, sono, per le considerazioni precedenti, in numero di 2!. Pertanto il numero di coppie non ordinate, estratte da un alfabeto di 4 simboli, e: ` Tali coppie sono dette combinazioni di classe 2 dei 4 elementi dellalfabeto.
Pi` in generale i sottoinsieme di cardinalit` di un insieme , di cardinalit` , sono u a a dette combinazioni di classe degli elementi di . Sulla scorta delle considerazioni fatte nellesempio precedente, si ha che il numero delle combinazioni di classe di elementi, denotato con , vale:
27
Ovvero,
% % 6
% 6
6
Ricordiamo che tali coefcienti possono essere valutati ricorsivamente con il triangolo di Tartaglia riportato in gura 1.9: in tale triangolo ogni riga inizia e termina con un 1, inoltre ogni elemento interno di una riga si ottiene sommando i due elementi che lo sovrastano nella riga precedente.
Esempio: Si consideri lestrazione contemporanea, cio` senza criteri di ordinamento, e di 5 carte da un mazzo di 52 carte francesi. Valutare la probabilit` dellevento: a le 5 carte sono tutte dello stesso seme
Per calcolare la probabilit` richiesta occorre innanzitutto denire lo spazio dei a campioni dellesperimento considerato. Esso e costituito da tutte le cinquine di ` carte differenti; inoltre, per simmetria, gli eventi elementari sono equiprobabili. Ci troviamo quindi in condizioni di poter applicare la regola (1.4) per il calcolo della probabilit` per cui e necessario calcolare le cardinalit` sia dello spazio dei a ` a campioni che dellevento . Poich` nella situazione in esame non ha importanza e lordine delle carte che costituiscono la generica cinquina, la cardinalit` dello a spazio dei campioni e pari al numero di combinazioni di classe 5 di 52 elementi, ` cio` e
Per quanto riguarda il calcolo della cardinalit` dellevento dinteresse, si osservi a prima che esso pu` essere visto come lunione dei seguenti 4 eventi mutuamente o esclusivi: si estraggono 5 carte di cuori si estraggono 5 carte di quadri si estraggono 5 carte di ori si estraggono 5 carte di picche 28
% ' % % %
' ' %
Tali eventi sono equipotenti e la cardinalit` di ciascuno e pari al numero di a ` combinazioni di classe 5 di 13 elementi (il numero di carte dello stesso seme), cio` e
e quindi la cardinalit` dellevento di interesse, essendo lunione di 4 eventi a mutuamente esclusivi, e pari alla somma delle cardinalit` dei singoli addendi, ` a cio` e
Esempio: Si consideri lemissione di un pacchetto di lunghezza 5 da parte di una sorgente binaria. Calcolare il numero di pacchetti contenenti 2 simboli 1. Per poter contare le sequenze con due 1 si consideri un alfabeto ttizio composto da tre 0 e due 1. Permutando i 5 simboli dellalfabeto su tutte le possibili posizioni si ottengono sequenze con tre 0 e due 1. A causa della presenza di simboli uguali, per` , alcune delle permutazioni cos` ottenute risultano o indistinguibili; precisamente sono indistinguibili tutte le sequenze che si ottengono dalla permutazione di simboli uguali. Poich` nellalfabeto ci sono tre 0 e e due 1, le permutazioni che, a partire da una certa disposizione dei simboli, danno . Ci` signica che, per o luogo a sequenze indistinguibili sono in numero di ottenere il numero di sequenze diverse in cui sono presenti tre 0 e due 1, bisogna dividere il numero iniziale per . In conclusione, il numero delle sequenze in cui sono presenti 2 simboli 1 e: `
cio` il numero delle combinazioni di classe 2 di 5 elementi. e Allo stesso risultato si perviene se il problema viene riformulato come conteggio di tutte le possibili coppie delle posizioni dei simboli 1 estratte fra le 5 possibili posizioni allinterno della sequenza. In tal modo risulta evidente che si deve calcolare il numero delle coppie non ordinate (le posizioni degli 1) di elementi 29
'
'
%
'
% '
'
% '
% '
appartenenti ad un insieme di cardinalit` 5 (le possibili posizioni allinterno della a sequenza) e cio` il numero delle combinazioni di classe 2 di 5 elementi: e
Il risultato ottenuto in questo esempio si pu` ovviamente generalizzare al cono teggio delle sequenze binarie di lunghezza in cui siano presenti simboli 1: il loro numero e dato dalle combinazioni di classe di elementi, cio` : ` e
Le combinazioni di classe di elementi sono i sottoinsiemi di cardinalit` di a un insieme di cardinalit` : gli elementi costituenti il sottoinsieme sono per` tutti a o distinti. In alcuni casi invece si e interessati a calcolare il numero di insiemi di cardi` o nalit` costituiti da elementi dellinsieme consentendo per` che i singoli elementi a possano ripetersi, come illustrato dal seguente Esempio: Si riprenda in esame il lancio di una coppia di dadi: i possibili risultati sono le coppie ordinate di elementi di
Ovviamente e implicito in tale assunzione la possibilit` di distinguere la coppia ` a dalla coppia e simili: ci` e ad esempio possibile se i due dadi o` sono di colore diverso. Se non e possibile distinguere tali coppie allora linsieme ` dei possibili risultati dellesperimento e linsieme delle coppie non ordinate, con ` eventuale ripetizione degli elementi; precisamente e linsieme: `
di cardinalit` a
Per contare gli insiemi di cardinalit` costituiti da elementi appartenenti ad un a insieme di cardinalit` , con possibilit` di ripetizione, si pu` operare come segue. a a o
30
8 43 8 3 7 43 4 43
3 34 4
8 7 6 5 3 43 43 )3 43 3 4
8 743 643 )3
53 44 3 34 4
8 43 7 43 6 5 )3 43
63 )4 53 44 3 34 4
8 43 7 43 6 5)3 43 4 3
5 3 3
% 43 8 44 43 73 7 )4 )3 63 6 44 43 53 5 3 34 4 3 4 3
543 3
Si supponga di aver a disposizione scatole numerate da 1 ad , rappresentanti gli elementi di , e biglie, una per ogni elemento da scegliere: ogni -pla non ordinata u con ripetizione si pu` ottenere ponendo le biglie nelle scatole; ovviamente porre pi` o biglie nella stessa scatola equivale a scegliere pi` volte lelemento corrispondente a tale u scatola. A scopo illustrativo in gura 1.10 sono riportati alcuni insiemi di elementi , di elementi. Dalla gura e evidente ` estratti dallalfabeto
Figura 1.10: Disposizioni non ordinate (combinazioni), con ripetizione di 4 elementi su 3 posti. che ad ogni disposizione delle 3 barre (le barre denotano le pareti di separazione delle singole scatole mentre le doppie barre denotano le due pareti terminali che non vanno considerate) e delle 3 biglie corrisponde un sottoinsieme di elementi estratti, con ripetizione, dallalfabeto e viceversa. Pertanto il numero di disposizioni non ordinate con ripetizione di 4 elementi su 3 posti coincide con il numero di sequenze binarie di lunghezza 6 costituite da 3 barre e 3 biglie, cio` con le e disposizioni non ordinate (combinazioni) di classe 3 di 6 elementi:
Generalizzando il ragionamento esposto con riferimento al caso precedente, si ha che il numero delle disposizioni non ordinate con ripetizione di elementi su posti, dette anche combinazioni con ripetizione di classe di elementi, sono date da
in quanto coincidono con le possibili combinazioni di classe di barre pi` u biglie , cio` di e elementi. Si osservi esplicitamente che, cos` come per le disposizioni ordinate, anche nel caso delle combinazioni la ripetizione degli elementi permette di prendere in considerazione situazioni in cui il numero di posti risulta maggiore del numero di elementi, per cui la formula precedente e valida anche per ` . 31
'
'
6 5
6 5
6 5
6 5
6 5
'
5
6
6 6
Disposizioni
con ripetizione
senza ripetizione
elementi su
posti.
In tabella 1.7 sono riassunti i risultati stabiliti relativamente alle possibili disposizioni, ordinate e non ordinate, con e senza ripetizione, di elementi su posti.
(1.12)
Si noti che tale denizione e simmetrica nel senso che se e indipendente da anche ` ` e indipendente da . ` Eventi non indipendenti sono anche detti correlati. Si osservi che se e sono indipendenti lo sono anche e , e , e (vedi Ex. 1.22). Osserviamo esplicitamente che la denizione di indipendenza non va confusa con quella di eventi mutuamente esclusivi. Infatti se gli eventi e sono indipendenti allora la loro probabilit` congiunta e data dalla (1.12); conseguentemente possono a ` essere anche mutuamente esclusivi solo se almeno uno dei due ha probabilit` nulla. a Pertanto eventi mutuamente esclusivi, aventi probabilit` non nulla, sono correlati. Tale a affermazione si giustica anche intuitivamente: infatti se gli eventi sono mutuamente esclusivi il vericarsi delluno esclude il vericarsi dellaltro e quindi saper o meno che uno dei due si e vericato inuenza la nostra aspettativa sul vericarsi o meno ` dellaltro. 32
ordinate
La denizione di indipendenza pu` essere generalizzata ad un numero arbitrario o di eventi: precisamente gli eventi si dicono statisticamente indipendenti se per ogni sottoinsieme di eventi
In altri termini
Esempio: Sorgente binaria senza memoria (continuazione) Si riprenda in esame lemissione di un pacchetto lungo 3 con lassegnazione di probabilit` denita dalla (1.5) e dalla (1.6) e valutiamo se gli eventi a
sono indipendenti.
Con lausilio della tabella delle probabilit` degli eventi elementari (tabella 1.5) a e tenendo presente la costituzione degli eventi di interesse illustrata nella tabella 1.8, e immediato vericare che: `
( 1, 0, 0) ( 1, 0, 1) ( 1, 1, 0) ( 1, 1, 1)
5 4 5 5 4 5 5 4
' % # 1 5 7 5 5
( 0, 1, 0) ( 0, 1, 1) ( 1, 1, 0) ( 1, 1, 1)
( 0, 0, 1) ( 0, 1, 1) ( 1, 0, 1) ( 1, 1, 1)
33
5
5 % 4 5 % 4 5 % 4
' % #
8 5 5
5
si ha:
6$
( 1, 1, 0) ( 1, 1, 1)
( 1, 0, 1) ( 1, 1, 1)
sono indipendenti.
sono indipendenti. Ci` si esprime sinteticamente dicendo che le coordinate del o generico evento elementare sono indipendenti; in altri termini i bit sono emessi indipendentemente luno dallaltro. Invero lassegnazione di probabilit` agli eventi elementari riportata in tabella 1.5 e stata effettuata ipotizzando a ` lindipendenza dei vari bit, e ci` spiega anche lattributo senza memoria dato alla o sorgente binaria considerata.
(1.13)
34
!" ' % # 0
' % #
5
gli eventi
#$ ' % # 1 5 5
5 4) 0
5
( 0, 1, 1) ( 1, 1, 1)
' % #
5
4 5
!
5
La prima di tali relazioni afferma che, se il vericarsi di e condizione sufciente ` per il vericarsi di , allora la probabilit` di condizionata a deve essere uno; la a ` seconda asserisce che, se il vericarsi di e condizione necessaria per il vericarsi di , allora la probabilit` di condizionata a non deve diminuire; inne la terza a relazione afferma che se e sono mutuamente esclusivi, allora il vericarsi delluno esclude il vericarsi dellaltro e, quindi la probabilit` delluno condizionata allaltro a deve essere nulla. Tali propriet` sono illustrate in gura 1.11. a
&
Tale corrispondenza soddisfa gli assiomi di Kolmogorov e, quindi, denisce una nuova legge di probabilit` denominata la probabilita condizionata. Invero si ha: a `
La denizione data di probabilit` condizionata soddisfa le condizioni che intua itivamente sono richieste alla probabilit` condizionata. Infatti, dalla (1.13) segue a che:
! )
35
In altri termini, per eventi statisticamente indipendenti, il vericarsi o meno delluno non muta la probabilit` di vericarsi dellaltro. Viceversa per eventi correlati probaa bilit` a priori e probabilit` condizionate differiscono. In tal caso, se a a si dice che e positivamente correlato a , altrimenti si dice che e negativamente ` ` ` correlato a . E possibile dimostrare che se e correlato positivamente a allora ` anche e positivamente correlato ad (vedi esercizi). ` Si noti che oltre che probabilit` di condizionata a e anche numericaa ` o mente uguale alla verosimiglianza di per . Le due nozioni per` sono diverse: invero , come gi` detto e una legge di probabilit` , mentre la verosimiglianza, denita a ` a da , come e facile vericare, non lo e. In altri termini nel primo caso levento ` ` condizionante e sso, mentre varia quello condizionato; nel caso della verosimiglianza ` invece, e levento condizionato a non variare, mentre quello condizionante varia. ` Il signicato della probabilit` condizionata e ulteriormente chiarito dalla sua a ` interpretazione frequentistica. Infatti, secondo tale interpretazione risulta:
ove e denotano rispettivamente il numero di volte che si vericano in prove gli eventi e, rispettivamente, . Pertanto la probabilit` condizionata e la a ` frazione di volte che si verica levento non pi` in tutte le prove, ma limitatamente u a quelle in cui si verica . In altri termini le prove in cui non si verica vanno scartate e non contribuiscono pi` al calcolo della frequenza relativa. u La denizione di probabilit` condizionata e le sue propriet` sono presentate a a sinteticamente nella tabella 1.10. Introdotta la probabilit` condizionata, e possibile estendere la denizione di eventi a ` indipendenti ad eventi condizionalmente indipendenti. Precisamente, due eventi e si dicono condizionalmente indipendenti dato levento a probabilit` non nulla a ( ) se (1.14)
Analogamente alla denizione (1.12), lindipendenza equivale alla fattorizzazione della probabilit` congiunta, ma, in questo caso, la probabilit` considerata e quella a a ` condizionata. 36
Probabilit` condizionata a
Tabella 1.10: Probabilit` condizionata e sue propriet` . a a Anche in questo caso, come e immediato vericare, si ha `
cio` lulteriore condizionamento a (rispettivamente ad ) non ha alcun effetto sulla e probabilit` condizionata a . a In modo del tutto analogo si estende la denizione di indipendenza condizionale a pi` di due eventi. u
Tale relazione esprime la cosiddetta legge della probabilit` congiunta (o composa ta): la probabilit` di una congiunzione di eventi e data dal prodotto della probabilit` a ` a incondizionata delluno per la probabilit` condizionata dellaltro. a Pi` in generale sussiste la seguente Regola della catena: u
Tale relazione e nota come legge o formula di Bayes e consente di scambiare i ruoli di ` evento condizionato e condizionante. 37
Legge di Bayes:
1
Eventi indipendenti
Propriet` a
&
Legge della probabilit` totale: a Si consideri una partizione nita o numerabile dellevento certo costituita da eventi aventi probabilit` non nulla; in altri a termini, gli eventi , sono a due a due mutuamente esclusivi e necessariamente in ogni prova si verica uno ed uno solo di tali eventi. In tale ipotesi la probabilit` di a un qualsiasi evento pu` calcolarsi con la seguente relazione, nota come legge della o probabilit` totale: a
Legge di Bayes, seconda formulazione. Esprimendo nella formula di Bayes la probabilit` dellevento condizionante a mezzo della legge della probabilit` totale si a a ottiene la seguente formulazione alternativa della legge di Bayes
Per comodit` del lettore la denizione di probabilit` condizionata, le sue propriet` a a a e leggi fondamentali della probabilit` sono riassunte nella tabella 1.11. a
come illustrato in gura 1.12 con riferimento ad una partizione nita dellevento certo. Essendo le congiunzioni , a loro volta a due a due mutuamente esclusive, per ladditivit` della probabilit` si ha: a a
Invero, essendo
!
38
!
partizione discreta di
Tabella 1.11: Leggi fondamentali. Esempio: canale binario simmetrico (BSC) Si consideri il canale binario simmetrico (BSC) di gura ove:
per i simboli dingresso e di uscita omonimi sono correlati, positivamente se e negativamente se ; se i simboli in ingresso sono equiprobabili lo sono anche in uscita.
Calcolare inoltre la legge di probabilit` sullo spazio dingresso condizionata al a generico valore del simbolo duscita. Il BSC rappresenta un semplice modello di canale di comunicazione rumoroso. In tale canale, a causa del rumore, non sempre il simbolo di uscita coincide col simbolo dingresso, in quanto vi e una probabilit` di errore condizionata ` a 39
per
e uguale a `
!
Dimostrare che:
indipenden-
4
4
4
4
Legge di Bayes:
1
;
1
pari ad . Il canale e detto simmetrico perch le probabilit` di ricevere un ` e a simbolo diverso da quello trasmesso, noto il simbolo trasmesso, non dipende dal particolare simbolo trasmesso. Si osservi che laleatoriet` dei simboli di a uscita scaturisce da una duplice casualit` : lincertezza sul simbolo dingresso, a che e aleatorio, e lincertezza sullaver il canale introdotto o meno un errore. Per ` poter separare gli effetti di questo duplice meccanismo aleatorio bisogna quindi condizionare al valore dellingresso e considerare le probabilit` dei simboli di a uscita, dato il simbolo dingresso. Cominciamo con losservare che, in questo caso, come spazio campione possibile considerare linsieme di tutte le possibili coppie , ovvero
Calcoliamo, ad esempio, la probabilit` dellevento elementare a applicando la legge della probabilit` congiunta si ha: a
Dal momento che il calcolo della probabilit` degli altri eventi elementari si a svolge in maniera analoga si e mostrato che la probabilit` di ogni evento e ` a ` funzione di ed . La probabilit` derrore si pu` calcolare con la legge della probabilit` totale; a o a infatti si ha:
Tale probabilit` e quindi indipendente dal valore di . Si noti che questo risultato a` e dovuto allipotesi di simmetria del canale e non e pi` valido nel caso in cui le ` ` u 40
4
4
4
) 0 0 )
4
0 0 4
4
&
4 4
0
e `
due probabilit` di errore condizionate dipendano dal simbolo dingresso. Inoltre, a si osservi che il caso pi` sfavorevole corrisponde ad u ; infatti, se invertendo il simbolo di uscita posso ottenere una probabilit` di errore pari a a . In particolare i valori ed corrispondono entrambi al caso di canale non rumoroso, in quanto luscita del canale specica univocamente lingresso, come illustrato in g. 1.14 Per stabilire in quali ipotesi i simboli in ingresso ed in uscita al BSC siano o meno indipendenti calcoliamo la probabilit` di avere un certo simbolo di uscita. a Applicando ancora la legge della probabilit` totale si ottiene: a
In modo analogo e possibile valutare ` ; in alternativa, e sufciente ` osservare che levento e il complemento dellevento ` ; si ha pertanto:
ossia i simboli di uscita sono equiprobabili indipendentemente dal valore della probabilit` dei simboli di ingresso . Inoltre, nellipotesi a si ha:
e quindi i simboli di uscita sono indipendenti dai simboli di ingresso. E evidente che in tal caso la trasmissione di simboli e del tutto inutile: infatti, poich i ` e simboli di uscita sono equiprobabili ed indipendenti dai simboli dingresso si possono ottenere le stesse prestazioni rinunciando alla trasmissione e generando localmente luscita del canale completamente a caso, ad esempio lanciando una moneta bilanciata. 41
4
e `
% 0 4 4
% 0
4 0 0 4 4
4
4
4
4
4
4 #
Ora, si osservi che, dalle espressioni delle probabilit` a priori dei simboli a duscita segue che:
- Se allora , , ossia i simboli dingresso e di uscita sono positivamente correlati quando assumono lo stesso valore; - Se ingresso ed uscita sono indipendenti, qualsiasi sia il valore di , come gi` discusso; a - Se allora , , ossia i simboli dingresso e di uscita sono negativamente correlati quando assumono lo stesso valore, coerentemente con la precedente osservazione che per e opportuno invertire i simboli di uscita. ` Analogamente risulta:
Quindi:
- Se allora , , ossia i simboli dingresso e di uscita sono negativamente correlati se assumono valori diversi; - Se allora , , ossia i simboli dingresso e di uscita sono positivamente correlati se assumono valori diversi. Per vericare che i simboli di uscita sono equiprobabili se lo sono i simboli di ingresso e sufciente sostituire nelle espressioni generali delle loro probabilit` , ` a precedentemente calcolate, a il valore . Si noti che, in tale ipotesi, i simboli duscita sono equiprobabili indipendentemente dal valore di . Inne, il calcolo della legge di probabilit` sullo spazio di ingresso condizionata a al generico valore del simbolo di uscita si esegue applicando la legge di Bayes:
42
% 0 % 0 0
% 0 0 % 0
# 4 #
# 4 #
# 4 #
# 4 #
4 #
4 # #
4 #
4 4
4 # #
4 4
4 #
4 4 #
4 4
4 4
4
Ad esempio, supposto, per semplicit` , a e di aver osservato in uscita il valore , le probabilit` dei simboli dingresso sono date da: a
Si pu` quindi notare come losservazione di un simbolo in uscita modichi la o legge di probabilit` dei simboli di ingresso in maniera dipendente dal valore a di . In particolare, per o per , tale distribuzione e fortemente ` asimmetrica, il che e indice del fatto che il canale pu` operare con prestazioni ` o soddisfacenti.
(1.15)
Allo scopo di stabilire ulteriori propriet` da imporre alla a si consideri una sorgente binaria senza memoria, cio` che emette i simboli (bit) indipendentemente luno e dallaltro, e si prendano in esame i seguenti eventi: 43
4
4
cio` che linformazione sia additiva per eventi indipendenti. e Inne, in aggiunta alle condizioni (1.15) e (1.16), si richiede anche che linformazione sia non negativa, si impone cio` : e
` E possibile dimostrare che lunica funzione che soddis le tre condizioni desiderate, che sia cio` decrescente con la probabilit` dellevento (1.15), additiva per e a eventi indipendenti (1.16) e non negativa (1.17), debba essere del tipo:
Si osservi che la denizione (1.18) garantisce anche che ad un evento a probabilit` uno, a in particolare allevento certo, e associato un contenuto informativo nullo, come deve ` intuitivamente essere dal momento che il vericarsi di un tale evento non aggiunge alcuna informazione supplementare. Inoltre, si noti che avendosi:
le costanti ed concorrono a ssare lunit` di misura dellinformazione. a La scelta di gran lunga pi` comune per denire il contenuto informativo associato u ad un evento e: ` (1.19) e linformazione espressa dalla (1.19) e misurata in bit. ` Il signicato di tale scelta e illustrato dal seguente esempio. Si consideri una ` sorgente binaria che emetta un simbolo tra due simboli equiprobabili; in tal caso linformazione associata ai singoli simboli vale:
44
Il primo simbolo emesso e 1 ` Il secondo simbolo emesso e 1 ` Il primo ed il secondo simbolo emessi sono 1 le cui probabilit` valgono: a
% 4
)
)
)
)
4
&
Pertanto 1 bit e linformazione associata ad una scelta tra due alternative equiprobabili. ` Si osservi che usualmente il termine bit e di solito utilizzato con due diversi sig` nicati: il primo, quello introdotto in questo paragrafo, cio` come unit` di misura e a dellinformazione (bit=binary information unit); il secondo come sinonimo di cifra binaria (bit=binary digit). I due concetti sono per` profondamente diversi e non vanno o confusi; in particolare, una cifra binaria ha linformazione di un bit se e solo se le due cifre sono equiprobabili.
45
1.9 Esercizi
Ex. 1.1 Un esperimento aleatorio consiste nel provare il funzionamento di una lampadina osservando la sua durata. Denire il corrispondente spazio dei campioni, specicando se e di tipo continuo o di tipo discreto. Si individuino inoltre i seguenti ` eventi: la durata della lampada e non inferiore a 5 ` la durata della lampada e compresa tra 5 e 30 `
Ex. 1.2 Si determini lo spazio dei campioni relativo al doppio lancio di un dado. Si individuino inoltre i seguenti eventi: la somma dei due lanci e 5 ` primo lancio pari
Ex. 1.3 Si consideri un canale binario, cio` un mezzo di trasmissione che accetta in e ingresso simboli 0 e 1 e fornisce in uscita simboli 0 e 1. A causa dei disturbi presenti sul canale, per` , non sempre il simbolo in uscita e uguale a quello che viene o ` effettivamente trasmesso, e cio` possibile che si verichi un errore di trasmissione. ` e Per tale motivo, il funzionamento del canale binario pu` essere correttamente descritto o come un esperimento aleatorio. Si individuino lo spazio dei campioni relativo alla trasmissione di un solo simbolo e gli eventi: si e vericato un errore nella trasmissione del simbolo 1 ` si e vericato un errore di trasmissione ` si e ricevuto il simbolo 0 ` si e trasmesso il simbolo 1 `
Ex. 1.4 Un esperimento aleatorio consiste nellestrarre tre carte da un mazzo di carte napoletane. Considerato levento le carte estratte sono tutte di coppe , stabilire in quali delle seguenti estrazioni si verica levento : (2 di bastoni, 5 di coppe, asso di denari) (asso di spade, 7 di denari, 10 di spade) (asso di spade, 6 di coppe, 10 di spade) (asso di coppe, 2 di coppe, 3 di coppe)
46
primo lancio pari e la somma dei due lanci e 5 ` primo lancio pari oppure la somma dei due lanci e 5 `
6 $
Ex. 1.5 Si considerino i quattro gruppi sanguigni 0, A, B e AB. Una qualsiasi persona pu` ricevere il sangue da un donatore del suo stesso gruppo ed anche da un donatore del o gruppo 0, mentre una persona del gruppo AB pu` ricevere il sangue da uno qualsiasi dei o quattro gruppi. Un esperimento aleatorio consiste nel determinare il gruppo sanguigno per ogni coppia di donatori che arriva in una banca del sangue. 1. Si determini lo spazio dei campioni relativo a questesperimento. il secondo donatore pu` ricevere il sangue dal primo o
ciascuno dei due donatori puo ricevere il sangue dallaltro ` nessuno dei due donatori puo ricevere il sangue dallaltro ` 3. Nellipotesi che gli eventi elementari siano equiprobabili, si calcolino le probabilit` dei tre eventi individuati. a Ex. 1.6 Una moneta non truccata viene lanciata quattro volte. Si determini lo spazio dei campioni e si calcoli la probabilit` dei seguenti eventi: a si ottengono esattamente tre teste si ottiene almeno una testa
si mostri che:
c. d. e.
47
Ex. 1.9 e sono due eventi tali che e sono mutuamente esclusivi. Pi` in generale mostrare che e u esclusivi se le loro probabilit` soddisfano la relazione a
sapendo che:
'
'
b.
a.
; ; ; ; .
il numero di teste e uguale al numero di croci ` il numero di teste e maggiore del numero di croci `
Ex. 1.11 Due persone, Tizio e Caio, tentano di telefonarvi a caso tra le 17 e le 18 indipendentemente luna dallaltra. Tizio, avendo un unico gettone prevede una telefonata di tre minuti, mentre Caio, che ha due gettoni, prevede una telefonata di sei minuti. Ipotizzando che ognuno faccia un solo tentativo, calcolare: - la probabilit` che Tizio o Caio riescano a parlarvi; a - la probabilit` che Tizio e Caio riescano a parlarvi. a Ex. 1.12 Lesperimento in esame consiste nel valutare la durata di un componente. Vericare che lo spazio delle prove e ` e che la corrispondenza:
Ex. 1.13 Un esperimento ha risultati possibili. Dimostrare che si possono eventi distinti relativi a tale esperimento. individuare al pi` u Ex. 1.14 Siano e due eventi a probabilit` non nulla. Dimostrare che se sono a indipendenti non sono mutuamente esclusivi e viceversa. Ex. 1.15 Relativamente allesperimento del lancio di una coppia di dadi non truccati, si considerino gli eventi
Si verichi se i tre eventi sono indipendenti. Ex. 1.16 Si consideri lesperimento in cui i possibili risultati sono le terne
Assunti equiprobabili gli eventi elementari, si verichi se gli eventi c` una e in posizione
sono indipendenti.
48
' % #
facce uguali
11
a) non se ne verichi nessuno; b) se ne verichi almeno uno; c) se ne verichi esattamente uno, non importa quale. Ex. 1.18 Un generatore deve alimentare 5 carichi intermittenti connessi in parallelo; ciascun carico e collegato per un quarto del tempo, indipendentemente dagli altri, ed ` assorbe 2W. Determinare un appropriato spazio di probabilit` atto a descrivere il problema in a esame. Sapendo che il generatore pu` al pi` erogare 6W, determinare inoltre con che o u probabilit` non si possa soddisfare la richiesta di potenza. a Ex. 1.19 Dimostrare che e pi` facile ottenere almeno un 6 lanciando un dado 4 volte ` u che un 12 lanciando due dadi 24 volte. Ex. 1.20 Si lancia un dado nch` non esce la stessa faccia due volte consecutive. e Valutare la probabilit` di lanciare il dado N volte. a Ex. 1.21 Due giocatori, A e B, lanciano alternativamente una moneta e vince chi per primo ottiene testa. Si assuma che A inizi il gioco. Determinare la probabilit` che vinca a A supposta la moneta ben bilanciata. Ripetere il calcolo per una moneta arbitraria. Ex. 1.22 Dimostrare che se , e , lo sono. e sono eventi indipendenti, allora anche e ,
Ex. 1.23 Siano e due eventi. Dimostrare che se sono statisticamente indipendenti.
allora
Ex. 1.24 Dimostrare che se e positivamente (rispettivamente negativamente) corre` lato a allora anche e positivamente (rispettivamente negativamente) correlato a ` . Ex. 1.25 Dimostrare la regola a catena della probabilit` , cio` che a e
49
1
, determi-
risulta
Ex. 1.27 Da un mazzo di carte francesi (senza jolly) si sottrae una carta senza guardarla. Poi si gira unaltra carta: con quale probabilit` questultima e di ori? a ` Ex. 1.28 Una moneta non truccata viene lanciata 10 volte e gli esperimenti (lanci) sono tutti indipendenti. Calcolare: teste teste e 1 croce in ordine qualsiasi . Dire se testa al decimo lancio 9 teste nei primi 9 lanci e minore, ` uguale o maggiore di 0.5. Stabilire se e pi` facile avere N teste e N croci su 2N lanci o ` u N+1 teste e N+1 croci su 2N+2 lanci. Ex. 1.29 Un treno arriva a caso in una stazione nellintervallo e vi sosta minuti. Un viaggiatore, a sua volta, arriva alla stazione in un istante qualsiasi dello stesso intervallo di tempo, indipendentemente dal treno. Determinare:
la probabilit` di prendere il treno senza aspettare, sapendo che il treno e arrivato a ` dopo .
Ex. 1.30 Alle elezioni, il signor K vota per la lega (evento ). Stabilire con quale probabilit` vive nel nord ( ), centro ( ) o sud ( ) dellItalia sapendo che: a
, , ,
Ex. 1.31 Uno studente pu` sostenere lesame di Economia con uguale probabilit` con o a i professori A, B e C, i quali bocciano con probabilit` 0.1, 0.3 e 0.2 rispettivamente. a Sapendo che uno studente e stato bocciato, qual e la probabilit` che abbia sostenuto ` ` a lesame con A? Ex. 1.32 Un giocatore disonesto trucca un dado in modo da ottenere il numero 6 in un lancio con probabilit` a e un qualsiasi altro risultato con probabilit` a . Sfortunatamente (per lui) al momento del lancio il dado truccato si trova mescolato con altri 50
4
'
4
' '
'%
. Dimostrare che
4
due dadi non truccati. Il giocatore sceglie un dado a caso, lo lancia, e ottiene 6. Valutare la probabilit` che sia stato lanciato il dado truccato. Ripetere il calcolo sapendo a che, lanciato una seconda volta lo stesso dado, si e ottenuto ancora 6. ` Ex. 1.33 Due terminali, A e B, sono connessi tra loro tramite quattro interruttori ; precisamente e sono connessi in serie tra loro e in parallelo a ed a . Nellipotesi che gli interruttori possano essere aperti o chiusi con uguale probabilit` indipendentemente luno dallaltro, determinare: a un appropiato spazio di probabilit` atto a descrivere il problema in esame; a
la probabilit` che i terminali A e B siano connessi; a la probabilit` che i terminali A e B siano connessi, sapendo che linterruttore a e chiuso; ` la probabilit` che linterruttore a connessi.
Ex. 1.34 Tre sorgenti binarie indipendenti emettono il simbolo 1 con probabilit` a e sono connesse tramite un interruttore ad un BSC di parametro . Linterruttore e connesso per il 50% del tempo alla prima sorgente, e per il 25% del ` tempo a ciascuna delle altre due sorgenti indipendentemente dallo stato della sorgente.
Determinare:
la probabilit` che il canale sia connesso alla prima sorgente avendo osservato uno a zero in uscita al BSC.
51
1 )
' %
6 5 6 5 1