L5 Medida de La Información

Medida
de la
Información
Comunicaciones
1
Medida de la Información
La teoría de la información trata las siguientes ideas básicas:
1. Medida de la información.
2. Capacidad de un canal de comunicación para transmitir

información.
3. La codificación como un medio de utilizar los canales a toda

su capacidad.
Estos tres conceptos están ligados por el teorema fundamental de la teoría

de la información de Shannon
"Dada una fuente de información y un canal de comunicación, existe una

técnica de codificación tal que la información se puede transmitir sobre un
canal a cualquier rapidez menor que la capacidad del canal y una frecuencia
de errores arbitrariamente pequeña, no obstante, la presencia de ruido."
Un rasgo sorprendente de este teorema es la transmisión sin errores sobre

un canal ruidoso, condición que se obtiene por medio del uso de la
codificación.
Básicamente la codificación se emplea para acoplar la fuente con el canal a

fin de que sea segura la transferencia de información.
Historia
El primer teorema que puede incluirse dentro de este tema de teoría de la
información fue establecido en 1924 por Nyquist, donde establece la
relación que existe entre el ancho de banda del canal y el número de pulsos
por segundo que se puedan-transmitir por él.
Fue Nyquist quien enuncia el teorema del muestreo expresando que si en

un canal el ancho de banda es B= 1/t en Hz, entonces se puede transmitir la
información, mediante pulsos. tomando al menos dos muestras por ciclo de
la mayor componente de frecuencia que se desea transmitir (B).
2
En 1928 Hartley encuentra una relación fundamental entre las constantes
del canal y la “información” por unidad de tiempo que puede pasar por él.
Hartley planteó la idea de “capacidad de canal” que se expresa
C  B * Log (1  S / N )
Donde S es la relación entre potencia de señal útil a potencia de ruido en el

ancho de banda de la transmisión.
Hartley obtiene esta importante expresión en forma intuitiva sin llegar al fondo de
la cuestión, posiblemente en 1930 esto no era necesario.
Información.
Aquí se está usando la información como un término técnico, que no debe
ser confundido con su interpretación en Ciencias de la Comunicación, donde
la importancia es su significado. Nos interesa la ‘forma” eléctrica de las
señales, momentáneamente nos separamos de su ‘contenido” y
analizaremos la información o señalización partiendo de la constitución
electromagnética de la señal.
En el contexto de la comunicación la información es aquello que se produce

en la fuente para ser transferida, procesada (computada), distribuida o
almacenada. Esto implica que antes de la transmisión la información no
estaba totalmente disponible en el destino y hay que procesarla para
transmitirla con eficiencia.
Ejemplo 1
Un hombre debe realizar un viaje. Telefonea al servicio meteorológico y
recibe uno de los siguientes pronósticos.
P1 Saldrá el sol I1
P2 Lloverá I2
P3 Habrá un ciclón I3
3
El contenido de información de estos mensajes es muy diferente:
• El primero I1contiene poca información (el sol sale todos los días), existe
poca incertidumbre.
• El segundo I2 proporciona más información, pues no llueve todos los días.

• El tercero I3, contiene aún más información, pues los ciclones son raros y
poco frecuentes.
Es evidente que si tenemos la certeza que sucederá I3 se venderán muchos

periódicos y se puede pensar en la alharaca que se produciría si se supiera
con certeza que se avecina un ciclón.
Conclusión de este ejemplo
Cuanto menos probable es el mensaje, lleva mayor información
Veamos si podemos encontrar cualidades a la información que nos permitan

definirla matemáticamente.
Denotando como I (E)la información que corresponde a un suceso o evento

E, se puede decir que I(E) es inversamente proporcional a la probabilidad
P(E) de ocurrencia del suceso E.
I(E) =1/P(E)
Si la probabilidad de ocurrencia del suceso E es uno, la información ligada es

nula, lo obvio no informa.
Si: P(E)=1 I(E)=O
Si yendo al otro extremo, la probabilidad de un suceso es muy baja, el que

se produzca este acontecimiento, genera mucha información.
Cuando: P(E) → 0 I(E) →∞
La información es aditiva. O sea, en un suceso compuesto

independientemente A y B donde
P(E) = P(A) P(B)
4
con A y B independiente, se cumple que las informaciones asociadas a estos
sucesos son: I(E) = I(A) ÷ I(B)
A fin de cumplir estas condiciones se establece que la única relación posible

es que:I(E) = Loga (1/P(E))
que es la definición matemática adoptada. La elección de la base del

logaritmo define la unidad de información.
Iog2 Unidad Bits

Loge Unidad Nats
1og10 Unidad Hartley
(1)
Resumen
Se puede decir que la medida de información está relacionada a la

incertidumbre que tiene el usuario de lo que será el mensaje destacando
que la cantidad de información depende de la incertidumbre del mensaje y
no de su contenido posible de interpretaciones.
Esto implica que la medida de información comprende probabilidades. Los

mensajes de alta probabilidad indican poca incertidumbre del usuario o poca
elección de la fuente llevando una pequeña cantidad de información o
viceversa.
Fuente de Memoria Nula
Pensemos en una fuente transmitiendo una secuencia de símbolos que

pertenecen a un alfabeto que es finito y fijo.
Sea la siguiente fuente emitiendo q símbolos si con q probabilidades P.
5
S
si S(s1, s2, … sq; p1, p2, …pq)
Los símbolos que son transmitidos secuencialmente, tienen una ley fija de
probabilidad. Si admitimos que los símbolos son estadísticamente
independientes, la fuente se denomina fuente de memoria nula.
Indicar los símbolos de salida y sus probabilidades es definir la fuente.
Un dato muy importante es el valor medio probabilístico de información que

corresponde al conjunto de esos q símbolos generados por la fuente. Es decir
cuál es la media estadística de información por símbolo.
Recapitulando, sabemos que si x es una variable aleatoria e y una función de

esa variable y = g(x) puede definirse la esperanza matemática o la media
estadística de esa variable.
siendo P(x=xi) la probabilidad que x sea igual a xi, y N el número de variable

aleatoria. En nuestro caso.
x= P(si)= Pi , a su vez a, y = g(x) = log 1/Pi
La información asociada a la media estadística es
este es el valor medio de la información por símbolo que produce la fuente

que se mide en bits por símbolo (bit/simb).
A este valor se lo denomina “entropía de la fuente” sobre los q símbolos

mencionados.
La cantidad media de información por símbolo de la fuente es
6
donde ∑ indica la suma extendida a todos los q símbolos de la fuente S.
Esencialmente la entropía en la teoría de la información es el valor medio de

información que se encuentra relacionada a cada símbolo producido por la
fuente discreta.
Información por Unidad e Tiempo
Hasta ahora no ha intervenido el tiempo en nuestro estudio de la

información, pero intuimos que es muy importante. Supongamos que la
fuente S genera m símbolos por segundo la unidad de m es símbolos
/segundo y es la velocidad de generación.
El tiempo de producción entre símbolos y símbolo es τ0 = 1/m y es el máximo

tiempo que se dispone para generar cada símbolo.
Como la fuente posee una determinada entropía H(S) se define como el flujo
de información por unidad de tiempo, tasa en bits o tasa de información a:
R = m H(S) [bits/seg]
Otra forma de decirlo es: R = H / τm, velocidad de entropía o tasa de

información o tasa en bits.
Donde τm es la duración promedio del símbolo [ seg/simbolo ] y su inversa

constituye la velocidad de generación.
Si hacemos un muestreo ideal, con un tiempo uniforme igual a

τm = Ts(tiempo de sampling), será: 1/ τm = fs
frecuencia de muestreo, (se suele denominar tasa de Nyquist a este muestreo justo”) y
la tasa de información sería: R=H.fs
7
Referencia Bibliográfica:
Sauchelli, V. (2002). Teoría de la Información y Codificación. 2da Edición-2002.
Universitas.

L5 Medida de La Información

Cargado por

Copyright:

Formatos disponibles

L5 Medida de La Información

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

L5 Medida de La Información

Cargado por

Copyright:

Formatos disponibles

Medida

2. Capacidad de un canal de comunicación para transmitir

3. La codificación como un medio de utilizar los canales a toda

Estos tres conceptos están ligados por el teorema fundamental de la teoría

"Dada una fuente de información y un canal de comunicación, existe una

Un rasgo sorprendente de este teorema es la transmisión sin errores sobre

Básicamente la codificación se emplea para acoplar la fuente con el canal a

Fue Nyquist quien enuncia el teorema del muestreo expresando que si en

Donde S es la relación entre potencia de señal útil a potencia de ruido en el

En el contexto de la comunicación la información es aquello que se produce

• El segundo I2 proporciona más información, pues no llueve todos los días.

Es evidente que si tenemos la certeza que sucederá I3 se venderán muchos

Conclusión de este ejemplo

Cuanto menos probable es el mensaje, lleva mayor información

Veamos si podemos encontrar cualidades a la información que nos permitan

Denotando como I (E)la información que corresponde a un suceso o evento

Si la probabilidad de ocurrencia del suceso E es uno, la información ligada es

Si: P(E)=1 I(E)=O

Si yendo al otro extremo, la probabilidad de un suceso es muy baja, el que

Cuando: P(E) → 0 I(E) →∞

La información es aditiva. O sea, en un suceso compuesto

P(E) = P(A) P(B)

A fin de cumplir estas condiciones se establece que la única relación posible

que es la definición matemática adoptada. La elección de la base del

Iog2 Unidad Bits

Se puede decir que la medida de información está relacionada a la

Esto implica que la medida de información comprende probabilidades. Los

Fuente de Memoria Nula

Pensemos en una fuente transmitiendo una secuencia de símbolos que

Sea la siguiente fuente emitiendo q símbolos si con q probabilidades P.

Indicar los símbolos de salida y sus probabilidades es definir la fuente.

Un dato muy importante es el valor medio probabilístico de información que

Recapitulando, sabemos que si x es una variable aleatoria e y una función de

siendo P(x=xi) la probabilidad que x sea igual a xi, y N el número de variable

x= P(si)= Pi , a su vez a, y = g(x) = log 1/Pi

La información asociada a la media estadística es

este es el valor medio de la información por símbolo que produce la fuente

A este valor se lo denomina “entropía de la fuente” sobre los q símbolos

La cantidad media de información por símbolo de la fuente es

Esencialmente la entropía en la teoría de la información es el valor medio de

Información por Unidad e Tiempo

Hasta ahora no ha intervenido el tiempo en nuestro estudio de la

El tiempo de producción entre símbolos y símbolo es τ0 = 1/m y es el máximo

Otra forma de decirlo es: R = H / τm, velocidad de entropía o tasa de

Donde τm es la duración promedio del símbolo [ seg/simbolo ] y su inversa

Si hacemos un muestreo ideal, con un tiempo uniforme igual a

También podría gustarte