La entropía

 

Fuente de memoria Nula:

 Es toda fuente que  emite símbolos que son estadísticamente independientes.Esta fuente puede emitir símbolos cada uno de ellos con cierta probabilidad  asociada  donde  para cada valor de un símbolo (variable aleatoria) tendremos asociado un valor de probabilidades ( ).

X₁; p (x₁)

Definición de entropía

Sea  una variable aleatoria xk→(x1-x2-x3-……..)

La esperanza matemática de la variable aleatoria será (entropía).

H= -1/3 log₂ + ¼ log ₂

La entropía(h) representa LA INSERTIDUMBRE MEDIA de la ocurrencia de cada símbolo.