Comunicazione digitale - Teoria dell'informazione

L'informazione è la fonte di un sistema di comunicazione, sia esso analogico o digitale. Information theory è un approccio matematico allo studio della codifica delle informazioni insieme alla quantificazione, archiviazione e comunicazione delle informazioni.

Condizioni di accadimento degli eventi

Se consideriamo un evento, ci sono tre condizioni di accadimento.

• Se l'evento non si è verificato, esiste una condizione di uncertainty.

• Se l'evento si è appena verificato, esiste una condizione di surprise.

• Se l'evento è accaduto, tempo fa, c'è la condizione per averne information.

Questi tre eventi si verificano in momenti diversi. La differenza di queste condizioni ci aiuta ad acquisire conoscenze sulle probabilità del verificarsi di eventi.

Entropia

Quando osserviamo le possibilità del verificarsi di un evento, quanto sarebbe sorprendente o incerto, significa che stiamo cercando di avere un'idea sul contenuto medio delle informazioni dalla fonte dell'evento.

Entropy può essere definito come una misura del contenuto medio di informazioni per simbolo sorgente. Claude Shannon, il "padre della teoria dell'informazione", ha fornito una formula per questo come -

$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$

Dove p_i è la probabilità che si verifichi il numero di caratteri i da un determinato flusso di caratteri e bè la base dell'algoritmo utilizzato. Quindi, questo è anche chiamato comeShannon’s Entropy.

La quantità di incertezza rimanente sull'ingresso del canale dopo aver osservato l'uscita del canale è chiamata come Conditional Entropy. È indicato con $ H (x \ mid y) $

Informazioni reciproche

Consideriamo un canale il cui output è Y e l'input è X

Sia l'entropia per l'incertezza precedente X = H(x)

(Si presume prima dell'applicazione dell'input)

Per conoscere l'incertezza dell'output, dopo che l'input è stato applicato, consideriamo l'Entropia Condizionale, dato che Y = y_k

$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$

Questa è una variabile casuale per $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ con probabilità $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $ rispettivamente.

Il valore medio di $ H (X \ mid y = y_k) $ per l'alfabeto di output y è -

$ H \ sinistra (X \ metà Y \ destra) = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} H \ sinistra (X \ metà y = y_k \ destra) p \ sinistra (y_k \ destra ) $

$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) p \ left (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $

$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j, y_k \ right) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $

Ora, considerando entrambe le condizioni di incertezza (prima e dopo l'applicazione degli input), veniamo a sapere che la differenza, ovvero $ H (x) - H (x \ mid y) $ deve rappresentare l'incertezza sull'ingresso del canale che viene risolto osservando l'uscita del canale.

Questo è chiamato come Mutual Information del canale.

Denotando l'informazione reciproca come $ I (x; y) $, possiamo scrivere l'intera cosa in un'equazione, come segue

$$ I (x; y) = H (x) - H (x \ metà y) $$

Quindi, questa è la rappresentazione equazionale dell'informazione reciproca.

Proprietà delle informazioni reciproche

Queste sono le proprietà delle informazioni reciproche.

• L'informazione reciproca di un canale è simmetrica.

  $$ I (x; y) = I (y; x) $$

• L'informazione reciproca non è negativa.

  $$ I (x; y) \ geq 0 $$

• L'informazione reciproca può essere espressa in termini di entropia dell'uscita del canale.

  $$ I (x; y) = H (y) - H (y \ metà x) $$

  Dove $ H (y \ mid x) $ è un'entropia condizionale

• L'informazione reciproca di un canale è correlata all'entropia congiunta dell'ingresso del canale e dell'uscita del canale.

  $$ I (x; y) = H (x) + H (y) - H (x, y) $$

  Dove l'entropia congiunta $ H (x, y) $ è definita da

  $$ H (x, y) = \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$

Capacità del canale

Finora abbiamo discusso delle informazioni reciproche. La massima informazione media reciproca, in un istante di un intervallo di segnalazione, quando trasmessa da un canale discreto senza memoria, le probabilità della velocità di trasmissione massima affidabile dei dati, possono esserechannel capacity.

È indicato da C ed è misurato in bits per channel uso.

Sorgente senza memoria discreta

Una sorgente da cui i dati vengono emessi a intervalli successivi, che è indipendente dai valori precedenti, può essere definita come discrete memoryless source.

Questa sorgente è discreta in quanto non viene considerata per un intervallo di tempo continuo, ma a intervalli di tempo discreti. Questa sorgente è priva di memoria in quanto è fresca in ogni istante di tempo, senza considerare i valori precedenti.