Teoria dell'informazione
L'informazione è la fonte di un sistema di comunicazione, sia esso analogico o digitale. Information theory è un approccio matematico allo studio della codifica delle informazioni insieme alla quantificazione, archiviazione e comunicazione delle informazioni.
Condizioni di accadimento degli eventi
Se consideriamo un evento, ci sono tre condizioni di accadimento.
Se l'evento non si è verificato, esiste una condizione di uncertainty.
Se l'evento si è appena verificato, esiste una condizione di surprise.
Se l'evento è accaduto, tempo fa, c'è la condizione per averne information.
Quindi, questi tre si verificano in momenti diversi. La differenza di queste condizioni, ci aiuta ad avere una conoscenza sulle probabilità di accadimento degli eventi.
Entropia
Quando osserviamo le possibilità di accadimento di un evento, indipendentemente dal fatto che sia sorprendente o incerto, significa che stiamo cercando di avere un'idea sul contenuto medio delle informazioni dalla fonte dell'evento.
Entropy può essere definito come una misura del contenuto medio di informazioni per simbolo sorgente. Claude Shannon, il "padre della teoria dell'informazione", ha dato una formula come
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Dove $ p_i $ è la probabilità che si verifichi il numero di carattere ida un dato flusso di caratteri eb è la base dell'algoritmo utilizzato. Quindi, questo è anche chiamato comeShannon’s Entropy.
La quantità di incertezza rimanente sull'ingresso del canale dopo aver osservato l'uscita del canale è chiamata come Conditional Entropy. È indicato con $ H (x \ arrowvert y) $
Sorgente senza memoria discreta
Una sorgente da cui i dati vengono emessi a intervalli successivi, che è indipendente dai valori precedenti, può essere definita come discrete memoryless source.
Questa sorgente è discreta poiché non viene considerata per un intervallo di tempo continuo, ma a intervalli di tempo discreti. Questa sorgente è priva di memoria in quanto è fresca in ogni istante di tempo, senza considerare i valori precedenti.
Codifica sorgente
Secondo la definizione, "Data una sorgente di entropia discreta priva di memoria $ H (\ delta) $, la lunghezza media della parola in codice $ \ bar {L} $ per qualsiasi codifica sorgente è limitata come $ \ bar {L} \ geq H (\ delta) $ ".
In parole più semplici, la parola in codice (ad esempio: il codice Morse per la parola QUEUE è -.- ..-. ..-.) È sempre maggiore o uguale al codice sorgente (QUEUE nell'esempio). Ciò significa che i simboli nella parola in codice sono maggiori o uguali agli alfabeti nel codice sorgente.
Codifica dei canali
La codifica del canale in un sistema di comunicazione, introduce ridondanza con un controllo, in modo da migliorare l'affidabilità del sistema. La codifica sorgente riduce la ridondanza per migliorare l'efficienza del sistema.
La codifica dei canali consiste in due parti dell'azione.
Mapping sequenza di dati in arrivo in una sequenza di ingresso di canale.
Inverse mapping la sequenza di uscita del canale in una sequenza di dati di uscita.
L'obiettivo finale è ridurre al minimo l'effetto complessivo del rumore del canale.
La mappatura viene eseguita dal trasmettitore, con l'ausilio di un codificatore, mentre la mappatura inversa viene eseguita sul ricevitore da un decodificatore.