| | |
Summary: 3 Grundlagen der Darstellung und Verarbeitung von Information 3.2 Codes 3-15 (38)
Mehr zu Fehlererkennung und Fehlerkorrektur:
CODIERUNGSTHEORIE
Definition 3.12: Sei = {x1,...,xm} ein Zeichenvorrat mit zugehörigen Wahrscheinlichkeiten P(xi), und
sei ein Binärcode für den Zeichenvorrat (d. h. (xi) ist eine 0-1-Folge) mit mittlerer Codelänge
L(,P) :=
m
i=1
P(xi)·(Länge der 0-1-Folge (xi)) .
Die Redundanz von bzgl. P ist
R(,P) := L(,P)-H(,P).
Satz 3.13: (Shannonsches Codierungstheorem) Für jeden umkehrbaren Binärcode eines Zeichen-
vorrats mit Wahrscheinlichkeiten P gilt
L(,P) H(,P)
oder äquivalent
R(,P) 0.
Die Entropie gibt also eine untere Grenze für die mittlere Länge binär codierter Nachrichten an.
3 Grundlagen der Darstellung und Verarbeitung von Information 3.2 Codes 3-16 (39)
Beispiel 3.14: Jede Binärcodierung einer Nachricht aus dem Zeichenvorrat von Bsp. 3.5, 1 wird i. Allg.
|
