Formelsammlung Informationstheorie. Aus dem Inhalt: Informationstheorie, Informationsbegriff, Wahrscheinlichkeiten, Informationsquellen, Informationsübertragung, Codierung von Informationen, (...).
1
Inhalt
Informationstheorie ... 2
1
Informationsbegriff ... 2
1.1
Definition ... 2
1.2
Informationsbegriff nach Shannon ... 2
2
Wahrscheinlichkeiten ... 2
2.1
Unabhängige Wahrscheinlichkeit ... 2
2.2
Bedingte Wahrscheinlichkeit ... 2
3
Informationsquellen ... 2
3.1
Definition ... 2
3.2
Quellen ohne Gedächtnis ... 3
3.3
Quellen mit Gedächtnis (Markow-Quellen) ... 3
3.4
Verbundquellen ... 3
3.5
Verbundquellen mit abhängigen Ereignissen ... 3
3.6
Beispiel ... 4
4
Informationsübertragung ... 4
4.1
Grundmodell ... 4
5
Informationsmaße ... 4
5.1
Summe aller Wahrscheinlichkeiten ... 4
5.2
Informationsgehalt ... 4
5.3
Entscheidungsgehalt ... 5
5.4
Mittlerer Informationsgehalt und Entropie ... 5
5.5
Entropie einer Verbundquelle ... 5
5.6
Entropie einer Verbundquelle mit abhängigen Ereignissen ... 5
5.7
Entropieredundanz ... 6
5.8
Symmetrisch gestörter Binärkanal ... 7
5.9
Beispiel Entropien ... 7
6
Codierung von Informationen ... 8
6.1
Definition ... 8
6.2
Informationsfluss ... 8
6.3
Kanalkapazität ... 9
6.4
Signalkodierung ... 9
7
Quellen ... 9
2
Informationstheorie
1 Informationsbegriff
1.1 Definition
Die Informationstheorie beschäftigt sich allein mit dem statistischen Aspekt der Information. Die
Information wird von jeder Bedeutung losgelöst betrachtet.
1.2 Informationsbegriff nach Shannon
Information ist die Beseitigung von Unwissenheit. Etwas vorher nicht Bekanntes wird nach der
Zuführung von Information bekannt
2 Wahrscheinlichkeiten
2.1 Unabhängige Wahrscheinlichkeit
Wahrscheinlichkeit für m Zustände
m
1
)
x
(
P
i
=
)
x
(
P
)
x
(
P
)
x
(
P
)
x
,
x
,
x
(
P
)
x
(
P
)
x
(
P
)
x
,
x
(
P
k
j
i
k
j
i
j
i
j
i
=
=
2.2 Bedingte Wahrscheinlichkeit
P(x
i
) und P(x
j
) sind Zustandswahrscheinlichkeiten.
P(x
j
|x
i
) ist die Wahrscheinlichkeit für das Auftreten von x
i
unter der Bedingung, dass x
j
bereits
eingetreten ist.
=
=
n
1
i
i
j
i
j
)
x
|
x
(
P
)
x
(
P
)
x
(
P
z.B.: Es gibt 5 schwarze und 5 rote Kugeln. Wie groß ist die Wahrscheinlichkeit, dass ohne
Zurücklegen nacheinander 5 rote Kugeln gezogen werden?
A =
rote Kugel im ersten Zug.
B|A = rote Kugel vorausgesetzt im ersten Zug wurde bereits rot gezogen.
p(A) = 5/10 = 0,5
p(B|A) = 4/9 (nur noch 9 Kugeln, davon 4 rot)
p(AB) = p(A) · p(B|A) = 5/10 · 4/9
3 Informationsquellen
3.1 Definition
=
)
P(x
...
)
P(x
)
P(x
x
...
x
x
X
n
2
1
n
2
1
=
=
n
1
i
i
1
)
x
(
P
Jedem Zeichen x
i
der Quelle X kann eine Wahrscheinlichkeit P(x
i
) zugeordnet werden.
3
3.2 Quellen ohne Gedächtnis
Für m Zustände ist die Wahrscheinlichkeit:
m
1
)
x
(
P
i
=
)
x
(
P
)
x
(
P
)
x
(
P
)
x
,
x
,
x
(
P
)
x
(
P
)
x
(
P
)
x
,
x
(
P
k
j
i
k
j
i
j
i
j
i
=
=
3.3 Quellen mit Gedächtnis (Markow-Quellen)
P(x
i
) und P(x
j
) sind Zustandswahrscheinlichkeiten.
P(x
j
|x
i
) sind Übergangswahrscheinlichkeiten
=
=
n
1
i
i
j
i
j
)
x
|
x
(
P
)
x
(
P
)
x
(
P
3.4 Verbundquellen
Teilquellen:
=
)
P(x
...
)
P(x
)
P(x
x
...
x
x
X
m
2
1
m
2
1
=
)
P(y
...
)
P(y
)
P(y
y
...
y
y
Y
n
2
1
n
2
1
Verbundquelle:
=
)
y
,
P(x
...
)
y
,
P(x
)
y
,
P(x
y
x
...
y
x
y
x
Z
n
m
2
1
1
1
n
m
2
1
1
1
3.5 Verbundquellen mit abhängigen Ereignissen
Wahrscheinlichkeit des Verbundereignisses (x
i
, y
j
):
)
y
|
x
(
P
)
y
(
P
)
y
,
x
(
P
)
x
|
y
(
P
)
x
(
P
)
y
,
x
(
P
j
i
i
i
i
i
i
i
i
i
=
=
P(y
i
|x
i
) ist die bedingte Wahrscheinlichkeit für das Auftreten eines Zeichens y
i
, wenn bekannt ist,
dass die 1. Teilquelle das Zeichen x
i
ausgewählt hat.
wobei x
i
= gesendete Zeichen
y
i
= empfangene Zeichen
Darstellung als Matrix:
y
1
y
2
... y
m
x
1
p(x
1
,y
1
)
...
...
p(x
1
,y
m
)
x
2
...
...
...
...
...
...
...
...
...
x
n
p(x
n
,y
1
)
...
...
p(x
n
,y
m
)
Wahrscheinlichkeit, dass x
i
eintritt:
=
=
m
1
j
j
i
i
)
y
|
x
(
P
)
x
(
P
Wahrscheinlichkeit, dass y
j
eintritt:
=
=
n
1
i
j
i
j
)
y
|
x
(
P
)
y
(
P
4
3.6 Beispiel
Verbundwahrscheinlichkeit zweier diskreter Quellen:
=
6
1
18
1
9
1
9
1
9
1
18
1
9
1
18
1
9
2
)
b
,
a
(
P
j
i
Zustandsswahrscheinlichkeiten P(a
i
):
P(a
1
) = 2/9 + 1/18 + 1/9 = 7/18
P(a
2
) = 1/18 + 1/9 + 1/9 = 5/18
P(a
3
) = 1/9 + 1/18 + 1/6 = 1/3
P(b
1
) = 2/9 + 1/18 + 1/9 = 7/18
P(b
2
) = 1/18 + 1/9 + 1/18 = 2/9
P(b
3
) = 1/9 + 1/9 + 1/6 = 7/18
Übergangswahrscheinlichkeiten P(b
j
|a
i
)
)
a
(
P
)
b
,
a
(
P
)
a
|
b
(
P
i
j
i
i
j
=
P(b
1
|a
1
) = (2/9) / (7/18) = 4/7
P(b
2
|a
1
) = (1/18) / (7/18) = 1/7
...
4 Informationsübertragung
4.1 Grundmodell
5 Informationsmaße
5.1 Summe aller Wahrscheinlichkeiten
Die Summe aller Wahrscheinlichkeiten ist 1:
=
=
n
1
i
i
1
)
x
(
P
5.2 Informationsgehalt
N
Gesamtzahl der Ereignisse
h(x
i
) Häufigkeit des Ereignisses x
i
]
bit
[
)
x
(
P
log
)
x
(
P
1
log
)
x
(I
)
x
(
h
N
N
)
x
(
h
)
x
(
P
i
2
i
2
i
n
1
i
i
i
i
-
=
=
=
=
=
2
ln
m
ln
m
ld
m
log
2
=
=
Beispiel:
x
i
A B C D E F G H
Quelle
Sender
Empfänger
Senke
Übertragungskanal
Ende der Leseprobe aus 9 Seiten
- nach oben
- Arbeit zitieren
- Dipl.-Ing. (FH), Dipl-Inform. (FH) Patrick Schimmel (Autor:in), 2011, Formelsammlung Informationstheorie, München, GRIN Verlag, https://www.grin.com/document/279533
Blick ins Buch
-
-
-
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen. -
-
Laden Sie Ihre eigenen Arbeiten hoch! Geld verdienen und iPhone X gewinnen.