Formelsammlung Informationstheorie. Aus dem Inhalt: Informationstheorie, Informationsbegriff, Wahrscheinlichkeiten, Informationsquellen, Informationsübertragung, Codierung von Informationen, (...).
Inhaltsverzeichnis
- Informationsbegriff
- Definition
- Informationsbegriff nach Shannon
- Wahrscheinlichkeiten
- Unabhängige Wahrscheinlichkeit
- Bedingte Wahrscheinlichkeit
- Informationsquellen
- Definition
- Quellen ohne Gedächtnis
- Quellen mit Gedächtnis (Markow-Quellen)
- Verbundquellen
- Verbundquellen mit abhängigen Ereignissen
- Beispiel
- Informationsübertragung
- Grundmodell
- Informationsmaße
- Summe aller Wahrscheinlichkeiten
- Informationsgehalt
- Entscheidungsgehalt
- Mittlerer Informationsgehalt und Entropie
- Entropie einer Verbundquelle
- Entropie einer Verbundquelle mit abhängigen Ereignissen
- Entropieredundanz
- Symmetrisch gestörter Binärkanal
- Beispiel Entropien
- Codierung von Informationen
- Definition
- Informationsfluss
- Kanalkapazität
- Signalkodierung
Zielsetzung und Themenschwerpunkte
Dieser Text befasst sich mit der Informationstheorie und untersucht den statistischen Aspekt von Information, losgelöst von ihrer Bedeutung. Er erklärt die Konzepte von Wahrscheinlichkeit, Informationsquellen und -übertragung sowie die Messung von Information anhand verschiedener Informationsmaße. Der Text beleuchtet außerdem die Codierung von Informationen und deren Anwendung in der Informationsübertragung.
- Definition und Konzepte der Informationstheorie
- Wahrscheinlichkeiten und deren Anwendung in der Informationsübertragung
- Unterscheidung und Analyse verschiedener Informationsquellen
- Quantifizierung von Information mithilfe von Informationsmaßen
- Codierung von Informationen und ihre Bedeutung für die Informationsübertragung
Zusammenfassung der Kapitel
Informationsbegriff
Dieses Kapitel definiert den Begriff der Information in der Informationstheorie als den statistischen Aspekt, unabhängig von ihrer Bedeutung. Es stellt den Informationsbegriff nach Shannon vor, der Information als Beseitigung von Unwissenheit definiert.
Wahrscheinlichkeiten
Dieses Kapitel behandelt die verschiedenen Wahrscheinlichkeiten, die in der Informationstheorie relevant sind. Es erklärt die unabhängige Wahrscheinlichkeit und die bedingte Wahrscheinlichkeit sowie deren Anwendung in der Analyse von Information.
Informationsquellen
Dieses Kapitel beschreibt verschiedene Arten von Informationsquellen, darunter Quellen ohne Gedächtnis, Quellen mit Gedächtnis (Markow-Quellen) und Verbundquellen. Es behandelt auch Verbundquellen mit abhängigen Ereignissen und bietet ein Beispiel zur Veranschaulichung der Konzepte.
Informationsübertragung
Dieses Kapitel stellt das Grundmodell der Informationsübertragung vor, das aus einer Quelle, einem Sender, einem Übertragungskanal, einem Empfänger und einer Senke besteht. Es erklärt die verschiedenen Komponenten und deren Rolle im Prozess der Informationsübertragung.
Informationsmaße
Dieses Kapitel führt verschiedene Informationsmaße ein, darunter die Summe aller Wahrscheinlichkeiten, den Informationsgehalt, den Entscheidungsgehalt und die Entropie. Es erklärt die Berechnung und Bedeutung dieser Maße sowie ihre Anwendung in der Analyse von Information.
Schlüsselwörter
Informationstheorie, Informationsbegriff, Wahrscheinlichkeit, Informationsquellen, Informationsübertragung, Informationsmaße, Entropie, Codierung, Signalkodierung, Kanalkapazität.
Häufig gestellte Fragen
Was ist der Informationsbegriff nach Shannon?
Claude Shannon definiert Information als die Beseitigung von Ungewissheit durch das Eintreten eines Ereignisses aus einer Menge von Möglichkeiten.
Was beschreibt die Entropie in der Informationstheorie?
Die Entropie ist ein Maß für den mittleren Informationsgehalt einer Quelle; sie gibt an, wie viel Information im Durchschnitt pro Ereignis übertragen wird.
Was sind Markow-Quellen?
Markow-Quellen sind Informationsquellen mit Gedächtnis, bei denen die Wahrscheinlichkeit eines Zeichens von den vorangegangenen Zeichen abhängt.
Wie funktioniert das Grundmodell der Informationsübertragung?
Es besteht aus einer Quelle, einem Sender (Codierer), dem Übertragungskanal, einem Empfänger (Decodierer) und der Senke.
Was versteht man unter Kanalkapazität?
Die Kanalkapazität gibt die maximale Rate an, mit der Information über einen gestörten Kanal fehlerfrei übertragen werden kann.
- Quote paper
- Dipl.-Ing. (FH), Dipl-Inform. (FH) Patrick Schimmel (Author), 2011, Formelsammlung Informationstheorie, Munich, GRIN Verlag, https://www.grin.com/document/279533
