Der Einfluss des Physikers Ludwig Boltzmann auf die Informationstheorie bei Shannon

Term Paper (Advanced seminar) , 2007 , 18 Pages , Grade: 1,3

Communications - Theories, Models, Terms and Definitions

Inhaltsverzeichnis

1 Einleitung

2 Ludwig Boltzmann

3 Grundlagen der Thermodynamik
3.1 Die Entropie
3.2 Das H-Theorem

4 Boltzmanns Schriften
4.1 Der Umkehreinwand
4.2 Antwort auf den Umkehreinwand

5 Die Entropie in der Informationstheorie

6 Fazit

Literaturliste

Internet

1 Einleitung

Die Entropie ist ein besonders geeignetes Beispiel dafür, wie ein Begriff seiner ursprünglichen Bedeutung entlehnt wird und für andere Felder der Sprache und menschlichen Kultur nutzbar gemacht wird. Als ein rein physikalischer Begriff, der um die Jahrhundertwende vom 18. auf das 19. Jahrhundert unter Physikern in Gebrauch kam, wurde er später auch in der Biologie, unter Ökonomen und, im Kontext dieser Arbeit besonders wichtig, in der Informationstheorie benutzt. Die Entropie gilt, in ihrem Ursprung, als ein universales Prinzip, das geschlossene Systeme von einem Zustand der Ordnung in den der Unordnung übergehen lässt.

In dieser Arbeit möchte ich kurz die Anfänge der Entropie skizzieren. Im Mittelpunkt der Betrachtungen wird Ludwig Boltzmann stehen, dessen Arbeiten von zentraler Bedeutung sind in der Weiterentwicklung der Entropie im zweiten Satz der Thermodynamik. Die spannenden Auseinandersetzungen Boltzmanns mit Kritikern an seinem Ansatz sollen ebenso ihren Platz finden wie die Weiterentwicklung des Entropiebegriffes selbst.

In einem zweiten Teil der Arbeit wird die Entropie in den Kontext der Medienwissenschaft, genauer der Informationstheorie, eingeordnet. Claude E. Shannon bezieht sich ausdrücklich auf die Arbeiten Boltzmanns bei der Entwicklung einer Einheit, die den Informationsgehalt von Nachrichten angeben soll – der Entropie. Zum Begriff in der Informationstheorie wurde viel geschrieben, er ist Medienwissenschaftlern vertraut. Deswegen soll der Schwerpunkt dieser Arbeit auf der physikalischen Seite liegen. Die Informationstheorie wird erst am Ende der Arbeit eingebracht, um direkte Bezüge und Gemeinsamkeiten aufzuzeigen.

2 Ludwig Boltzmann

Ludwig Boltzmann’s Lebenswerk bestand darin, die Thermodynamik neu aufzustellen. Bis hin in seinen Tod begleitete ihn dieses Streben. Noch auf seinem Grabstein steht die berühmte Gleichung, mit der er den Zweiten Hauptsatz der Thermodynamik erklärte: S = k * logW.

Durch diese und weitere Arbeiten wurde der Österreicher zu einem der bedeutendsten Physiker seiner Zeit.

Geboren wurde Boltzmann im Jahre 1844 in Wien. Auch für sein Studium blieb er in seiner Geburtsstadt und lernte unter Josef Stefan. Der Einfluss seines Mentors hat sich unmittelbar auf die Physikgeschichte ausgewirkt. Aus der Arbeit der beiden resultieren die Stefan-Boltzmann-Konstante und das Stefan-Boltzmann-Gesetz. Letzteres gibt die Wärmestrahlung eines idealisierten Körpers in Abhängigkeit von dessen Temperatur an. Die Stefan-Boltzmann-Konstante wiederum ist eine Naturkonstante, die in die Gleichung eingesetzt wird und mit dem griechischen Buchstaben Sigma (s) beschrieben wird. Für unsere weitere Betrachtung in Hinblick auf die Entropie sollen aber weder diese Konstante noch das Gesetz eine Rolle spielen.

Bereits 1869, im Alter von gerade einmal 25 Jahren also, übernahm Boltzmann die Professur für Theoretische Physik an der Universität Graz. Den rastlosen Physiker hielt es allerdings nicht lange dort. München, Wien und Leipzig folgten als Stationen seiner Lehrtätigkeit, bevor er 1895 wieder in Wien landete und dort den Lehrstuhl seines Mentors Stefan übernahm. Boltzmann selbst begründete einmal scherzhaft seine Rastlosigkeit damit, dass er während eines Faschingballes zur Welt gekommen sei. Bis zu seinem Tod durch Selbstmord 1906 in Duino bei Triest blieb er Wien treu und vertrat dort seine Thesen leidenschaftlich. Als Anhänger der Atomistik legte er sich beispielsweise mit Max Planck an. Boltzmann zeigte sich aber vielfältig interessiert. Während seiner Studienzeit belegte er Philosophiekurse, deren Einfluss noch in einigen seiner Schriften zu erkennen ist. Auch nach seiner Studienzeit blickte er über den disziplinären Tellerrand und interessierte sich beispielsweise für Darwins Evolutionstheorie.

Er zeigte sich sehr umtriebig und schrieb 139 wissenschaftliche Arbeiten, die oft in Auseinandersetzungen als Antwort auf andere Physiker konzipiert waren. 1909 wurden alle Arbeiten als Gesamtausgabe in drei Bänden veröffentlicht.

3 Grundlagen der Thermodynamik

Die Thermodynamik ist die Lehre der Energie, ihrer Erscheinungsform und ihrer Art, Arbeit zu verrichten. Sie wurde im 19. Jahrhundert entscheidend vorangetrieben, auch wenn wichtige Vorüberlegungen schon zuvor geschehen waren. Untrennbar mir der Entwicklung verbunden sind Namen wie James Prescott Joule, Hermann Ludwig Ferdinand von Helmholtz, Rudolf Clausius und eben Ludwig Boltzmann.

Es gibt vier Gesetze der Thermodynamik. Das vierte wurde nach den ersten dreien aufgestellt, ist aber so fundamental, dass es vielfach vor ihnen als das Nullte Theorem genannt wird. Es besagt: Wenn ein System A sich mit einem System B sowie B sich mit einem System C im thermischen Gleichgewicht befinden, so befindet sich auch A mit C im thermischen Gleichgewicht. Als Beispiel aus der Praxis soll das Thermometer dienen, dessen Funktions­wiese auf diese Weise erklärt werden kann.

Der Erste Hauptsatz der Thermodynamik beschreibt die Energieerhaltung in geschlossenen Systemen. Energie kann weder aus dem Nichts erzeugt werden noch verloren gehen, sondern höchstens in andere Energieformeln umgewandelt werden.

Der Zweite Hauptsatz besitzt für diese Arbeit die größte Bedeutung, hat er doch Boltzmann Zeit seines Lebens beschäftigt. Er beschreibt eine wichtige Eigenschaft der Entropie. Hier sei nur schnell die Grundaussage erwähnt, weiter hinten wird er noch ausführlicher behandelt. Die Formel lautet:

Abbildung in dieser Leseprobe nicht enthalten

wobei Dq die thermale Energie darstellt, die durch einen Koeffizienten mit der Entropie DS verbunden ist. Dieser Koeffizient ist die Temperatur T. In Worte gebracht, besagt die Formel: In geschlossenen Systemen steigt die Entropie an. Um den physikalischen Wert der Temperatur hier noch einmal deutlich zu machen, weise ich darauf hin, dass die Temperatur auf makrokopischer Ebene die Bewegung der Moleküle in einem System anzeigt. Damit ist sie, physikalisch gesehen, ein Maß für die Energie der (ungeordneten) Bewegung der Teilchen.

Nach dem Dritten Hauptsatz, der auch Nernst’sches Theorem genannt wird, erreicht die Entropie den Wert Null, wenn auch die Temperatur den Wert Null einnimmt.

Wir wollen diese vier Hauptsätze an einem Beispiel erläutern. Gegeben seien die zwei Systeme A + B, die miteinander in Kontakt stehen, aber von ihrer Umgebung isoliert sind.

Abbildung in dieser Leseprobe nicht enthalten

Nach dem ersten Gesetz gilt: WA – qA + WB – qB = 0 (Erhalt der Energie). Nach dem zweiten Gesetz wiederum steigt die Entropie immer an: DSA + DSB ³ 0. Der Transfer ist irreversibel, weil die totale Entropie des Systems ansteigt.

Das Beobachten von Phänomenen auf makroskopischer Ebene birgt ein Problem. Sie sind nicht abzählbar und damit wenig genau und kaum nachvollziehbar. Boltzmann wollte das ändern. Durch seine Arbeit wurde die Statistik in die Thermodynamik einbezogen und die Systeme in kleinere mikroskopische Zellen unterteilt. Vor allem das H-Theorem ist in diesem Zusammenhang wichtig, das Boltzmann als Hilfsinstrument zur Berechnung einführte und das in dieser Arbeit weiter unten genauer erläutert wird.

3.1 Die Entropie

Der Begriff leitet sich vom griechischen entropia ab, was „Wendung“ oder „Umwandlung“ bedeutet. Um dem recht abstrakten Begriff einen verständlicheren Sinn zu geben, wurde die Entropie auch als ein Maß für Ordnung beziehungsweise Unordnung bezeichnet, wobei der unordentlichere Zustand die höhere Entropie hat und als wahrscheinlicher gilt, weil ein Konsens besteht, dass Systeme dem Zustand der Entropie zustreben. Wie auch das Volumen, die elektrische Ladung und die Stoffmenge ist die Entropie eine Zustandsgröße. Rudolf Clausius hatte den Begriff bereits 1865 eingeführt, weil er bei der Beschreibung von Kreisprozessen auf eine Zustandsgröße stieß, die nicht auf bereits bekannte zurückzuführen war. Ein allseits beliebtes Beispiel, um die Entropie darzustellen, ist die folgende Gegenüberstellung:

Abbildung in dieser Leseprobe nicht enthalten

Das linke Bild zeigt den Anfangszustand mit geringer Entropie, weil die Moleküle in der Flüssigkeit sich in einer bestimmten Ordnung befinden. Mit der Zeit jedoch strebt das System der Entropie entgegen. Die Moleküle sind im ganzen Glas verteilt, ein Zustand von relativer Bewegungslosigkeit und hoher Unordnung ist erreicht. Das Beispiel hat zwar seine Schwächen. So handelt es sich nicht um ein geschlossenes System, weil Luftwirbel zum Beispiel von oben die Verteilung in der Flüssigkeit beeinflussen können. Geschlossene Systeme sind aber die Vorraussetzung dafür, dass eine Zunahme der Entropie so wahrscheinlich ist, dass sie schon beinahe als notwendig anzusehen ist. Dennoch scheint es als anschauliches Beispiel geeignet, zumindest das Prinzip der Entropie zu verdeutlichen.

3.2 Das H-Theorem

Boltzmann war der erste, der durch statistische Methoden das Verhalten von Gasen untersuchen wollte. Er unterteilte den zu untersuchenden Raum in kleinere Zellen, um ihn abzählbar zu machen, dabei entspricht jede Zelle einem Mikrozustand und jedes Molekül einem Energiewert. Energie ist auf diese Weise zu einer diskreten Rechengröße geworden, die dadurch Rückschlüsse auf den Gesamtzustand zulässt. Sein Weltbild vertrat Boltzmann in vielen Auseinandersetzungen, unter anderem mit Max Planck und Ernst Mach. Wilhelm Ostwald berichtet in seiner Autobiographie von einer Diskussion mit Boltzmann am Rande einer Naturforscherversammlung in Halle an der Saale im Jahre 1891. Boltzmann verteidigte seine Position mit den Worten:

„Ich sehe keinen Grund, nicht auch die Energie als atomistisch eingeteilt anzusehen.“^[1]

Selbst Planck, der stets anderer Meinung war, verwendete bei der Erstellung seines Strahlungsgesetzes schließlich Boltzmanns statistische Methode.

Dieter Flamm, Enkel Boltzmanns, weist darauf hin, dass sein Großvater als Wegbereiter der Quantenmechanik nach Planck gesehen werden kann und zwar in gleich zweifacher Hinsicht:

„Erstens dadurch, dass er die Verwendung der Wahrscheinlichkeitstheorie in Grundgesetzen der Physik hoffähig gemacht hat und zweitens durch die Einführung diskreter Energieniveaus.“^[2]

Das H-Theorem hat Boltzmann eingeführt, um zu beweisen, dass, wenn die Verteilung eines Gases einmal die Maxwell’schen Zustandsgleichung eingenommen hat, sich diese nicht ändert.

Dies ist die Formel zur Berechnung der Maxwell’schen Zustandsverteilung in einer eindimensionalen Betrachtung.

Abbildung in dieser Leseprobe nicht enthalten

Die Bedeutungen der Formelzeichen sind im Einzelnen:

V= Teilchengeschwindigkeit

KB= Boltzmann-Konstante

MM= Teilchenmasse

M= Molmasse

T= Temperatur

Wird das H-Theorem in die Boltzmannkonstante eingesetzt, kann H mit der Zeit nur abnehmen oder konstant bleiben, aber nicht wachsen. Zur Anschauung hier das H-Theorem^[3]:

Abbildung in dieser Leseprobe nicht enthalten

Doch Boltzmann sah seine Ergebnisse sehr fatalistisch. Er folgerte aus der Annäherung gegen Null, dass die Verteilung eines Gases sich im Laufe der Zeit immer der von Maxwell postulierten annähern müsse. Seine Ausführungen wurden kaum wahrgenommen, in der Fachwelt stießen sie nur vereinzelt auf Widerstand, unter anderem durch seinen Freund Josef Loschmidt und durch Ernst Zermelo, einem Schüler Plancks. Dadurch sah Boltzmann sich angespornt, seine Resultate zu rechtfertigen. Durch solche wissenschaftlichen Auseinandersetzungen wurden erst seine wichtigsten Ergebnisse möglich.

4 Boltzmanns Schriften

Seine damals noch ungewohnte und skeptisch beäugte Methode, die Thermodynamik mit Hilfe der Statistik anzugehen, benutzte er erstmals öffentlich in seiner Schrift: „Weitere Studien über das Wärmegleichgewicht unter Gasmolekülen.“ (Wien 1872). Darin heißt es:

„Lediglich dem Umstande, dass selbst die regellosesten Vorgänge, wenn sie unter denselben Verhältnissen vor sich gehen, doch jedes Mal dieselben Durchschnittswerte liefern, ist es zuzuschreiben, dass wir auch im Verhalten warmer Körper ganz bestimmte Gesetze wahrnehmen. [...] Die Bestimmung von Durchschnittswerten ist Aufgabe der Wahrscheinlichkeitsrechnung. Die Probleme der mechanischen Wärmetheorie sind daher Probleme der Wahrscheinlichkeitsrechnung.“^[4]

Das Ziel der Schrift war für Boltzmann, die Maxwell’sche Geschwindigkeitsverteilung zu erklären. Tatsächlich erhielt Bolztmann bei seinen Berechnungen zur Zustandsverteilung der Gase als eine Lösung einer von ihm aufgestellten Gleichung die Maxwell’sche Zustandsverteilung. Diese war allerdings nur eine von mehreren Möglichkeiten, wie er erklärend hinzufügte:

„Aus dem vorher Gesagten aber folgt, dass dieselbe [die Gleichung] noch unendlich viele andere Lösungen hat, welche aber nicht brauchbar sind, da dabei f(x) immer für gewisse x negativ oder imaginär ausfällt. Daraus folgt am klarsten, dass Maxwells Versuche, a priori zu beweisen, dass seine Lösung die einzige sei, fehlschlagen mussten. Sie ist nicht die einzige, sondern es kann nun bewiesen werden, dass sie allein lauter positive Wahrscheinlichkeiten liefert, dass sie also allein brauchbar ist.“^[5]

Andere Lösungen wurden beispielsweise negativ, doch das konnte unter praktischen Bedingungen nie passieren, da x als „lebendige Kraft“ eines der Moleküle nur positiv sein konnte. Die Ergebnisse, die am Ende der theoretischen Ausarbeitung standen, müssen noch in einer weiteren Hinsicht eingeschränkt werden.

Denn unter realen Bedingungen werden die Bewegungen der Teilchen durch Reibung und Wärmeleitung gestört. Wahrhaft geschlossene Systeme, wie sie als Bedingung für Boltzmanns Berechnungen gedacht waren, existieren also in Wirklichkeit eher nicht.

4.1 Der Umkehreinwand

Wie bereits weiter oben beschrieben, sah Boltzmann sein Prinzip der Entropie, des Strebens eines Gases vom geordneten in einen ungeordneten Zustand, sehr fatalistisch. In letzter Konsequenz würde dieses Prinzip auch den Hitzetod des Universums bedeuten, eine Schlussfolgerung, die auf das Heftigste diskutiert wurde.^[6] Johann Joseph Loschmidt (1821-1895), ein Freund Boltzmanns, konnte sich mit der tödlichen und fatalistischen Konsequenz nicht abfinden.

In der Schrift „Über den Zustand des Wärmegleichgewichtes von Körpern mit Rücksicht auf die Schwerkraft“ (1876) wendet er den sogenannten Umkehreinwand an, um damit kritisch auf die Boltzmann’schen Überlegungen zu antworten.

Darin konstruiert er einen Anfangszustand eines Gases, der eben doch zu einer Abnahme der Entropie führen kann. Er ordnete Moleküle auf einer senkrechten Linie an. Aufgrund der Schwerkraft und der Wärmebewegung können sie sich nur auf dieser Linie bewegen. In dieser Anordnung stoßen immer wieder die gleichen Moleküle zusammen. Eine Zunahme der Entropie ist in dieser Konstellation genauso möglich wie deren Abnahme. Somit hatte er eine Ausnahme vom zweiten Hauptsatz gefunden, wie ihn Boltzmann formuliert hatte.

4.2_Antwort auf den Umkehreinwand

Boltzmann konnte seinem Freund Loschmidt eigentlich dankbar sein, regte der ihn doch zur genaueren Ausarbeitung seines statistischen Ansatzes an. Mit dem berechtigten, wenn auch zu apodiktisch gedachten, Einwand Loschmidts, wurde die Entropie als universales Prinzip in Frage gestellt. Bereits im selben Jahr antwortete Boltzmann in seiner Schrift „Über die Aufstellung und Integration der Gleichungen, welche die Molekularbewegung in Gasen bestimmen“ und bewies, dass die Zustandsverteilung nicht von der Schwerkraft abhängt, wie noch zuvor von Loschmidt angenommen. Nach Maxwell konnte Boltzmann ebenso beweisen, dass auch die Bewegung der Teilchen und die damit verbundenen Zusammenstöße letztlich nicht die Zustandsverteilung beeinflussen.

Im darauffolgenden Jahr geht Boltzmann auf die statistischen Elemente seiner Methode ein und etabliert die Wahrscheinlichkeitsrechnung in seinen Berechnungen über den zweiten Hauptsatz. Schon in der Überschrift wird sein Vorhaben deutlich: „Über die Beziehung zwischen dem zweiten Hauptsatze der mechanischen Wärmetheorie und der Wahrscheinlichkeitsrechnung respektive den Sätzen über das Wärmegleichgewicht“ (Wien, 1877). Auch wenn Boltzmann für seine Akribie und ausführliche Problemlösung bekannt war, kam er in dieser Arbeit schon auf den ersten Seiten auf sein Ansinnen zu sprechen.

„Es ist also damit ausgesprochen, dass man den Zustand des Wärmegleichgewichts damit berechnen kann, dass man die Wahrscheinlichkeit der verschiedenen möglichen Zustände des Systems aufsucht. Der Anfangszustand wird in den meisten Fällen ein sehr unwahrscheinlicher sein, von ihm wird das System immer wahrscheinlicheren Zuständen zueilen, bis es endlich den wahrscheinlichsten, d.h. den des Wärmegleichgewichtes erreicht hat.

Wenden wir dies auf den Zweiten Hauptsatz an, so können wir diejenige Größe, welche man gewöhnlich als die Entropie zu bezeichnen pflegt, mit der Wahrscheinlichkeit des betreffenden Zustandes identifizieren.“^[7]

In nur wenigen Sätzen tritt er allen Widerworten gegen seine Methode entgegen, indem er sie als reine Wahrscheinlichkeit einführt. Diese Wahrscheinlichkeit allerdings ist in einem geschlossenen System nach genügend langer Zeit so hoch, dass andere Möglichkeiten praktisch ausscheiden. Die zwei Aspekte des geschlossenen Systems und der langen Zeitperiode wurden in der Kritik oft nicht berücksichtigt. Sie sind aber essentiell wichtig für die Boltzmannschen Überlegungen.

Die Arbeit ist neben der Etablierung der Wahrscheinlichkeitsrechnung als Methode noch in anderer Hinsicht von Bedeutung. Aus Boltzmanns Berechnungen resultiert eine Relation, die Albert Einstein später^[8] „Boltzmannsches Prinzip“ genannt hat:

S = k * logW.

In diese Form hatte sie allerdings erst Max Planck im Jahr 1900 gebracht. Sie beschreibt die Permutabilität von Molekülen in Proportionalität zum Logarithmus, sei hier jedoch nur am Rande erwähnt.

Ein Schüler Plancks hatte Boltzmanns Arbeit jedoch anders aufgegriffen und seinen Ansatz attackiert. Mit Unterstützung seines Lehrers kritisierte Ernst Zermelo Boltzmanns Ansatz. Seine Argumentation war durchaus schlüssig und stützte sich auf einen Lehrsatz des französischen Physikers und Mathematikers Jules Henri Poincaré. Der besagt, dass ein mechanisches System, das aus einer endlichen Menge an Gasteilchen besteht, periodisch nach einer bestimmten Zeit wieder seinem Anfangszustand entgegenstrebt. Somit, schlussfolgerte Zermelo, könne die Entropie gar nicht unaufhaltsam ansteigen. Die Maxwellsche Gleichgewichtsverteilung kann also nur ein möglicher vorübergehender Zustand sein und keineswegs ein feststehendes Endergebnis.

Boltzmann, dessen Überlegungen wenig Aufmerksamkeit fanden, nahm diesen Einwand genüsslich auf und freute sich über die ihm zuteil gewordene Aufmerksamkeit. In spitzer Ironie stellt er zunächst fest, dass seine Arbeiten „trotzdem nicht verstanden worden sind.“^[9] Daraufhin führt er seine Überlegungen, weiter aus. Tatsächlich gibt Boltzmann Ernst Zermelo sogar Recht:

„Die Wahrscheinlichkeitsrechnung führt daher [...] ebenfalls zu dem Resultate, dass eine Wiederkehr des ursprünglichen Zustandes durchaus nicht mathematisch ausgeschlossen ist, ja dass dieselbe sogar zu erwarten ist, wenn die Zeit der Bewegung genügend lange ausgedehnt wird, da die Wahrscheinlichkeit eines dem Anfangszustande sehr nahe liegenden Zustandes sehr klein, aber nicht unendlich klein ist.“^[10]

Doch schon in der Formulierung der „genügend langen“ Zeit, liegt die Meinungsverschie­denheit mit Zermelo begründet. Während dieser rein mathematisch argumentiert, verlegt Boltzmann seine Argumentation in die menschliche Sinneswahrnehmung, wodurch er zum einen anschaulicher wird, zum anderen aber auch den wohl praktikableren Weg beschreitet. Denn die mathematische Wahrscheinlichkeit, einer Wiederkehr des Anfangszustandes ist zeitlich einfach nicht feststellbar und aus praktischen Erwägungen vernachlässigbar. Boltzmann entgegnet ihm deshalb energisch:

„Nur der Schluss, dass an den mechanischen Grundanschauungen irgend etwas geändert oder diese gar aufgegeben werden müssten, darf daraus nicht gezogen werden. So wenig nun die im Anhange gegebene Rechnung irgend einen Anspruch auf Genauigkeit machen kann, so zeigt dieselbe doch, dass aus dem Poincaréschen Satze jedenfalls nicht bewiesen werden kann, dass die theoretische Existenz einer Periode, nach welcher derselbe Zustand des Gases wiederkehrt, irgend einen Widerspruch mit der Erfahrung involviere, da die Länge dieser Periode jeder Beobachtbarkeit spottet.“^[11]

Tatsächlich wächst die Wiederkehrzeit nach Poincaré exponentiell zur Anzahl der Gasmoleküle an. Poincaré sagt, dass ein aus endlich vielen Massepunkten (Gasteilchen) bestehendes mechanisches System, das in ein endliches Volumen eingeschlossen ist, quasiperiodisch ist und nach endlich langer Zeit seinem Anfangszustand wieder beliebig nahe kommt. Das hieße bei einem Kubikzentimeter Gas, auf den sich 1019 Moleküle verteilen, dass die Wiederkehrzeit bei 1019 Sekunden liegen würde. Es dürfte einleuchten, dass für ein universales Prinzip, solch eine Wiederkehrzeit in den meisten Fällen tatsächlich nicht beobachtbar ist.

5 Die Entropie in der Informationstheorie

Es wäre nicht gewinnbringend, die Entlehnung des Begriffes „Entropie“ aus der Thermodynamik für die Informationstheorie in eigenen Worten erklären zu wollen, da schon Warren Weaver zumindest die Grundlagen anschaulich dargelegt hat. Auch auf anderen Feldern wurde in der Hinsicht schon eine hervorragende Arbeit geleistet. So hat schon J von Neumann darauf hingewiesen, dass sich Shannon direkt auf frühe Arbeiten von Boltzmann bezieht, in denen der die Entropie als Maß für „fehlende Information“ begreift. Weaver stellt das in den Fußnoten seines Textes noch genauer heraus:

„ [...] und zwar insoweit, als sie die Anzahl von Alternativen betrifft, die für ein physikalisches System noch offen bleiben, nachdem alle makroskopisch beobachtbare, das System betreffende Information aufgezeichnet ist.“^[12]

Mit der „Anzahl von Alternativen“ spricht Weaver ein verbindendes Element von Informationstheorie und Thermodynamik an. Alternativen bedeuten immer auch Wahrscheinlichkeiten in denen sie auftreten, und diese Wahrscheinlichkeiten sind die zweite Verbindung zwischen dem Physiker Boltzmann und dem Mathematiker Shannon. Bevor die Gemeinsamkeiten in diesem Abschnitt herausgearbeitet werden sollen, muss noch eine Vorbedingung geklärt sein. Der Begriff der „Information“ wird im Folgenden in einer sehr speziellen Bedeutung verwendet. Weaver schließt erst ex negativo aus, was Information in seinem Verständnis und in dem von Shannon nicht ist:

„Insbesondere darf Information nicht der Bedeutung gleichgesetzt werden.“^[13]

Anschließend gibt er eine Definition vor, die im Folgenden als Konsens dienen soll, bei der Frage, was genau Information ist:

„Das heißt, Information ist ein Maß für die Freiheit der Wahl, wenn man eine Nachricht aus anderen aussucht.“^[14]

Boltzmanns’s Leistung, das sollten die vorangegangenen Abschnitte deutlich gemacht haben, war die Etablierung der Wahrscheinlichkeitsrechnung in der theoretischen Physik. Mit statistischen Methoden machte er den makroskopischen Raum abzählbar – und damit zum ersten Mal messbar. Auch bei der Übertragung von Information, hier auf einer rein technischen Ebene gesehen, spielen Wahrscheinlichkeiten eine große Rolle.

H beschreibt bei Shannon, ähnlich wie bei Boltzmann, die Entropie oder wie er es ausdrückt, „die Unsicherheit“. Gemeint ist damit die Wahrscheinlichkeit mit der ein Ereignis auftritt. Bei zwei möglichen Wahrscheinlichkeiten, von der die eine p ist und die andere q, ist die Wahrscheinlichkeit von q also: 1-p. Wenn bei einer Auswahl aus zwei Möglichkeiten beide gleich wahrscheinlich sind, dann erhält man die Gleichung: H= -(p log p + q log q). Grafisch ist sie hier dargestellt.^[15]

Abbildung in dieser Leseprobe nicht enthalten

Bei vollkommener Sicherheit einer Wahrscheinlichkeit ist H= 0. Dazu sagt Shannon:

H verschwindet „nur dann, wenn wir über das Ergebnis sicher sind“^[16]

Eine weitere Ähnlichkeit ergibt sich, durch die atomistische Herangehensweise beider. Während Boltzmann den makroskopischen Raum in mikroskopische Räume einteilte, tut ihm Shannon dies bei kontinuierlichen Nachrichtenübertragungen nach. Er unterteilt sie in diskrete Bereiche.

„To a considerable extent the continuous case can be obtained through a limiting process from the discrete case by dividing the continuum of messages and signals into a large but finite number of small regions and calculating the various parameters involved on a discrete basis. As the size of the regions is decreased these parameters in general approach as limits the proper values for the continuous case.”^[17]

Dabei stellt Shannon heraus, dass diese Methode zwar keine allgemeingültige Genauigkeit für sich in Anspruch nehmen kann, allerdings für eine genügend aussagekräftige Annäherung an die tatsächlichen Werte für kontinuierliche Signale durchaus geeignet ist. Auch diese Anspruchshaltung ist der von Boltzmann auf verblüffende Weise ähnlich. Die Entlehnung des Begriffes der „Entropie“ aus der Thermodynamik erscheint somit mehr als passend. So schreibt auch Weaver, dass die Messung der Information durch die Entropie nur „natürlich“ sei, denn schließlich stehe sie für die Wahlfreiheit, die man bei der Auswahl einer Information habe. Gemeint ist die Organisiertheit beziehungsweise Vermischtheit eines Systems. Wie in unserem Beispiel weiter oben mit dem Gas, das sich von einem klar definierten, geordneten Bereich immer mehr vermischt und so einer höheren Entropie entgegenstrebt, so erhöht sich auch die Entropie (oder Information) bei einer größeren „Vermischung“ der Information, aus der eine ausgewählt werden kann. Je vermischter (in diesem Fall wohl besser: ungewisser) eine Wahl ist, desto größer ist die Information beziehungsweise die Entropie.

6 Fazit

Die Entropie und ihre Bedeutung in den verschiedenen Wissenschaftsfeldern, in denen mit ihr gearbeitet wird, ist nicht hoch genug einzuschätzen.

„[...] und die Tendenz der physikalischen Systeme, weniger und weniger organisiert, immer perfekter „vermischt“ zu werden, ist so grundsätzlich, dass Eddington behauptet, dass in erster Linie diese Tendenz der Zeit ihre Richtung gibt – uns also zeigen würde, ob ein Film der physikalischen Welt vorwärts oder rückwärts läuft.“^[18]

So weit wie Eddington muss man in der Informationstheorie nicht gehen. Dennoch ist es unabdingbar für die Größe „Information“ eine Maßeinheit zu haben, die es erlaubt, mit ihr zu arbeiten und mathematisch exakte Angaben zu machen. Shannon hatte vor allem die technische Seite der Nachrichtenübertragung im Blick und dem kommt die Entropie auch entgegen, denn der Inhalt einer Nachricht ist für den Wert der Information erst einmal ohne Bedeutung. Indem Shannon aber Markoff-Ketten und stochastische Zeichenfolgen ins Spiel bringt, mathematische Begriffe, die grob gesagt, solche Zeichenfolgen beschreiben, die in Abhängigkeit von den vorherigen stehen, werden seine Überlegungen auch interessant für die inhaltliche Seite von Nachrichten. Wieviel Redundanz ist nötig, um eine Sprache zu verstehen? Neben inhaltlichen Aspekten, die hiervon berührt werden, ist solch eine Frage selbstverständlich auch wichtig, insbesondere für Shannon, im Hinblick auf (De-)Codierung von Information.

Die Gemeinsamkeiten von Thermodynamik und Informationstheorie sind evident. Deshalb ist es wichtig, sie aufzuzeigen und in einer Arbeit wie dieser zusammenzustellen. Da Begriffe selten nur auf ein Feld beschränkt sind, böte sich diese Form sicherlich noch für weitere entlehnte Wörter an. Der Vergleich von Bedeutungen in verschiedenen Wissenschaftsbereichen kann sehr gewinnbringend sein. Im übrigen wird auch der Begriff „Feld“ höchst unterschiedlich gehandhabt und in verschiedenen Zusammenhängen unterschiedlich gebraucht. Aber das ist ein weites Feld.

Literaturliste

- Arndt, Christoph: Information Measures. Springer, Berlin Heidelberg 2001
- Ayres, Robert U. : Information, Entropy and Progress. American Institute of Physics. Woodbury (USA), 1994
- Boltzmann, Ludwig: Entropie und Wahrscheinlichkeit. Harri Deutsch, Thun Frankfurt a. M.2000
- Klimant, Herbert, Piotraschke, Herbert, Schönfeld, Dagmar: Informations- und Kodierungstheorie. Teubner. Stuttgart Leipzig 1996.
- Müller, Ingo: Grundzüger der Thermodynamik. Springer, Berlin Heidelberg 1999
- Shannon, Claude E.: Ein Aus. Ausgewählte Schriften zur Kommunikations- und Nachrichtentheorie. Hg. Von Kittler, Friedrich, Berz, Peter, Hauptmann, David, Roch, Axel. Brinkman + Bose, Berlin 2000, S. 28
- Weaver, Warren: Ein aktueller Beitrag zur mathematischen Theorie der Kommunikation. In: Shannon, Claude E.: Mathematische Grundlagen der Informationstheorie. München, Oldenbourg, 1949

Internet

- http://www.wikipedia.de
- http://www.techfak.uni-bielefeld.de/ags/ni/lectures/lectures-w05/Entropie/media/Entropie_und_Physik-8.pdf
- http://bibsrv.physik.rwth-aachen.de/Skripte/HTML/Schnakenberg/Thermo99/thbx/node118.html#SECTION001421000000000000000

[...]

---

^[1] Ostwald, Wilhelm: Lebenslinien. Bd.2. 1927, zitiert nach: Flamm, Dieter: Einführung zu Ludwig Boltzmanns Entropie und Wahrscheinlichkeit. In: Boltzmann, Ludwig: Entropie und Wahrscheinlichkeit. Harri Deutsch, Thun Frankfurt a. M.2000, S. XII

^[2] Flamm, Dieter: Einführung zu Ludwig Boltzmanns Entropie und Wahrscheinlichkeit. In: Boltzmann, Ludwig: Entropie und Wahrscheinlichkeit. Harri Deutsch, Thun Frankfurt a. M.2000, S. XIII (EuW)

^[3] http://en.wikipedia.org/wiki/H-theorem

^[4] EuW, S 1f.

^[5] ebd, S. 45f

^[6] so zum Beispiel von Rudolf Clausius, der die Tendenz folgendermaßen beschreibt: „Je mehr die Welt sich diesem Grenzzustande, wo die Entropi ein Maximum ist, nähert, desto mehr nehmen die Veranlassungen zu weiteren Veränderungen ab, und wenn dieser Zustand endlich ganz erreicht wäre, so würden auch keine weiteren Veränderungen mehr vorkommen, und die Welt würde sich in einem todten Beharrungszustande befinden.“, zit. nach Müller, Ingo: Grundzüger der Thermodynamik. Springer, Berlin Heidelberg 1999, S. 147

^[7] EuW, S.138

^[8] EuW, S.XII, nach: Einstein, Albert: Über einen die Erzeugung und Verwandlung des Lichts betreffenden heuristischen Gesichtspunkt. Annalen der Physik 17 (1905)

^[9] EuW, S. 231

^[10] EuW, S. 235

^[11] EuW, S. 235

^[12] Weaver, Warren: Ein aktueller Beitrag zur mathematischen Theorie der Kommunikation. In: Shannon, Claude E.: Mathematische Grundlagen der Informationstheorie. München, Oldenbourg, 1949, S.25

^[13] ebd., S.18

^[14] ebd.

^[15] Entnommen aus: Shannon, Claude E.: A mathematical theory of communication, S. 11, http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf

^[16] Shannon, Claude E.: Ein Aus. Ausgewählte Schriften zur Kommunikations- und Nachrichtentheorie. Hg. Von Kittler, Friedrich, Berz, Peter, Hauptmann, David, Roch, Axel. Brinkman + Bose, Berlin 2000, S. 28

^[17] A mathematical theory of information, S. 32

^[18] Weaver, S.22

• College: Humboldt-University of Berlin
• Grade: 1,3
• Author: Matthias Jekosch (Author)
• Publication Year: 2007
• Pages: 18
• Catalog Number: V111486
• ISBN (eBook): 9783640095384
• Language: German
• Tags: Einfluss, Physikers, Ludwig, Boltzmann, Informationstheorie, Shannon