Die Brillenversuche haben eine lange Tradition und demzufolge gibt es eine Fülle von Abhandlungen zu diesem Thema. Diese Arbeiten befassen sich jedoch hauptsächlich mit der Beschreibung der kontinuierlichen Adaption des Menschen an den - durch Prismen- und Spiegelbrillen - veränderten Input an das visuelle System auf rein verhaltensbeobachtender Ebene.
Der Frage, wie sich diese Adaption auf neuronaler Ebene vollzieht, wurde bisher noch nicht nachgegangen.
Zu diesem Zweck müssten visuelle Systeme von Individuen, die sich erfolgreich an die veränderten Umweltbedingungen angepasst haben, mit solchen verglichen werden, bei denen ein Umlernen nicht stattgefunden hat. Nun sind solche Untersuchungen aber mit erheblichem methodischen Aufwand verbunden, da man ja die Veränderungen in der zellulären Struktur des visuellen Systems in erster Linie mit Hilfe histologischer Methoden beschreiben müsste.
Als Alternative bietet sich nun eine Technologie an, die in den letzten Jahren stark an Bedeutung gewonnen hat und sich in ihrer vergleichsweise einfachen Handhabung möglicherweise für diese Art von Untersuchungen eignet: Die Nachbildung menschlicher Wahrnehmungssysteme mit Hilfe computersimulierter neuronaler Netzwerke.
Obwohl die simulierten Netzwerke im Vergleich zu ihren natürlichen Vorbildern meist drastisch vereinfacht sind, so lassen sich in Bezug auf Aufbau, Funktionsweise und Verhalten gewisse Parallelen nicht leugnen. Diese Ähnlichkeiten gehen so weit, dass einige der führenden Netzwerk-Forscher der Meinung sind, dass solche Simulationen durchaus eine hohe explikative Potenz aufweisen.
Zumindest stellen die Erkenntnisse aus Netzwerk-Simulationen eine sinnvolle Ergänzung zu den traditionellen Untersuchungsmethoden dar.
In diesem Sinne wurde Im Rahmen dieser Diplomarbeit ansatzweise versucht, bestimmte Teilaspekte des neuronalen Umlernvorgangs während des Tragens einer Umkehrbrille, mit einem computersimulierten neuronalen Netzwerk nachzubilden und die entstandenen neuronalen Strukturen auf Unterschiede zu untersuchen.
Inhaltsverzeichnis
Einleitung
1. Die Kohler´schen Versuche mit Umkehrbrillen
1.1. Einführung
1.2. Zusammenfassung der Untersuchungsergebnisse
1.3. Bedeutung der Kohler´schen Brillenversuche für die moderne Wahrnehmungsforschung
2. Aufbau und Funktionsweise des visuellen Systems
2.1. Die Stationen der visuellen Verarbeitung
2.1.1. Die funktionelle Organisation retinaler Ganglienzellen
2.1.2. Die Sehbahn und ihre Projektionen
2.1.3. Die Signalverarbeitung im Corpus Geniculatum Laterale
2.1.4. Die Signalverarbeitung im visuellen Kortex
2.1.5. Die Verarbeitung in den höheren visuellen Arealen
2.2. Ontogenetische Entwicklung und Plastizität im visuellen System
2.3. Objektrepräsentationen und Objekterkennung im visuellen System
2.3.1. Moderne Theorien des Sehens
2.3.1.1. Eine Arbeitshypothese: »Sehen als Zuordnen von internen Repräsentationen zu Objekten der Außenwelt«
3. Computersimulierte neuronale Netzwerke
3.1. Einleitung
3.2. Vergleich zwischen natürlichen und künstlichen neuronalen Netzwerken
3.3. Geschichtlicher Überblick der Entwicklung neuronaler Netzwerke
3.4. Struktur und Funktionsweise mehrschichtiger neuronaler Netze
3.4.1. Allgemeiner Aufbau
3.4.2. Der Lernvorgang in einem neuronalen Netzwerk
3.4.3. Der Informationsverarbeitungsvorgang in einem Prozessorelement
3.5. Das Backpropagation-Netzwerk
3.5.1. Aufbau eines Backpropagation-Netzwerks
3.5.2. Die generalisierte Delta - Lernregel
3.5.3. Backpropagation-Netzwerke als vereinfachte Modelle für menschliche Wahrnehmungssysteme
3.6. Interne Repräsentationen in neuronalen Netzwerken und Matrixspeichern
3.6.1. Interne Repräsentationen in neuronalen Netzwerken
3.6.2. Interne Repräsentationen in Matrixspeichern
3.6.2.1. Mathematischer Formalismus und Funktionsweise von Matrixspeichern
3.6.2.2. Entwicklung eines musterassoziierenden Matrixspeichers
3.6.2.3. Matrixspeicher als Modelle für die Großhirnrinde
3.6.2.3.1. Das Assoziativ-Speichermodell der Hirnrinde von Günther Palm
3.6.2.3.2. Anwendung des Palm´schen Assoziativspeichermodells
3.6.3. Zusammenfassung
4. Die Computer-Simulation des neuronalen Umlernvorgangs während des Tragens einer Umkehrbrille
4.1. Einleitung
4.2. Beschreibung des Seh- und Umlernvorgangs durch einen musterassoziierenden Matrixspeicher
4.2.1. Der musterassoziierende Matrixspeicher M.A.M
4.2.2. Durchführung der Simulation
4.2.2.1. Zuordnung interner Repräsentationen zu aufrechten Objekten
4.2.2.2. Zuordnung interner Repräsentationen zu verkehrten Objekten
4.3. Zusammenfassung und Diskussion der Assoziativspeicher-Simulationsergebnisse
4.4. Simulation des neuronalen Umlernvorgangs durch ein Backpropagation-Netzwerk
4.4.1. Erzeugung des Backpropagation-Netzwerks
4.4.2. Training des Netzwerks durch die Lernmusterdateien für aufrechte und verkehrte Muster
4.4.3. Analyse der synaptischen Gewichtungen
4.4.3.1. Untersuchungsfrage
4.4.3.2. Erhebung der Gewichte
4.4.3.3. Statistische Auswertung
4.4.3.3.1. Testauswahl
4.4.3.3.2. Durchführung des T-Tests für unabhängige Stichproben
4.4.4. Simulation des Überlernens von Assoziationen
4.5. Zusammenfassung und Diskussion der Netzwerk-Simulationsergebnisse
4.6. Annahme eines »Neuronalen Erklärungsmodells« zum Umlernvorgang während des Tragens einer Umkehrbrille
Literaturliste
Bildnachweise
Anhang
Quellcode des Programms M.A.M.
Lernmusterdateien der Muster: »Buchstaben, Symbole, Ziffern«
Gewichtungen der synaptischen Verbindungen nach erfolgreichem Training
Einleitung
Die Brillenversuche haben eine lange Tradition und demzufolge gibt es eine Fülle von Abhandlungen zu diesem Thema. Diese Arbeiten befassen sich jedoch hauptsächlich mit der Beschreibung der kontinuierlichen Adaption des Menschen an den - durch Prismen- und Spiegelbrillen - veränderten Input an das visuelle System auf rein verhaltensbeobachtender Ebene (siehe das Kapitel 1.2).
Der Frage, wie sich diese Adaption auf neuronaler Ebene vollzieht, wurde bisher noch nicht nachgegangen.
Zu diesem Zweck müßten visuelle Systeme von Individuen, die sich erfolgreich an die veränderten Umweltbedingungen angepaßt haben, mit solchen verglichen werden, bei denen ein Umlernen nicht stattgefunden hat. Nun sind solche Untersuchungen aber mit erheblichem methodischen Aufwand verbunden, da man ja die Veränderungen in der zellulären Struktur des visuellen Systems in erster Linie mit Hilfe[1] histologischer Methoden beschreiben müßte.
Als Alternative bietet sich nun eine Technologie an, die in den letzten Jahren stark an Bedeutung gewonnen hat und sich in ihrer vergleichsweise einfachen Handhabung möglicherweise für diese Art von Untersuchungen eignet: Die Nachbildung menschlicher Wahrnehmungssysteme mit Hilfe computersimulierter neuronaler Netzwerke (Hinton, 1992; Kohonen, 1984).
Obwohl die simulierten Netzwerke im Vergleich zu ihren natürlichen Vorbildern meist drastisch vereinfacht sind (Schweizer, 1986), so lassen sich in bezug auf Aufbau, Funktionsweise und Verhalten gewisse Parallelen nicht leugnen (siehe das Kapitel 3.2). Diese Ähnlichkeiten gehen so weit, daß einige der führenden Netzwerk-Forscher der Meinung sind, daß solche Simulationen durchaus eine hohe explikative Potenz aufweisen (Hinton, 1992).
Zumindest stellen die Erkenntnisse aus Netzwerk-Simulationen eine sinnvolle Ergänzung zu den traditionellen Untersuchungsmethoden dar.
In diesem Sinne wurde Im Rahmen dieser Diplomarbeit ansatzweise versucht, bestimmte Teilaspekte des neuronalen Umlernvorgangs während des Tragens einer Umkehrbrille, mit einem computersimulierten neuronalen Netzwerk nachzubilden und die entstandenen neuronalen Strukturen auf Unterschiede zu untersuchen (Kap.4.4).
1. Die Kohler´schen Versuche mit Umkehrbrillen
1.1. Einführung
Die Versuche mit Umkehrbrillen haben eine fast hundertjährige Tradition. Schon 1896 experimentierte George Stratton mit einem Linsensystem, das ein seitenverkehrtes und auf dem Kopf stehendes Bild erzeugte (Rock, 1985). Obwohl Stratton seine mehrtägigen Selbstversuche nur einäugig durchführte, und obwohl ein Linsensystem neben der Bildumkehr noch andere, unkontrollierbare Effekte erzeugt (chromatische Aberration, Verzerrungen, usw.), konnte er trotzdem eine allmähliche Anpassung an diese veränderten Umweltbedingungen beobachten. Er kam zu dem Schluß, daß im Laufe der Zeit ein vollständiges Aufrechtsehen wieder gelernt werden kann, wenn man das Linsensystem nur lange genug trägt. Stratton wies außerdem auf die Wichtigkeit des Tastsinn es für das Wiedererlernen des Aufrechtsehens hin.
Ewert experimentierte schon mit beidäugigen Linsensystemen und konnte ebenfalls den Nachweis erbringen, daß durch eine Anpassung des äußeren Verhaltens ein Zurechtfinden in der durch das Linsensystem veränderten Umwelt möglich ist. Die Frage des Erlernens des aufrechten Sehens wurde von Ewert aber vernachlässigt (Kohler, 1951).
William Stern benutzte 1927 Prismenbrillen zur Bildumkehr. Da aber Prismen in noch viel stärkerem Maße als die beschriebenen Linsensysteme Bildverfälschungen erzeugen, wurde deutlich, daß für weiterführende Untersuchungen bessere Techniken der Bildumkehr entwickelt werden müssen.
Abbildung in dieser Leseprobe nicht enthalten
Theodor Erismann benutzte erstmalig im Jahre 1928 eine Spiegelbrille für die Bildumkehr, die den Vorteil hatte, das auf dem Kopf stehende Bild unverfälscht und seitengetreu darzustellen. Da diese Umkehrbrille aber die Sicht auf den Boden und die Füße der Probanden verdeckte, wurden noch keine mehrtägigen Dauerversuche durchgeführt.
Am Institut für Psychologie der Universität Innsbruck wurde im Jahre 1947 diese sogenannte Erismann´sche Umkehrbrille dahingehend verbessert, daß nun der Blick des Brillenträgers auf die eigenen Füße und auf körpernahe Objekte frei war (Abb.1.1).
Die Umkehrbrille war nun » straßenfähig « (Kohler, 1951), und somit in idealer Weise für mehrtägige Dauerversuche geeignet.
Kohler unterzog sich und andere Versuchspersonen in weiterer Folge immer wieder mehrtägigen Dauerbrillenversuchen mit dieser Umkehrbrille und konnte dadurch den Nachweis erbringen, daß das menschliche visuelle System - trotz der durch die Umkehrbrille veränderten Umweltbedingungen - in der Lage ist, das Aufrechtsehen wieder zu erlernen.
Es bleibt noch zu erwähnen, daß die Versuche mit Umkehrbrillen nur einen kleinen Teil der umfangreichen und originellen Forschungsarbeit Kohler´s und Erismann´s auf dem Gebiet der visuellen Wahrnehmungsmodifikation durch optische Vorsatzgeräte ausmachten. Neben diesen Umkehrbrillenversuchen wurden weit aufwendigere Versuche mit Farbhalbbrillen, Prismen- und Halbprismenbrillen durchgeführt, wobei Kohler selbst einmal eine Prismenbrille 124 Tage ununterbrochen trug.
1.2. Zusammenfassung der Untersuchungsergebnisse
Während des Tragens der Umkehrbrille führten die Versuchspersonen Tagebuch über ihre Erlebnisse und Veränderungen der visuellen Wahrnehmung; parallel dazu wurde ihr äußeres Verhalten aufgezeichnet. Die Ergebnisse dieser Untersuchungen sind in der folgenden Gliederung zusammengefaßt:
-Während der ersten Tage des Tragens der Umkehrbrille sahen die Vpn. die Umwelt auf dem Kopf stehend. Die Vpn. waren in dieser Phase noch höchst unsicher und mußten begleitet werden, um Unfälle zu vermeiden.
-Nach ca. drei Tagen waren die Vpn. in der Lage, sich in ihrer noch verkehrt gesehenen Umwelt zurechtzufinden. Die Vpn. hatten gelernt, ihr »äußeres Verhalten« (Kohler, 1951) den verändert wahrgenommenen Umweltbedingungen anzupassen. Die Gesichtseindrücke erschienen aber nur dann aufrecht, wenn die gesehenen Gegenstände gleichzeitig abgetastet werden konnten, oder wenn diese sich in nächster Nähe des eigenen Körpers der Brillenträger befanden.
-Nach ungefähr neun Tagen sahen die Vpn. wieder eindeutig aufrecht.
Nach dem Abnehmen der Umkehrbrille wurde der vorher beschriebene Umlernprozeß quasi im »Zeitraffertempo« durchlaufen:
-In den ersten Minuten sahen viele Vpn. die nun richtig orientierte Umwelt noch minutenlang eindeutig verkehrt.
-Das äußere Verhalten konnte sehr schnell den veränderten Umweltbedingungen angepaßt werden.
-Noch einige Tage nach der Abnahme der Umkehrbrille konnten Augenblicke des Verkehrtsehens oder der Desorientierung beobachtet werden.
Es wurde bereits erwähnt, daß unter bestimmten Bedingungen schon nach dreitägigem Tragen einer Umkehrbrille ein zeitweiliges Aufrechtsehen möglich ist; diese Bedingungen sind in der folgenden Gliederung zusammengefaßt:
-Abtasten des gesehenen Gegenstandes: Wenn die Vpn. verkehrt gesehene Gegenstände abtasten konnten, dann wurden diese Gegenstände plötzlich als aufrecht wahrgenommen. Auch das indirekte Abtasten über einen verlängerten Taststock hatte diesen Effekt. Wichtig ist hier zu erwähnen, daß die eigenen Hände immer zuallererst als aufrecht wahrgenommen wurden.
Diese Beobachtungen Kohler´s decken sich mit den Ergebnissen aus den späteren Untersuchungen von Held, der nachweisen konnte, daß eine Anpassung an durch eine Prismenbrille veränderte Umwelt nur dann möglich ist, wenn sich die Vpn. aktiv motorisch mit dieser auseinandersetzen können (Held, 1986).
-Schwereempfindungen: Die Vpn. sahen immer dann aufrecht, wenn visuelle Eindrücke mit Schwereempfindungen einzelner Körperteile oder des gesamten Körpers einhergingen. Dazu schreibt Kohler:
Ein weiterer Faktor waren Schwereempfindungen, welche das verkehrte Bild aufzurichten vermochten; ein Gewicht an einer Schnur wurde ´unten´ gesehen, sobald die Vp. das Ende selbst in die Hand nahm; auch Gegenstände, die dahinter lagen, erschienen sofort aufrecht, wenn das Pendel ´in Ordnung´ war. Betonte Schwereempfindungen des ganzen Körpers, wie z.B. beim Aufwärtsfahren im Auto, ´kehrten die Landschaft um´ und stellten das Bild richtig.
(Kohler,1951)
-Aktivierung von internen Wissensrepräsentationen: Für Kohler ist die Aktivierung von Wissensrepräsentationen, die er unter dem Begriff der »gewohnt aufrechten Bilder« subsumiert, eine weitere Ursache für das zeitweilige Aufrechtsehen; er schreibt dazu:
Als sehr wirksamer Anlaß für das aufrechte Sehen erwies sich weiters das ´gewohnt-aufrechte´ Bild: eine Kerze, die zunächst verkehrt gesehen wurde, mit dem Docht nach unten, war plötzlich aufrecht, wenn man sie anzündete. Auch der Rauch einer brennenden Zigarette vermochte die Situation auf der Stelle umzukehren; plötzlich war für die Vp. dort ´oben´, wo der Rauch hinging u. dgl. m.
(Kohler, 1951)
Verallgemeinernd kann man zusammenfassen, daß immer dann aufrecht gesehen wurde, wenn neben dem visuellen Input zusätzliche Informationen über das Gesehene in die Wahrnehmung miteinbezogen werden konnten.
1.3. Bedeutung der Kohler´schen Brillenversuche für die moderne Wahrnehmungsforschung
Nach Ritter konnten aus den Kohler´schen Brillenversuchen hauptsächlich drei Erkenntnisse gewonnen werden, die von entscheidender Bedeutung für die moderne Wahrnehmungsforschung waren:
-Das visuelle Wahrnehmungssystem besitzt entgegen aller bis dahin gültigen Lehrmeinungen eine große Plastizität und Lernfähigkeit.
-Im visuellen Wahrnehmungssystem existieren offenbar »intelligente« Verarbeitungsmechanismen, die selbst bei Störungen der Informationsaufnahme in der Lage sind, Eigenschaften und Merkmale der Umwelt richtig zu entschlüsseln.
-Das motorische System ist für eine erfolgreiche Adaption an veränderte Umweltbedingungen von entscheidender Bedeutung:
Damit Lernvorgänge in Gang kommen, die eine umgebungsrichtige Wahrnehmung entstehen lassen, muß eine aktive, motorische Auseinandersetzung mit der Umwelt stattfinden. ... Offenbar sind die Rückmeldungen über das eigene motorische Handeln entscheidend dafür, daß Adaption und Lernen im Wahrnehmungssystem zustande kommen.
(Ritter, 1986)
2. Aufbau und Funktionsweise des visuellen Systems
2.1. Die Stationen der visuellen Verarbeitung
2.1.1. Die funktionelle Organisation retinaler Ganglienzellen
Abbildung in dieser Leseprobe nicht enthalten
Bereits auf der Netzhaut erfolgt eine einfache Verrechnung der visuellen Information. So[2] konvergieren 108 Stäbchen und Zäpfchen der Netzhaut auf nur 106 retinale Ganglienzellen (Abb.2.1). Das bedeutet, daß jeweils 100 Sinneszellen mit einer Ganglienzelle verschaltet sind. Diese 100 Stäbchen und Zäpfchen bilden nun auf der Netzhaut ein sogenanntes Rezeptives Feld (Hubel, 1989). Dieses Rezeptive Feld (RF) ist rund und besteht aus einem RF-Zentrum und aus einer RF-Peripherie (Abb.2.2).
Abbildung in dieser Leseprobe nicht enthalten
Nachdem immer jeweils eine Ganglienzelle für ein RF zuständig ist, spricht man vom Rezeptiven Feld einer Ganglienzelle. Da in der Netzhaut 106Ganglienzellen existieren, kann man annehmen, daß ebensoviele RF vorhanden sein müssen. Die RF der einzelnen Ganglienzellen liegen nun aber nicht fliesenartig nebeneinander, sondern sie weisen eine starke Überlappung auf (Abb. 2.6). So erregt ein Lichtreiz von nur 0,1 mm Größe noch eine Vielzahl von in der Netzhaut nebeneinanderliegenden Ganglienzellen. Somit sammeln benachbarte Ganglienzellen Information von ähnlichen, aber nicht völlig identischen Retinabereichen (Bliem et al., 1981).
Die Aktivität einer Ganglienzelle ist abhängig vom Ort der Reizung ihres rezeptiven Feldes; man unterscheidet hierbei:
-On-Zentrum-Neurone (On-Zentrum-Ganglienzellen), die mit erhöhter Aktivität auf die Reizung ihres RF-Zentrums, und mit erniedrigter Aktivität auf die Reizung ihrer RF-Peripherie reagieren,
und
§[3] Off-Zentrum-Neurone, die mit erniedrigter Aktivität auf die Reizung ihres RF-Zentrums, und mit erhöhter Aktivität auf die Reizung ihrer RF-Peripherie reagieren.
2.1.2. Die Sehbahn und ihre Projektionen
Die Axone der retinalen Ganglienzellen treten gebündelt aus den Augen aus und bilden die beiden Sehnerven. Diese laufen an der Schädelbasis aufeinander zu und tauschen in der Sehkreuzung etwa die Hälfte ihrer Nervenfasern aus (Abb.2.3). Das linke Gesichtsfeld beider Augen wird dadurch in die rechte Sehrinde projiziert und umgekehrt (Birbaumer, 1990).
Nach der Sehkreuzung verlaufen die Ganglienaxone zum Corpus geniculatum laterale (CGL), einem Kerngebiet des[4] Thalamus, an dessen Neuronen sie synaptisch enden. Das CGL stellt somit die erste und einzige Schaltstelle auf direktem Weg zwischen Netzhaut und Hirnrinde dar.
Abbildung in dieser Leseprobe nicht enthalten
Der »Ausgang« des CGL führt als Sehstrahlung zur Area 17 der Sehrinde, von wo aus Projektionsbahnen zu den Areae 18 und 19 ihren Ausgang nehmen.
2.1.3. Die Signalverarbeitung im Corpus Geniculatum Laterale
Das CGL ist aus sechs Neuronenschichten aufgebaut, wobei die Schichten 1, 4 und 6 dem rechten, und 2, 3 und 5 dem linken Auge zugeordnet sind. Dies bedeutet, daß die Signalverarbeitung jeweils dreier Schichten im wesentlichen von einem Auge bestimmt wird. Daraus kann man schließen, daß auf dieser Ebene noch keine binokulare Verarbeitung der visuellen Signale zum Zwecke des stereoskopischen Sehens erfolgt; dies geschieht erst im visuellen Kortex.
Die Rezeptiven Felder der Ganglienzellen des CGL sind jenen der retinalen Ganglienzellen sehr ähnlich. Man unterscheidet hier ebenfalls zwischen On- und Off-Zentrum-Neuronen.
2.1.4. Die Signalverarbeitung im visuellen Kortex
Die Sehrinde ist - wie der übrige Kortex - aus sechs Zellschichten (I...VI) aufgebaut. Die Nervenfasern der Sehstrahlung enden vor allem in den Seharealen der Zellschicht IVc, von wo aus die Informationsverarbeitung im Kortex ihren Ausgang nimmt.
Die Neurone des visuellen Kortex sind funktionell in sogenannte[5] Zellsäulen oder -platten unterteilt.
Abbildung in dieser Leseprobe nicht enthalten
Es wechseln sich nämlich Säulen von Neuronen, die vorwiegend Informationen aus dem linken Auge verarbeiten (L in Abb.2.4), regelmäßig mit solchen ab, bei denen die Verarbeitung aus dem rechten Auge (R) dominiert. Diese parallel zur Kortexoberfläche verlaufenden Säulen werden deshalb Okuläre Dominanzsäulen genannt. Innerhalb dieser Säulen lassen sich weitere »Untersäulen« nachweisen, die senkrecht zur Kortexoberfläche orientiert sind. Die Neurone innerhalb einer solchen »Untersäule« reagieren nur auf retinale Reize derselben[6] Orientierung (z.B. auf einen um 10 Grad geneigten Lichtbalken). Man nennt deshalb eine solche Säule auch Orientierungspräferenzsäule. Jede Orientierungspräferenzsäule innerhalb einer Okulären Dominanzsäule ist nun auf eine etwas andere Reizorientierung spezialisiert.
Die bevorzugten Reizorientierungen ändern sich dabei von Säule zu Säule um jeweils 10 bis 20 Grad (In der Abb.2.4 wird dies durch die verschieden orientierten kleinen Striche innerhalb der Orientierungspräferenzsäulen angedeutet).
In 15 bis 20 Orientierungspräferenzsäulen innerhalb einer okulären Dominanzsäule für das linke (L) oder das rechte (R) Auge, sind somit alle möglichen Reizorientierungen eines Retinabereiches enthalten. Die Orientierungspräferenzsäulen zweier nebeneinanderliegender okulären Dominanzsäulen zusammengenommen, ergibt eine sogenannte Hyperkolumne (dick ausgezogener Bereich in Abb.2.4). Eine solche Hyperkolumne stellt damit einen Analysemechanismus für alle möglichen Reizorientierungen für korrespondierende Netzhautbereiche beider Augen dar. Nebeneinanderliegende Hyperkolumnen versorgen auch nebeneinanderliegende Netzhautbereiche.
Innerhalb einer Orientierungspräferenzsäule kann man aufgrund der Struktur ihrer Rezeptiven Felder und der damit verbundenen Verhaltensweisen folgende Einteilung zwischen den Neuronen aller Zellschichten treffen (Hubel, 1989):
-Einfache Zellen: Diese Neurone liegen hauptsächlich in den Schichten IVb und IVa und besitzen ellipsoide RF mit On- und Off-Arealen. Die einfachen Zellen reagieren nur dann, wenn eine Hell-Dunkel-Kontur (Kante) mit einer bestimmten Orientierung auf einen genau definierten Ort der Retina fällt.
-Komplexe Zellen: Diese reagieren - wie die Einfachen Zellen - am besten auf eine Kante mit einer bestimmten Orientierung. Innerhalb des RF eines Komplexen Neurons ist die Reizposition - aufgrund des Fehlens von On- und Off-Arealen - im Gegensatz zur Einfachen Zelle jedoch unwichtig. Eine Komplexe Zelle reagiert also dann maximal, wenn sich eine Kante mit einer bestimmten Orientierung irgendwo innerhalb einer bestimmten Netzhautregion (dem RF des Komplexen Neurons) befindet. Komplexe Zellen finden sich hauptsächlich in den Schichten II, III, V und VI des visuellen Kortex.
-Hyperkomplexe Zellen: Hyperkomplexe Zellen reagieren maximal auf bewegte Ecken oder rechte Winkel einer bestimmten Orientierung innerhalb ihrer RF. Diese Zellart ist besonders zahlreich in den Schichten II und III anzutreffen.
2.1.5. Die Verarbeitung in den höheren visuellen Arealen
Abbildung in dieser Leseprobe nicht enthalten
Die bisher besprochene visuelle Verarbeitung findet in der Area 17, der sogenannten primären Sehrinde statt. Neben dieser primären Sehrinde existieren aber noch eine Vielzahl weiterer[7] visueller Felder, die in der Fachliteratur mit dem Buchstaben V (für visuelles Feld) und einem Laufindex bezeichnet werden. In der Sehrinde des Affen (Abb.2.5) werden bis zu 15 visuelle Felder vermutet (Thompson, 1990), und wahrscheinlich besitzt der Mensch mindestens ebensoviele. Das Feld V1 entspricht der primären Sehrinde, also der Area 17. Alle übrigen visuellen Felder sind dieser primären Sehrinde übergeordnet; so bezieht das Feld V2 seinen Input aus V1, V3 aus V2 und V1, usw. Die Felder des visuellen Kortex sind damit sowohl seriell (z.B. V1 ð V2 ð V3) als auch parallel (z.B. V1 ð V2, V1 ð V3) miteinander verschaltet.
In den höheren visuellen Feldern werden die Informationen aus V1 hinsichtlich solcher Parameter wie Orientierung, Form, Größe, Farbe, Bewegung, Lage auf der Netzhaut in beiden Augen, weiter analysiert. Diese Analyse erfolgt stufenweise über die serielle Verschaltung zwischen den einzelnen visuellen Feldern. Gleichzeitig aber erfolgt über die parallele Verschaltung eine Integration der einzelnen Verarbeitungsprozesse.
Einige höhere visuelle Areale scheinen auf die Analyse komplexerer Formen als Ecken oder rechte Winkel spezialisiert zu sein; so konnten Grossberg u. Mitarb. eine Zelle im VTE-Feld (Abb.2.5) eines Affen identifizieren, die immer dann maximal reagierte, wenn ihrem Rezeptiven Feld ein Reiz in Form einer erhobenen Affenhand präsentiert wurde (Thompson, 1990).
Daß solche Ergebnisse jedoch mit Vorsicht zu interpretieren sind, wird im Kapitel 2.3 aufzuzeigen versucht.
2.2. Ontogenetische Entwicklung und Plastizität im visuellen System
Die Sehbahnen und Sehareale sind zum Zeitpunkt der Geburt bei allen höheren Säugern bereits ausgebildet, doch die Feindifferenzierung (Aufbau der Dominanz- und Orientierungssäulen) erfolgt erst postnatal innerhalb einer genau definierten Zeitspanne ([8] Kritische Periode). Diese Selbstorganisation des visuellen Kortex ist dabei in starkem Maße umweltabhängig und somit äußerst empfindlich gegenüber Störungen.
So können Katzen, denen während der vierten und der fünften Lebenswoche ein Auge chirurgisch verschlossen wurde, später nicht mehr beidäugig sehen; das zeitweilig verschlossene Auge bleibt lebenslänglich funktionslos. Anatomisch läßt sich bei diesen Katzen eine deutliche Schrumpfung der okulären Dominanzsäulen des einstmalig verschlossenen Auges, sowie eine Verbreiterung der okulären Dominanzsäulen des anderen Auges feststellen (Hubel & Wiesel, 1963).
Auch die Entwicklung des Konturensehens ist auf entsprechende visuelle Reize angewiesen, wie Hubel u. Mitarb. wiederum durch Versuche mit neugeborenen Katzen nachweisen konnten:
Einige Kätzchen wurden dabei in einer Umgebung aufgezogen, die nur senkrechte Streifenmuster aufwies. Bei diesen Kätzchen konnte später ein deutliches Überwiegen von Neuronen mit einer Präferenz für senkrechte Orientierungen, sowie ein schwerer Mangel an Neuronen mit anderen Orientierungspräferenzen festgestellt werden. Diese Tiere zeigten dementsprechend auch ein Verhalten, das auf eine verminderte visuelle Wahrnehmungsfähigkeit schließen ließ.
Analog dazu, konnten Menschen, die durch Hornhauttrübung in frühester Jugend erblindeten, später - nach erfolgreicher Operation - das richtige Sehen nicht wieder erlernen. Nur einige wenige Patienten erlernten unter größter Anstrengung, einfache Muster zu erkennen und sich - mit Hilfe ihres Gesichtssinnes - grob zu orientieren. Viele der Patienten brachen die Rehabilitationsversuche ab und lebten lieber weiterhin als Blinde (Singer, 1990).
Diese Versuchsergebnisse veranlassen zu der Annahme, daß das fertig entwickelte visuelle System wenig lernfähig ist. Wenn die sensible Phase für die Differenzierung der okulären Dominanz- und der Orientierungszellsäulen abgelaufen ist, bleiben die innerhalb dieser Zeit angelegten neuronalen Strukturen lebenslänglich bestehen. Es war Kohler´s Verdienst, durch seine Brillenversuche aufzuzeigen, daß auch das adulte visuelle System noch von einer erstaunlichen Plastizität ist.
Für die normale Entwicklung des visuellen Systems spielt offenbar auch das motorische System eine wichtige Rolle, wie die Untersuchungen Held´s zeigen: Held zog zwei wenige Tage alte Kätzchen so auf, daß in einem entsprechend konstruierten Apparat, sich das eine Kätzchen relativ frei bewegen konnte, während das andere dieselbe Umgebung nur passiv aus einer »Gondel« miterlebte. Entließ man die so aufgezogenen Jungtiere in ihre gewohnte Umgebung, dann zeigte sich, daß die »aktiven« Kätzchen sich schneller und effektiver in einer neuen Umgebung zurechtfanden, als die »passiven« Kätzchen (Held, 1963).
Held´s Untersuchungsergebnisse machen deutlich, daß nur durch die aktive motorische Auseinandersetzung mit der Umwelt eine normale Entwicklung des visuellen Systems möglich ist.
Schon Kohler machte - wie bereits erwähnt - die Beobachtung, daß das Abtasten eines - aufgrund einer Umkehrbrille - verkehrt gesehenen Gegenstandes, ein plötzliches Aufrechtsehen desselben bewirkte. Später konnte Held nachweisen, daß für die erfolgreiche Adaption an durch Umkehr- und Prismenbrillen veränderte Umweltbedingungen, die motorische Interaktion unbedingt erforderlich ist (Held, 1963).
2.3. Objektrepräsentationen und Objekterkennung im visuellen System
Die Tatsache, daß es im Kortex Neurone gibt, die anscheinend spezifisch auf komplexe Formen reagieren (Kap.2.1.5), hat viele Leute dazu veranlaßt zu spekulieren, daß es auch Neurone in höheren visuellen Arealen geben müsse, die auf die Erkennung einzelner Objekte spezialisiert sind. Anerkannte Neurobiologen, wie z.B. David Hubel selbst, haben jedoch für derartige Spekulationen nicht viel übrig:
Spezialisieren sich die Zellen auf zentraleren Verarbeitungsstufen immer weiter, bis man schließlich auf einer bestimmten Stufe Zellen findet, die nur noch auf das Gesicht eines individuellen Menschen, beispielsweise der eigenen Großmutter, reagieren? Diese Vorstellung, die man als Großmutterzellentheorie bezeichnet hat, kann man nur schwerlich ernst nehmen. Sollten wir etwa getrennte Zellen für eine lächelnde Großmutter, eine weinende Großmutter und eine nähende Großmutter erwarten? Und unterschiedliche Zellen für verschiedene Konzepte oder Definitionen von ´Großmutter´ - die Mutter der Mutter oder die Mutter des Vaters? Und wenn wir Großmutterzelle n hätten, wohin würden sie projizieren?
(Hubel, 1989)
Eine Alternative zur Großmutterzellentheorie läßt sich aus den - 1962 von Hubel und Wiesel vorgeschlagenen - Verschaltungsmechanismen zur Erklärung der Entstehung von RF für Kanten und Winkel der einfachen, komplexen und hyperkomplexe Zellen, ableiten:
Abbildung in dieser Leseprobe nicht enthalten
-Das RF einer Komplexen Zelle kann durch die Konvergenz mehrerer Einfacher Zellen erklärt werden (Abb.2.7). In unserem Fall ergibt das »Zusammenschalten« der RF von 3 Einfachen Zellen mit einer Präferenz für horizontal orientierte Kanten, ein größeres RF einer Komplexen Zelle, welches über den gesamten Bereich für horizontal orientierte Kanten sensibel ist (strichliertes großes Rechteck in Abb.2.7).
Abbildung in dieser Leseprobe nicht enthalten
-Durch die Konvergenz einer inhibitorisch (hemmend) und einer exzitatorisch (erregend) wirkenden Komplexen Zelle auf eine Hyperkomplexe Zelle kann die Entstehung eines RF für horizontale Eckenreize erklärt werden (Abb.2.8). Der in Abbildung 2.8 dargestellte Kantenreiz über beide RF der Komplexen Zellen führt zu keiner maximalen Erregung der Hyperkomplexen Zelle, da der inhibitorische Input den exzitatorischen Input nivelliert. Ein auf das linke RF-Areal (ausgezogenes linkes Rechteck in Abb.2.8) begrenzter Kantenreiz würde jedoch zu einer maximalen Erregung der Hyperkomplexen Zelle führen, da die inhibitorische Komplexe Zelle nicht aktiviert wird.
Aus diesen Schaltplänen geht hervor, daß niemals nur eine Zelle an der Wahrnehmung eines einfachen visuellen Reizes beteiligt ist, sondern immer ein ganzes Netz von Neuronen. So sind nach dem obigen Modell bei der Wahrnehmung einer Kante über einen größeren Netzhautbereich (Abb.2.7) mindestens 16 Zellen gleichzeitig aktiv (12 CGL-Neurone konvergieren auf drei Einfache Zellen, welche wiederum auf eine Komplexe Zelle konvergieren). Wenn nun bei einem neurobiologischen Experiment nur die Aktivität einer dieser Zellen abgeleitet werden würde, dann könnte fälschlicherweise der Eindruck entstehen, daß genau diese Zelle für die Wahrnehmung einer Kante zuständig sei. Unter diesem Aspekt sind auch die in Kapitel 2.1.5 erwähnten Experimente von Grossberg u. Mitarb. zu sehen.
Man kann sich vorstellen, daß durch die »Zusammenschaltung« vieler kleinerer Neuronennetze mit einfachen Rezeptiven Feldern, ein größeres Netz entsteht, welches genau dann maximal aktiviert ist, wenn ein bestimmtes Objekt, beispielsweise eine Vase, im Gesichtsfeld erscheint.
Hubel bezeichnet solche Neuronennetze als »Konstellationen«:
... [[9] Als] Alternative [zur Großmutterzellentheorie] ist anzunehmen, daß ein Objekt jeweils eine bestimmte Konstellation von Zellen zum Feuern anregt, die allesamt auch anderen Konstellationen angehören können. Wie wir wissen, führt die Zerstörung eines kleinen Gehirnstücks im allgemeinen nicht zum Verlust spezifischer Gedächtnisinhalte, und wir müssen deshalb davon ausgehen, daß die Zellen einer Konstellation nicht in einem einzigen corticalen Gebiet lokalisiert, sondern auf viele Gebiete verteilt sind. Die nähende Großmutter ist dann eine größere Konstellation, welche die Definition von Großmutter, Großmutters Gesicht und die Tätigkeit Nähen umfaßt.
(Hubel, 1989)
Diese Zellkonstellationen oder neuronalen Netzwerke kann man auch als das anatomische Substrat interner Objektrepräsentation en sehen. Somit könnte theoretisch jedem Objekt der Außenwelt ein Netzwerk aus Neuronen im visuellen System zugeordnet werden. Da sich jedoch die Objekte einer Klasse - beispielsweise Vasen - ähneln, würden sich auch die Konstellationen aktivierter Neurone für die einzelnen verschiedenen Vasen überlappen; d.h. man kann eine »Schittmenge« von Neuronen aus allen Zellkonstellationen annehmen, die bei allen Vasenformen aktiviert ist. Dieser »kleinste gemeinsame Nenner« von Neuronen würde das anatomische Substrat des Schemas »Vase« darstellen.
2.3.1. Moderne Theorien des Sehens
Aufbauend auf den Entdeckungen Hubels und Wiesels haben sich einige Computerwissenschaftler Gedanken über das Sehen gemacht (Hofstadter, 1989; Dreyfus, 1987).
Hofstadter schließt sich der Hubel´schen Theorie der »aktivierten Zellkonstellationen« direkt an:
Vielleicht wird ein Gegenstand, den man betrachtet, implizit durch seine ´Signatur ´ im Sehkortex identifiziert, d.h. durch eine Reaktion von einfachen, komplexen und hyperkomplexen Zellen zusammengenommen. Vielleicht braucht das Gehirn gar keine weiteren Erkennungsinstrumente für eine besondere Form.
(Hofstadter, 1988)
Dreyfus betont die Wichtigkeit der internen Repräsentationen für das Sehen. Er glaubt, daß Sehen und Erkennen durch einen direkten Assoziationsprozeß erfolgt:
Wenn wir eine Gestalt betrachten, ermöglicht uns eine Assoziation, die Figur als, sagen wir einmal, Großmutter zu identifizieren. Diese Assoziation beruht ausschließlich auf Gehirnzuständen, die ungefähr den Lichtverhältnissen der betrachteten Figur entsprechen.
(Dreyfus, 1987)
Die Theorien von Hofstadter und Dreyfus kann man zu den sogenannten[10] PDP-Modellen zählen, auf die im Kapitel 3.6 näher eingegangen wird.
Auch die Hypothese des Neurobiologen Wolf Singer zur Figur-Grund-Unterscheidung im visuellen System schließt direkt an die »Zellkonstellations-Theorie« von Hubel an (Singer, 1990):
Singer konnte nachweisen, daß die Antworten von Merkmalsdetektoren auf visuelle Reize rhythmisch sind, und mit einer Frequenz von ungefähr 40 Hertz oszillieren. Wenn nämlich Konturen dargeboten wurden, die sich innerhalb des Gesichtsfelds mit derselben Geschwindigkeit in die gleiche Richtung bewegten, dann begannen die oszillierenden Antworten von räumlich verteilten Merkmalsdetektoren mit ähnlichen Richtungs- und Orientierungspräferenzen, in Phase zu schwingen. Figur-Grund-Unterscheidungen sind demnach für das visuelle System dadurch möglich, daß bestimmte Neuronengruppen (Merkmalsdetektoren) - abhängig von der Art des visuellen Reizes - von asynchrone in synchrone Aktivierungszustände übergehen. Die synchron aktivierten Neuronengruppen kodieren die Figur, die asynchron aktivierten den Grund (Singer, 1990).
Diese, sich durch Phasenkohärenz auszeichnenden Neuronengruppen, nennt Singer »Ensembles« und entsprechen den Hubel´schen Zellkonstellationen. Singer glaubt, daß die verschiedenen Zellensembles mit jeweils unterschiedlichen Frequenzen oszillieren; dadurch wird eine Vermischung ihrer Antworten bei der Darbietung mehrerer Objekte (Superpositionsproblem) verhindert.
2.3.1.1. Eine Arbeitshypothese: »Sehen als Zuordnen von internen Repräsentationen zu Objekten der Außenwelt«
Es wurde bereits erwähnt, daß die Rezeptoren für einfache geometrische Formen wie Kanten, Ecken oder rechte Winkel immer aus Nervennetzen gebildet werden (Kap.2.2). Man könnte diese neuronalen Netzwerke auch als die anatomische Realisierung von internen Repräsentationen einfacher geometrischer Formen betrachten.
Wenn in einem bestimmten Netzhautbereich eine solche einfache geometrische Form auftaucht, dann wird demnach im visuellen Kortex die entsprechende interne Repräsentation aktiv. Da sich die Objekte der Außenwelt immer aus mehreren einfachen geometrischen Formen zusammensetzen, werden beim Betrachten dieser Objekte auch gleichzeitig mehrere interne Repräsentationen einfacher geometrischer Formen aktiv sein. Die Gesamtheit aller, beim Betrachten eines bestimmten Objekts gleichzeitig aktiven internen Repräsentationen, ergeben die interne Repräsentation des gesamten betrachteten Objekts.
Die Nervennetze, in welchen diese internen Repräsentationen angelegt sind, werden von den verschiedenen Autoren mit unterschiedlichen Bezeichnungen belegt: Hubel spricht von »Konstellationen« (Kap.2.2), Singer von »Ensemble s« (Kap.2.2.1), Hofstadter von »Signatur en« (Kap.2.2.1), und Palm von »Assembl ies« (Kap.3.6.2.3.1).
Es wurde bereits ausgeführt, daß es theoretisch möglich ist, jedem Objekt der Außenwelt ein solches Nervennetz zuzuordnen (Kap.2.2 und 2.2.1). Darauf aufbauend, soll der Vorgang des Sehens - im Sinne moderner PDP-Theorien - folgendermaßen als Arbeitshypothese formuliert werden:
Sehen könnte als Assoziation (Zuordnung) der entsprechenden internen Repräsentationen mit den Objekten der Außenwelt funktionieren.
Unter diesem Gesichtspunkt wird im Kapitel 4 versucht, den Seh- und Umlernvorgang während des Tragens einer Umkehrbrille durch ein einfaches musterassoziierendes Matrixspeichermodell zu beschreiben.
3. Computersimulierte neuronale Netzwerke
3.1. Einleitung
[11] Computersimulierte neuronale Netzwerke haben eine fast fünfzigjährige Geschichte und erleben nun, nach einem Einbruch während der 70´er Jahre, einen enormen Boom (siehe das Kapitel 3.3).
Sie werden mittlerweile in vielen Bereichen der Technik, Industrie und Forschung eingesetzt und sind dort nicht mehr wegzudenken. Als einige typische Einsatzbereiche wären hier Objekterkennung, Signalfilterung, Qualitätskontrolle, Kreditrisikoabschätzung und die Aktienkursprognose zu nennen.
In all diesen Bereichen bewältigen neuronale Netzwerke die an sie gestellten Aufgaben wesentlich effizienter als eigens dafür entwickelte[12] Algorithmen oder prozedurale Computerprogramme (siehe das Kapitel 3.4).
In der neurobiologischen Forschung werden neuronale Netze immer häufiger zur Hypothesengenerierung und -validierung eingesetzt (Anderson, 1989). Optimisten glauben sogar, daß dadurch in naher Zukunft ein Großteil von neurobiologischen Versuchen an Tieren überflüssig werden (Schöneburg, 1990).
Auch der beginnende Einsatz neuronaler Netze in der psychologischen Grundlagenforschung, wie beispielsweise die Arbeiten Teuvo Kohonen´s zum menschlichen Gedächtnis oder zur Farbwahrnehmung (Kohonen, 1984), macht es möglich, traditionelle Theorien und Modelle zu prüfen und eventuell weiterzuentwickeln.
Daß Ergebnisse aus Simulationen mit neuronalen Netzwerkmodellen jedoch nicht uneingeschränkt zur Interpretation der Verarbeitungsvorgänge in biologischen Systemen herangezogen werden können, wird im Kapitel 3.2 zu diskutieren versucht.
Unter diesem Aspekt ist auch der in dieser Arbeit im Kapitel 4.4 beschriebene Versuch zu werten, den neuronalen Umlernvorgang während des Tragens einer Umkehrbrille mit Hilfe eines neuronalen Netzwerks nachzubilden.
3.2. Vergleich zwischen natürlichen und künstlichen neuronalen Netzwerken
Neuronale Netzwerke sind in Struktur und Funktionsweise ihren biologischen Vorbildern nachempfunden. Sie sind Systeme aus kleinen, untereinander verbundenen Verarbeitungseinheiten (= Prozessorelemente) und sind in der Lage, durch Anpassung der Stärke der Verbindungen zwischen den einzelnen Prozessorelementen, zu lernen.
Strukturelle Ähnlichkeit und Lernfähigkeit sind aber nicht die einzigen Parallelen zu natürlichen neuronalen Netzwerken; die folgende Aufzählung soll einen Überblick über die Gemeinsamkeiten natürlicher und künstlicher Netzwerksysteme geben:
-Parallelität: Das menschliche Gehirn enthält bei einem Durchschnittsgewicht von 1300 Gramm ca. 10 Milliarden [13] Neuronen.
Jedes Neuron ist mit 1000 bis 10.000 anderen Neuronen über [14] synaptische Verbindungen in Kontakt (Abb.3.1). Viele dieser Neuronen sind gleichzeitig aktiv, und ein Neuron kann sogar gleichzeitig an mehreren Verarbeitungsvorgängen beteiligt sein (siehe das Kapitel 3.6).
In dieser hohen Konnektivität und Parallelität liegt die Leistungsfähigkeit des menschlichen Gehirns begründet. Computersimulierte neuronale Netze bestehen zwar aus weitaus weniger Neuronen (= Prozessorelemente) als das menschliche Gehirn, sind aber innerhalb eines klar definierten Aufgabenbereichs, für den sie speziell trainiert werden können, trotzdem sehr leistungsfähig.
Da die meisten neuronalen Netzwerke noch auf seriellen Rechnern nach der[15] von-Neumann - Architektur simuliert werden, kann in solchen Fällen nicht von einer »echten« Parallelität gesprochen werden. Rechner nach dieser Architektur können nämlich immer nur die Aktivität eines Prozessorelements zur selben Zeit berechnen, und dann zur Abarbeitung des nächsten Elementes springen; sie machen dies aber so schnell, daß von einer »quasi - Gleichzeitigkeit« gesprochen werden kann.
Um neuronale Netzwerke mit auch nur einigen tausend Neuronen zu simulieren, reichen die gängigen Rechnermodelle nicht mehr aus; deshalb ist man dazu übergegangen, Multiprozessorsystem e mit 10.000 oder mehr Prozessoren, von denen jeder ein Neuron simuliert, zu konstruieren (Anderson, 1989).
-Fehlertoleranz: Biologische neuronale Netzwerke zeigen auf zwei Arten fehlertolerantes Verhalten; zum einen können sie fehlerbehaftete oder unvollständige Daten richtig verarbeiten (Mustervervollständigung), zum anderen funktionieren sie selbst dann noch, wenn eine beträchtliche Anzahl von Neuronen zerstört wird (Lashley, 1950). In einem späteren Kapitel (Kap.3.6) wird demonstriert, daß computersimulierte Netzwerke sich auf ähnliche Weise fehlertolerant verhalten können.
-Globale Speicherung: Bereits 1929 schrieb der englische Neurophysiologe Karl Spencer Lashley über das Problem der Lokalisation des Gedächtnisses:
Es ist nicht möglich, den gesonderten Ort einer Gedächtnisspur irgendwo im Nervensystem aufzuzeigen.
und weiter meinte er:
... daß innerhalb eines funktionellen Bereichs die Zellen des gesamten Bereichs die Fähigkeit erlangen, in bestimmten festgelegten Mustern zu reagieren, die jede beliebige Verteilung in dem Bereich haben können.
(zitiert aus Schreiber, 1988)
Diese Theorie der Verteilung von Gedächtnisinhalten über große Teile der Hirnrinde ist bis heute gültig und aktueller denn je (Gardner, 1984). Auch computersimulierte neuronale Netze speichern[16] Muster global, also über alle Prozessorelemente verteilt, ab (siehe das Kapitel 3.6.2).
Diese verteilte Speicherung von Gedächtnisinhalten verleiht biologischen und künstlichen neuronalen Netzwerken ihre hohe Fehlertoleranz.
Trotz all dieser Gemeinsamkeiten stellt sich für viele, in diesen Forschungsbereich Involvierte, die Frage: »Sind neuronale Netze tatsächlich Modelle des menschlichen Gehirns?« (Anderson, 1989).
Diese Frage scheint durchaus berechtigt, angesichts der Tatsache, daß der Aufbau der Prozessorelemente und die Art der Verbindungen zwischen diesen Verarbeitungseinheiten, bei allen bisher entwickelten neuronalen Netzwerken - im Vergleich zu biologischen Systemen - eine mehr oder weniger starke Vereinfachung darstellt; Schweizer schreibt dazu:
Erklärter Zweck ... der ... Simulationsinstrumente ist es, die Funktion von Nervensystemen ... zu studieren - und das, ..., indem man die funktionalen Eigenschaften der Nervenzellen, die man ohnehin nur unvollkommen kennt, auch noch drastisch vereinfacht und zum Teil gar ignoriert.
(Schweizer, 1986)
Obwohl die jüngst entwickelten Netzwerkmodelle den physiologischen Gegebenheiten mehr und mehr Rechnung tragen (Anderson, 1989; Hinton, 1992), scheint eine physiologisch exakte Nachbildung schier unmöglich zu sein.
Wendet man sich jedoch von einer starr physiologischen Sichtweise ab, und betrachtet die gängigen Netzwerkmodelle in ihrer Funktionalität als Ganzes, dann scheinen diese Modelle durchaus für die psychologische und neurobiologische Grundlagenforschung geeignet zu sein (Hinton, 1992).
Weiters muß man bedenken, daß diese Netzwerkmodelle Hirnfunktionen weit besser nachbilden, als alle bisherigen Modelle der traditionellen [17] KI-Forschung, deren Vertreter noch nie zimperlich waren, direkte Vergleiche zwischen ihren Modellen und bestimmten Hirnfunktionen anzustellen (Gardner, 1984). Abschließend dazu schreibt Schweizer:
Trotz der außergewöhnlichen Vereinfachung zeigen diese [[18] neuronalen] Netzwerke im Gegensatz zu den vorgenannten Simulationssystemen eine klar erkennbare Funktionscharakteristik, die eine neurobiologische, ja sogar psychologische Interpretation nicht nur zuläßt sondern geradewegs herausfordert.
(Schweizer, 1986)
Unter diesen Gesichtspunkten sollen auch die in dieser Arbeit beschriebenen Simulationen betrachtet werden.
3.3. Geschichtlicher Überblick der Entwicklung neuronaler Netzwerke
Theorie und Technik computersimulierter neuronaler Netze sind keine Innovation der 80´er Jahre, sondern haben vielmehr eine fast 50-jährige Tradition.
Das Jahr 1941 kann als die Geburtsstunde des Digitalcomputers bezeichnet werden; in diesem Jahr wurde nämlich der erste programmgesteuerte Relaisrechner (»Z3«) von dem deutschen Ingenieur Konrad Zuse gebaut.
Schon knapp zwei Jahre danach veröffentlichten McCulloch und Pitts eine theoretische Abhandlung, in der sie bewiesen, daß ein Netzwerk aus einfachen Verarbeitungseinheiten (binäre Schwellenwertelemente, =McCulloch-Pitts-Neurone) anspruchsvolle Operationen ausführen kann, die sonst nur durch komplizierte Algorithmen beschreibbar sind.
Dieses erste künstliche neuronale Netzwerk war jedoch noch nicht lernfähig, da die Verbindungen zwischen den Binärneuronen noch starr waren.
Erst durch eine 1949 von Donald Hebb formulierte Lernregel, wurde erstmals eine schlüssige Theorie für die physiologischen Vorgänge während des Lernens vorgelegt, die die Entwicklung lernfähiger künstlicher neuronaler Netze ermöglichten sollte. Die Grundannahme dieser Hebb´schen Lernregel ist folgende:
Lernen geschieht durch die Veränderung der Verbindungen zwischen den Nervenzellen, indem immer dann die Verbindung zwischen zwei Neuronen verstärkt wird, wenn diese gleichzeitig aktiv sind (zitiert aus: Schöneburg, 1990).
Diese Theorie von Hebb gilt, in ein wenig differenzierterer Form, bis heute.
Renommierte Neurobiologen wie z.B. Eric Kandel oder Gerald Edelman, vertreten ebenfalls die Ansicht, daß Lernen weniger in der Ausbildung neuer Synapsen, als vielmehr in der Veränderung der Stärke bereits bestehender synaptischer Verbindungen, begründet liegt (Gardner, 1984).
Eine weitere fundamentale Theorie hat Wichtiges zur Entwicklung neuronaler Netze beigetragen: die 1950 publizierte Theorie des[19] Holographischen Gedächtnisses von Karl Lashley.
Lashley kam nach jahrelangen Lernversuchen mit Ratten zu dem Schluß, daß das Gedächtnis nicht - wie bisher angenommen - in einem bestimmten Teilgebiet des Gehirns verankert, sondern vielmehr über die gesamte Hirnrinde verteilt ist (Lashley, 1950).
Aufbauend auf den Theorien dieser modernen Hirnforscher wurden Mitte der 50´er Jahre die ersten Computersimulationen neuronaler Netzwerke durchgeführt.
1958 stellte Frank Rosenblatt ein neuronales Netz von bis dato einmaliger Leistungsfähigkeit vor; das Perceptron. Diese Netz war lernfähig, konnte einfache Muster klassifizieren und verhielt sich dabei fehlertolerant.
Rosenblatt´s Perceptron löste einen wahren Boom an Netzwerk-Neuentwicklungen aus, von denen einige bereits praktisch eingesetzt werden konnten (beispielsweise das 1960 von Bernard Widrow und Marcian Hoff entwickelte[20] Madaline, als Filter zur Unterdrückung von Echoeffekten bei Ferngesprächen).
Doch leider wurde diese erfreuliche Entwicklung 1969 durch das Buch »Perceptrons« der KI-Päpste Marvin Minsky und Seymour Papert vom M.I.T (M assachusett´s I nstitut of T echnology) in ihrem weiteren Verlauf gehemmt.
In ihrem Buch deckten sie einige Schwächen der gängigen Netzwerkmodelle auf und kamen zu dem Schluß, daß es Zeitverschwendung wäre, sich weiterhin so intensiv mit neuronalen Netzen zu beschäftigen (Schöneburg, 1990).
Da diese beiden Computerwissenschaftler zur damaligen Zeit einen erheblichen Einfluß hatten, wurde die Entwicklung neuronaler Netze für 15 Jahre fast gänzlich stillgelegt. Erst in der Mitte der 80´er Jahre sollten die neuronalen Netze wieder jene (verdiente) Aufmerksamkeit erlangen, die sie Mitte der 50´er Jahre bereits innehatten. Heute bereuen Minsky und Papert ihre damalige Schlußfolgerung bitterlich, und Minsky bezeichnet diese wörtlich als » Overkill « (Welchering, 1989).
Glücklicherweise ließen sich einige wenige Netzwerk-Forscher von dieser vernichtenden Kritik nicht beirren und konnten dadurch revolutionäre Netzwerke konstruieren.
So entwickelte der Finne Teuvo Kohonen in den 70´er Jahren leistungsfähige Assoziativspeichermodelle und Selbstorganisierende Netzwerke (Kohonen, 1984).
Inzwischen begannen sich immer mehr Physiker für die Theorie neuronaler Netze zu interessieren und konnten erstaunliche Parallelen zu Entdeckungen der[21] Festkörperphysik nachweisen. Dadurch wurde es möglich, Techniken und Methoden der theoretischen Physik zur Analyse und Konstruktion neuronaler Netze heranzuziehen. Zwei der bekanntesten von Physikern entwickelte Modelle sind das Hopfield-Modell (John Hopfield, 1982; Parallelen zur Spinglas-Theorie) und die Boltzmann-Maschine (Hinton & Sejnowski, 1985; Anleihen aus Theorien der Kristallzüchtung).
1985 sollte ein bedeutendes Jahr in der Geschichte neuronaler Netzwerke werden. Es stellt quasi eine endgültige Abrechnung mit der vernichtenden Kritik Minsky´s und Papert´s aus dem Jahre 1969 dar.
Die damals aufgedeckten Schwächen neuronaler Netze bezogen sich nämlich alle auf die Tatsache, daß diese Modelle nur eine Schicht lernfähiger Prozessorelemente (Neurone) hatten. Die damals schon existierenden mehrschichtigen Modelle wurden keiner so gründlichen Prüfung unterzogen, sondern die Kritik an einschichtigen Modellen wurde unbesehen auf mehrschichtige Netzwerke übertragen.
Im Jahre 85 aber, entwickelten Rumelhart und Hinton einen sehr leistungsfähigen Lernalgorithmus (Backpropagation-Lernregel), der es ermöglichte, für jede Schicht eines beliebig großen Netzwerks einen Fehler zu definieren, anhand dessen eine Adaption der Verbindungsstärken zwischen den einzelnen Neuronen stattfindet (siehe das Kapitel 3.5).
Es leuchtet ein, daß mehrschichtige Netzwerke um vieles leistungsfähiger als einschichtige Modelle sind, und tatsächlich konnten dadurch alle Schwächen perceptronartiger Netzwerkmodelle endgültig aus der Welt geschaffen werden.
Backpropagation-Netzwerke stellen heute die am häufigsten in der Praxis eingesetzten Netzwerktypen dar (Barr, 1991).
3.4. Struktur und Funktionsweise mehrschichtiger neuronaler Netze
3.4.1. Allgemeiner Aufbau
Neuronale Netze der üblichen Art, bestehen aus mindesten zwei Schichten von Prozessorelementen (= Neuronen). Eine Schicht stellt dabei die Eingabe- (Input-), die andere die Ausgabe- (Output-) Schicht dar.
Abbildung in dieser Leseprobe nicht enthalten
Üblicherweise wird die Eingabeschicht als unten liegend definiert, wobei im allgemeinen Fall jedes Prozessorelement dieser Schicht mit jedem Prozessorelement der Ausgabeschicht verbunden ist (Abb.3.2). Ein einzelnes Prozessorelement erhält dabei immer mehrere verschiedene Eingangswerte, gibt aber immer denselben Ausgangswert weiter, der wiederum den Prozessorelementen der darüberliegenden Schicht als ein Eingangswert dienen kann.
Abbildung in dieser Leseprobe nicht enthalten
Wie bereits erwähnt wurde, sind solche zweilagige Netzstrukturen für viele Problemstellungen nicht mehr angemessen, weshalb man dazu übergegangen ist, zwischen die Ein- und die Ausgabeschicht weitere Neuronenschichten einzubauen. Da diese zusätzlichen Schichten keinen direkten Kontakt mehr zur »Außenwelt« haben, werden sie in der Fachsprache als »Hidden Layer« (verborgene Schichten) bezeichnet (Abb.3.3).
Man kann gut beobachten, daß durch das Hinzufügen eines Hidden Layers das Netz deutlich an Komplexität gewonnen hat; die Zahl der Verbindungen zwischen den einzelnen Prozessorelementen hat sich von 9 auf 18 erhöht. Die Anzahl der möglichen Prozessorelemente pro Schicht und die der Hidden Layer in einem Netzwerk, wird theoretisch nur durch die Speicherkapazität und die Rechenleistung des Computers, der dieses Netz simuliert, limitiert.
3.4.2. Der Lernvorgang in einem neuronalen Netzwerk
Künstliche neuronale Netze lernen - analog zu ihren biologischen Vorbildern - indem sie die Stärke der Verbindungen (Synapsen) zwischen den einzelnen Prozessorelementen (Neuronen) modifizieren.
Zu Beginn des Lernvorganges, sind alle Verbindungen zwischen den einzelnen Prozessorelementen eines Netzwerks, zufällig stark gewichtet. Durch eine sogenannte Lerndatei, wird dem Netzwerk der Input (z.B. ein einfaches Muster) und der gewünschte Output vorgegeben. Das neuronale Netz wird nun während des Lernvorganges seine Verbindungsgewichte solange modifizieren, bis Input und gewünschter Output einander fehlerfrei zugeordnet werden können. Nach dem Lernvorgang (»Training« des neuronalen Netzes) ist das Netz in der Lage, auch auf unbekannte Eingaben richtig zu reagieren, d.h. das Netz ist in der Lage zu abstrahieren (Schöneburg, 1990).
Der eben beschriebene Lernvorgang wird auch als beaufsichtigtes Lernen bzw. als Lernen mit »Lehrer« bezeichnet, da dem neuronalen Netz zu jedem Input der gewünschte Output mitgeteilt wird.
Neben dieser Form des Lernens gibt es noch weitere Lernformen, auf die hier kurz eingegangen werden soll:
Lernen mit »Bewerter«: dem lernenden Netz wird während des Lernvorganges lediglich mitgeteilt, wie gut oder schlecht seine jeweiligen Resultate (Output) sind; der gewünschte Output wird dem Netz vorenthalten.
Unbeaufsichtigtes Lernen: Netze, die das unbeaufsichtigte Lernen beherrschen, werden auch als Selbstorganisierende Netze (Kohonen, 1984) bezeichnet, da sie in der Lage sind, ihre Verbindungsgewichte nur aufgrund des vorgegebenen Inputs zu modifizieren.
3.4.3. Der Informationsverarbeitungsvorgang in einem Prozessorelement
Abbildung in dieser Leseprobe nicht enthalten
Neuronale Netze können erstaunliches leisten; trotzdem sind deren kleinste Einheiten, die Prozessorelemente, relativ unkompliziert aufgebaut.
Genaugenommen besitzen Prozessorelemente gar keine Struktur, sondern sind lediglich durch eine Aneinanderreihung einzelner Verarbeitungsschritte definiert (Abb.3.4).
Wenn ein neuronales Netzwerk lernt oder Eingaben bearbeitet, dann geschieht - vereinfacht dargestellt - in den einzelnen Prozessorelementen folgendes:
Die Eingaben (= Ausgaben der darunterliegenden Neuronen) werden mit den Gewichten multipliziert; die Ergebnisse dieser Multiplikation werden wiederum aufsummiert und mit einem Schwellenwert verglichen; überschreitet das Ergebnis den Schwellenwert (in unserem Fall Null), dann liefert das Prozessorelement eine Ausgabe von Eins, ansonsten ist der Output Null; dieser Output kann nun wieder der Input an darüberliegende Prozessorelemente sein, oder aber, sofern das betrachtete Prozessorelement in der Ausgabeschicht liegt, ein Teil der Gesamtantwort des neuronalen Netzes sein.
Üblicherweise wird jedoch die Informationsverarbeitung innerhalb eines Prozessorelementes anhand eines international standardisierten mathematischen Formalismus´ beschrieben; die Abbildung 3.5 soll einen Überblick über die einzelnen Verarbeitungsschritte verschaffen:
[...]
[1] Sämtliche nichtinvasive Methoden, wie beispielsweise EEG-Ableitungen (evozierte Potentiale, Brainmapping, usw.) oder moderne bildgebende Verfahren (CT, NMR, PET, usw.), verfügen (noch) nicht über das nötige Auflösungsvermögen, um neuronale Veränderungen auf zellulärer oder sogar synaptischer Ebene sichtbar zu machen.
[2] Konvergenz bedeutet »Zusammenfließen« bzw. Sammeln von Information; dies wird durch die Projektion vieler Neurone auf eine geringere Anzahl Neurone realisiert. Analog dazu bedeutet Divergenz »Auseinanderfließen« bzw. Verteilen von Information. Das konvergente und das divergente Verschaltungsprinzip läßt sich im gesamten Nervensystem aller Arten beobachten und stellt ein Grundprinzip der neuronalen Informationsverarbeitung dar (nach Bliem et al., 1981).
[3] Diese Beschreibung bezieht sich auf die RF der Neurone für das Schwarz-Weiß-Sehen. Die RF der Neurone für das Farbensehen sind sehr ähnlich aufgebaut. Man unterscheidet Neurone des Rot-Grün-Systems von Neuronen des Gelb-Blau-Systems (Hubel, 1989). Zentrum und Peripherie der RF dieser Neurone sind dabei Farb-antagonistisch organisiert: so reagiert z.B. ein Neuron des Rot-Grün-Systems nur dann maximal, wenn ein roter Lichtreiz in sein RF-Zentrum, bzw. wenn ein grüner Lichtreiz in seine RF-Peripherie trifft. Neurone des Gelb-Blau-Systems haben analog dazu ein »gelbes RF-Zentrum« und eine »blaue RF-Peripherie« (Birbaumer, 1989).
[4] Der Thalamus ist die größte graue Kernsubstanz des Zwischenhirns. Er ist die übergeordnete Schaltstation für die folgenden zur Großhirnrinde ziehenden sensorischen Systeme: Seh-, Hör- und somatosensorisches System. Überdies steht der Thalamus durch entsprechende Fasersysteme mit dem Kleinhirn, dem extrapyramidalen System und dem Rückenmark in Verbindung (nach Thompson, 1990).
[5] Die im folgenden beschriebenen Erkenntnisse über den Aufbau und die Funktionsweise der neuronalen Strukturen im visuellen Kortex sind der langjährigen Forschungsarbeit der Neurobiologen David Hubel und Torsten Wiesel zu verdanken, die dafür 1981 mit dem Nobelpreis für Medizin ausgezeichnet wurden.
[6] Von dieser Regel ausgenommen sind jedoch die Neurone der Zellschichten IVc; diese Neurone besitzen nämlich Rezeptive Felder, die jenen des CGL und der Retina ähnlich sind, und reagieren deshalb auch nicht orientierungsspezifisch (in der Abbildung 2.4 wird dies durch den kleinen Kreis angedeutet) (Birbaumer, 1989).
[7] Ein visuelles Feld ist als eine vollständige Kartierung der Netzhaut auf einem Kortexareal definiert (Thompson, 1990).
[8] Die Dauer der sog. Kritischen Periode unterscheidet sich dabei von Art zu Art: bei Katzen wird sie als die Zeitspanne zwischen der 3. und der 12. Lebenswoche angegeben (Hubel, 1989); bei Menschenaffen dauert sie vom Zeitpunkt der Geburt bis zum 12. Lebensmonat (Reichert, 1990). Beim Menschen selbst reicht die kritische Phase bis zum Schulalter (Singer, 1990).
[9] Anmerkungen des Verfassers sind in eckigen Klammern eingeschlossen.
[10] PDP = P arallel D istributet P rocessing = parallel verteilte Datenverarbeitung.
[11] Da der Ausdruck »Computersimulierte neuronale Netzwerke« etwas umständlich ist, soll stattdessen künftig der Ausdruck »neuronale Netzwerke« verwendet werden. Natürliche (biologische) neuronale Netzwerke werden künftig als »biologische neuronale Netze« bezeichnet.
[12] Ein Algorithmus ist eine Rechenanweisung, also die Festlegung eines Rechenvorganges durch eindeutige Regeln. Man unterscheidet endliche (begrenzte) und unendliche Algorithmen. Auf Computern werden sogenannte Algorithmussprachen (= Programmiersprachen) zur Beschreibung endlicher Algorithmen angewendet. Wenn für einen Ablauf ein Algorithmus gebildet werden kann, dann kann auch ein Computerprogramm erstellt werden, das diesen Ablauf nachbildet. Somit stellt jedes Computerprogramm selbst einen endlichen Algorithmus dar (Schulze, 1989).
[13] Nachdem die Neuronenzahl des menschlichen Gehirns nur geschätzt werden kann, differieren die Angaben darüber bei den verschiedenen Autoren zum Teil erheblich. Einige Schätzungen gehen sogar bis zu 100 Milliarden Neuronen (Schöneburg, 1990).
[14] Synapsen sind die Kontaktstellen zwischen den Neuronen eines Nervennetzes. Über sie werden Aktionspotentiale von einer Nervenzelle auf die nächste übertragen. Man unterscheidet exzitatorische (erregende) von inhibitorischen (hemmenden) Synapsen.
[15] 1945 beschrieb der Computertechniker John von Neumann den klassischen Aufbau und die Funktionsweise eines Rechners mit den Bestandteilen Zentraleinheit (CPU; Gliederung in Prozessor und Hauptspeicher) und Datenkanäle (Schulze, 1989). Fast alle heute gängigen Computermodelle sind nach dieser Architektur strukturiert.
[16] Der Begriff »Muster« steht im Rahmen der Theorie neuronaler Netzwerke nicht für Bilder, sondern vielmehr für Datenmuster. Ein Datenmuster ist nichts anderes als eine Anordnung gleichberechtigter Datenwerte; z.B. diese Bitfolge: 0 0 1 0 1 1 0 0 1.
[17] K ünstliche I ntelligenz: Forschungsrichtung, die traditionellerweise versucht, die natürliche Intelligenz des Menschen durch spezielle Algorithmen, bzw. durch prozedurale Programmierung (Advanced Programming) zu simulieren (Schulze, 1989). Seit der Mitte der 80´er Jahre werden von KI-Forschern zunehmend auch neuronale Netzwerke eingesetzt; die Forschung mit und an neuronalen Netzwerken gilt heute als ein Teilgebiet der KI.
[18] Anmerkung d. Verfassers.
[19] Dieser Ausdruck stammt aus der Laserlicht-Fotografie. Hier wird durch eine spezielle Zerlegung von Laserlicht erreicht, daß ein Gegenstand dreidimensional auf einer Bildplatte abgebildet wird. Das Besondere dabei ist jedoch, daß die Information über jeden Bildpunkt über die gesamte Bildplatte verteilt ist; d.h. daß in jedem Bruchstück des ursprünglichen Bildes das Gesamtbild enthalten ist. Außerdem können auf einer einzigen Fotoschicht mehrere Bilder gleichzeitig gespeichert werden (Gardner, 1984).
[20] Madaline = M ultiple Ada ptive Lin ear E lement.
[21] Die Festkörperphysik beschäftigt sich mit der Aufklärung der Kristallstrukturen, sowie mit den Bindungsverhältnissen zwischen benachbarten Atomen bei den sogenannten Festkörpern (= Stoffe im festen Aggregatzustand, mit definierter Form und Volumen) (nach Brockhaus, 1989).
- Citar trabajo
- Mag. rer. nat. Hartmut Häfele (Autor), 1993, Anwendung neuronaler Netzwerke und Matrixspeicher zur Erklärung von Umlernvorgängen während des Tragens einer Umkehrbrille, Múnich, GRIN Verlag, https://www.grin.com/document/91956
-
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X.