Neuronale Netze: Theoretische Grundlagen und Anwendung in der Verkehrszeichenerkennung

Tesis , 2004 , 148 Páginas , Calificación: 1.7

Matemática - Matemática aplicada

Neuronale Netze sind ursprünglich aus der Biologie bekannt. Sie
haben eine grobe Analogie zum Gehirn der Säugetiere. Künstliche
Neuronale Netze sind informationsverarbeitende Systeme. Sie
bestehen aus einer großen Anzahl einfacher Einheiten, den
Neuronen, die sich Informationen in Form der Aktivierung der
Neuronen über gerichtete, gewichtete Verbindungen zusenden. Es
sind massiv parallele, lernfähige Systeme. Neuronale Netze haben
die Fähigkeit, eine Aufgabe selbständig, anhand von
Trainingsbeispielen, zu lernen.
Überblick über die einzelnen Kapitel

Kapitel 2.1 stellt die Grundlagen
Neuronaler Netze dar. Dabei wird zuerst das Neuronale Netz
definiert und seine Bestandteile erklärt. Anschließend werden
verschiedene Netzstrukturen definiert. Kapitel 2.2 zeigt, welche Funktionen mittels Neuronaler Netze darstellbar sind.

In Kapitel 3 werden verschiedene Lernverfahren für Feedforward Netze dargestellt. Dabei wird das Training Neuronaler Netze als unrestringiertes Optimierungsproblem dargestellt. In den Lernverfahren wird auf die Theorie und teilweise auch auf die Konvergenz eingegangen. Dabei werden auch Vor- und Nachteile der Verfahren angesprochen.

In Kapitel 4 werden verschiedene rekurrente Neuronale Netze dargestellt. Anschließend werden verschiedene Lernverfahren für diese Netze erläutert, die sich aus den Verfahren für Feedforward Netze ableiten lassen. Außerdem wird in Kapitel 4.6 die Stabilität rekurrenter Neuronaler Netze untersucht. In Kapitel 4.7 wird die Boltzmann Maschine als eine Anwendung des Hopfield-Netzes mit einem, auf der Idee des Simulated Annealing beruhenden, Lernverfahren erläutert.

Kapitel 5 stellt Verfahren zur Minimierung von Neuronalen Netzen vor.

Kapitel 6 zeigt eine Anwendung Neuronaler Netze in der Verkehrszeichenerkennung. Es wird erklärt, wie die Bilder bearbeitet und die Trainingsmuster erstellt wurden. Dann wurden die Neuronalen Netze mit Hilfe des Stuttgarter Neuronale Netze Simulators erstellt, trainiert und anhand von Testbildern getestet. Anschließend wurde gezeigt, wie man ein vorhandenes Neuronales Netz erweitern kann.

Inhaltsverzeichnis

1. Einleitung
1.1 Motivation
1.2 Überblick über die einzelnen Kapitel

2. Theoretische Grundlagen
2.1 Aufbau Neuronaler Netze
2.2 Darstellbarkeit von Funktionen
2.2.1 Das Perzeptron
2.2.2 Repräsentierbarkeit von Feedforward Netzen

3. Lernverfahren für Feedforward Netze
3.1 Backpropagation
3.1.1 Modifikationen von Backpropagation
3.1.2 Konvergenz von Backpropagation
3.1.3 Three-Term-Backpropagation
3.2 Quickprop
3.3 Resilient Propagation
3.4 Backpercolation
3.5 Levenberg-Marquardt Algorithmus
3.6 Globale Lernverfahren
3.6.1 Cutting Angle Methode
3.6.2 Heuristic Global Learning

4. Rekurrente Netze und ihre Lernverfahren
4.1 Jordan-Netze
4.2 Elman-Netze
4.3 Hierarchische Elman-Netze
4.4 Lernverfahren für partiell rekurrente Netze
4.4.1 Backpropagation Through Time (BPTT)
4.4.2 Real-Time Recurrent Learning (RTRL)
4.4.3 Kombination von BPTT und RTRL
4.5 Hopfield-Netze
4.6 Stabilität
4.6.1 Stabilität von Hopfield-Netzen
4.6.2 Bedingungen für globale asymptotische Stabilität
4.7 Boltzmann Maschine

5. Pruning Algorithmen
5.1 Weight Decay
5.2 Löschen der betragsmäßig kleinsten Gewichte (Mag)
5.3 Optimal Brain Damage (OBD)
5.4 Optimal Brain Surgeon (OBS)
5.5 Skelettierung

6. Erkennung von Verkehrszeichen
6.1 Problemstellung
6.2 Bearbeitung der Bilder
6.3 Trainingsmuster
6.4 Erstellen und Training der Neuronalen Netze
6.4.1 32 x 32 / 32 / 4 Feedforward Netz
6.4.2 32 x 32 / 16 / 4 / 4 Feedforward Netz
6.5 Testen der Neuronalen Netze
6.5.1 Generierung der Testdaten
6.5.2 32 x 32 / 32 / 4 Feedforward Netz
6.5.3 32 x 32 / 16 / 4 / 4 Feedforward Netz
6.5.4 Ergebnis
6.6 Erweiterung des Neuronalen Netzes

7. Fazit

A Programmlisting
A.1 Umwandlung der Bilder in Matrizen
A.2 Umwandlung der Matrizen in Bilder

B R Skripten
B.1 Erstellen der Trainingsdaten
B.2 Erstellen der Testdaten
B.3 Erstellen der Daten für das „Gefahr“-Schild

C Testergebnisse
C.1 Testergebnisse für das 32 x 32 / 32 / 4 Feedforward Netz
C.2 Testergebnisse für das 32 x 32 / 16 / 16 / 4 Feedforward Netz
C.3 Testergebnisse für das 32 x 32 / 16 / 5 / 4 Feedforward Netz

Erklärung

Einleitung

1.1 Motivation

Neuronale Netze sind ursprünglich aus der Biologie bekannt. Sie haben eine grobe Analogie zum Gehirn der Säugetiere. Künstliche Neuronale Netze sind informationsverarbeitende Systeme. Sie bestehen aus einer großen Anzahl einfacher Einheiten, den Neuronen, die sich Informationen in Form der Aktivierung der

Neuronen über gerichtete, gewichtete Verbindungen zusenden. Es sind massiv parallele, lernfähige Systeme. Neuronale Netze haben die Fähigkeit, eine Aufgabe selbständig, anhand von Trainingsbeispielen, zu lernen.

Beim Training eines Neuronalen Netzes entsteht eine Differenz zwischen der tatsächlichen Ausgabe des Neuronalen Netzes und einer gewünschten Ausgabe. Diese ist in den Trainingsdaten aufgrund von Vorwissen (z.B. vorgegebene Muster, Vergangenheitsdaten usw.) bekannt. Es entsteht also ein Trainings- bzw Netzwerkfehler. Damit dieser stets nichtnegativ ist, wird er im Allgemeinen mit Hilfe des Quadrats des euklidischen Abstands definiert (siehe Gleichung (3.1)). Ziel des Trainings ist es also, diesen Fehler zu minimieren. Man hat damit ein Optimierungsproblem ohne Nebenbedingungen.

Zum Training stehen einige Algorithmen, die aus der unrestringierten Optimierung bekannt sind und für die Anwendung auf Neuronale Netze angepasst wurden, zur Verfügung. In dieser Arbeit werden einige Algorithmen vorgestellt, die der Gradientenabstiegsmethode, einem Quasi-Newton Verfahren oder einer Abwandlung des Gauß-Newton Verfahrens, dem Levenberg-Marquardt Verfahren, entsprechen. Außerdem wird auf Verfahren aus der globalen Optimierung eingegangen. Dabei wird ein Cutting Angle Verfahren auf Neuronale Netze angepasst. Weiterhin wird ein heuristisches Verfahren, das auf der Verwendung einer Gradientenabstiegsmethode zusammen mit einer Penalty-Funktion basiert, vorgestellt. Damit kann ein lokales Minimum wieder

verlassen und ein globales erreicht werden.

Für einige Verfahren wird ein Konvergenzbeweis geführt. Des weiteren wird auf die Stabilität dieser Verfahren eingegangen.

Es werden verschiedene zeitabhängige rekurrente Neuronale Netze vorgestellt und die dazugehörigen Lernverfahren entsprechend angepasst. Außerdem werden Bedingungen für deren Stabilität gezeigt. Stabilität heißt dabei, dass sich die Ausgabe des Neuronalen Netzes nicht verändert.

Anschließend werden Verfahren zur Minimierung der Neuronalen Netze vorgestellt. Damit sollen unwichtige Verbindungen oder Neuronen gelöscht werden.

Neuronale Netze sind vielseitig verwendbar, z.B. in der Mustererkennung, Steuerung autonomer Fahrzeuge, Prognose. Weitere Anwendungsmöglichkeiten sind in [52] zu finden.

In dieser Arbeit wird ein Neuronales Netz in der Verkehrszeichenerkennung als praktisches Beispiel für eine Mustererkennung angewendet. Ziel ist es, ein Neuronales Netz zu erstellen und mit ausgewählten Verkehrszeichen zu trainieren. Dafür werden die Verkehrszeichen um bis zu 25% mit Hilfe eines Zufallsgenerators, in diesem Fall unter Verwendung des Statistikprogramms R, verrauscht. Um die Neuronalen Netze zu erstellen und zu trainieren, wurde der Stuttgarter Neuronale Netze Simulator verwendet. Dabei werden die vorher theoretisch festgestellten Unterschiede in der Geschwindigkeit der Verfahren, den Netzwerkfehler zu minimieren, deutlich sichtbar. Anschließend soll das Netz in der Lage sein, diese Verkehrszeichen, die ebenfalls verrauscht sein können, wieder zu erkennen. Danach wird gezeigt, wie dem Neuronalen Netz ein weiteres Verkehrszeichen antrainiert werden kann.

[...]

• Universidad: University of Bayreuth (Fakultät für Mathematik und Physik)
• Calificación: 1.7
• Autor: Andreas Friedrich (Autor)
• Año de publicación: 2004
• Páginas: 148
• No. de catálogo: V27839
• ISBN (Ebook): 9783638297721
• ISBN (Libro): 9783640862467
• Idioma: Alemán
• Etiqueta: Neuronale, Netze, Theoretische, Grundlagen, Anwendung, Verkehrszeichenerkennung