Neuronale Netze sind ursprünglich aus der Biologie bekannt. Sie
haben eine grobe Analogie zum Gehirn der Säugetiere. Künstliche
Neuronale Netze sind informationsverarbeitende Systeme. Sie
bestehen aus einer großen Anzahl einfacher Einheiten, den
Neuronen, die sich Informationen in Form der Aktivierung der
Neuronen über gerichtete, gewichtete Verbindungen zusenden. Es
sind massiv parallele, lernfähige Systeme. Neuronale Netze haben
die Fähigkeit, eine Aufgabe selbständig, anhand von
Trainingsbeispielen, zu lernen.
Überblick über die einzelnen Kapitel
Kapitel 2.1 stellt die Grundlagen
Neuronaler Netze dar. Dabei wird zuerst das Neuronale Netz
definiert und seine Bestandteile erklärt. Anschließend werden
verschiedene Netzstrukturen definiert. Kapitel 2.2 zeigt, welche Funktionen mittels Neuronaler Netze darstellbar sind.
In Kapitel 3 werden verschiedene Lernverfahren für Feedforward Netze dargestellt. Dabei wird das Training Neuronaler Netze als unrestringiertes Optimierungsproblem dargestellt. In den Lernverfahren wird auf die Theorie und teilweise auch auf die Konvergenz eingegangen. Dabei werden auch Vor- und Nachteile der Verfahren angesprochen.
In Kapitel 4 werden verschiedene rekurrente Neuronale Netze dargestellt. Anschließend werden verschiedene Lernverfahren für diese Netze erläutert, die sich aus den Verfahren für Feedforward Netze ableiten lassen. Außerdem wird in Kapitel 4.6 die Stabilität rekurrenter Neuronaler Netze untersucht. In Kapitel 4.7 wird die Boltzmann Maschine als eine Anwendung des Hopfield-Netzes mit einem, auf der Idee des Simulated Annealing beruhenden, Lernverfahren erläutert.
Kapitel 5 stellt Verfahren zur Minimierung von Neuronalen Netzen vor.
Kapitel 6 zeigt eine Anwendung Neuronaler Netze in der Verkehrszeichenerkennung. Es wird erklärt, wie die Bilder bearbeitet und die Trainingsmuster erstellt wurden. Dann wurden die Neuronalen Netze mit Hilfe des Stuttgarter Neuronale Netze Simulators erstellt, trainiert und anhand von Testbildern getestet. Anschließend wurde gezeigt, wie man ein vorhandenes Neuronales Netz erweitern kann.
Inhaltsverzeichnis
1 Einleitung
1.1 Motivation
1.2 Überblick über die einzelnen Kapitel
2 Theoretische Grundlagen
2.1 Aufbau Neuronaler Netze
2.2 Darstellbarkeit von Funktionen
2.2.1 Das Perzeptron
2.2.2 Repräsentierbarkeit von Feedforward Netzen
3 Lernverfahren für Feedforward Netze
3.1 Backpropagation
3.1.1 Modifikationen von Backpropagation
3.1.2 Konvergenz von Backpropagation
3.1.3 Three-Term-Backpropagation
3.2 Quickprop
3.3 Resilient Propagation
3.4 Backpercolation
3.5 Levenberg-Marquardt Algorithmus
3.6 Globale Lernverfahren
3.6.1 Cutting Angle Methode
3.6.2 Heuristic Global Learning
4 Rekurrente Netze und ihre Lernverfahren
4.1 Jordan-Netze
4.2 Elman-Netze
4.3 Hierarchische Elman-Netze
4.4 Lernverfahren für partiell rekurrente Netze
4.4.1 Backpropagation Through Time (BPTT)
4.4.2 Real-Time Recurrent Learning (RTRL)
4.4.3 Kombination von BPTT und RTRL
4.5 Hopfield-Netze
4.6 Stabilität
4.6.1 Stabilität von Hopfield-Netzen
4.6.2 Bedingungen für globale asymptotische Stabilität
4.7 Boltzmann Maschine
5 Pruning Algorithmen
5.1 Weight Decay
5.2 Löschen der betragsmäßig kleinsten Gewichte (Mag)
5.3 Optimal Brain Damage (OBD)
5.4 Optimal Brain Surgeon (OBS)
5.5 Skelettierung
6 Erkennung von Verkehrszeichen
6.1 Problemstellung
6.2 Bearbeitung der Bilder
6.3 Trainingsmuster
6.4 Erstellen und Training der Neuronalen Netze
6.4.1 32 × 32 / 32 /4 Feedforward Netz
6.4.2 32×32/16/4/4 Feedforward Netz
6.5 Testen der Neuronalen Netze
6.5.1 Generierung der Testdaten
6.5.2 32 × 32 / 32 /4 Feedforward Netz
6.5.3 32 × 32 / 16 / 4 /4 Feedforward Netz
6.5.4 Ergebnis
6.6 Erweiterung des Neuronalen Netzes
7 Fazit
A Programmlisting
A.1 Umwandlung der Bilder in Matrizen
A.2 Umwandlung der Matrizen in Bilder
B R Skripten
B.1 Erstellen der Trainingsdaten
B.2 Erstellen der Testdaten
B.3 Erstellen der Daten für das "Gefahr" - Schild
C Testergebnisse
C.1 Testergebnisse für das 32 × 32/32/4 Feedforward Netz
C.2 Testergebnisse für das 32 × 32/16/4/4 Feedforward Netz
C.3 Testergebnis für das 32 × 32/16/4/5 Feedforward Netz
Zielsetzung & Themen
Diese Arbeit zielt darauf ab, die theoretischen Grundlagen künstlicher neuronaler Netze zu erläutern und ihre praktische Anwendbarkeit in der Verkehrszeichenerkennung zu demonstrieren. Die Forschungsfrage fokussiert sich darauf, wie verrauschte Bilddaten durch verschiedene Netzwerkarchitekturen und Lernalgorithmen zuverlässig klassifiziert werden können.
- Theoretische Fundierung neuronaler Netzwerkarchitekturen und deren Lernverfahren
- Analyse von Optimierungsmethoden zur Fehlerreduktion (u.a. Backpropagation, Quickprop)
- Untersuchung von Verfahren zur Modellverkleinerung (Pruning Algorithmen)
- Praktische Implementierung und Evaluierung eines Systems zur Erkennung verrauschter Verkehrszeichenbilder
Auszug aus dem Buch
1.1 Motivation
Neuronale Netze sind ursprünglich aus der Biologie bekannt. Sie haben eine grobe Analogie zum Gehirn der Säugetiere. Künstliche Neuronale Netze sind informationsverarbeitende Systeme. Sie bestehen aus einer großen Anzahl einfacher Einheiten, den Neuronen, die sich Informationen in Form der Aktivierung der Neuronen über gerichtete, gewichtete Verbindungen zusenden. Es sind massiv parallele, lernfähige Systeme. Neuronale Netze haben die Fähigkeit, eine Aufgabe selbstständig, anhand von Trainingsbeispielen, zu lernen.
Beim Training eines Neuronalen Netzes entsteht eine Differenz zwischen der tatsächlichen Ausgabe des Neuronalen Netzes und einer gewünschten Ausgabe. Diese ist in den Trainingsdaten aufgrund von Vorwissen (z.B. vorgegebene Muster, Vergangenheitsdaten usw.) bekannt. Es entsteht also ein Trainings- bzw. Netzwerkfehler. Damit dieser stets nichtnegativ ist, wird er im Allgemeinen mit Hilfe des Quadrats des euklidischen Abstands definiert (siehe Gleichung (3.1)). Ziel des Trainings ist es also, diesen Fehler zu minimieren. Man hat damit ein Optimierungsproblem ohne Nebenbedingungen.
Zusammenfassung der Kapitel
1 Einleitung: Diese Einleitung führt in die biologischen Grundlagen neuronaler Netze ein, beschreibt die Zielsetzung der Fehleroptimierung und skizziert das praktische Anwendungsszenario der Verkehrszeichenerkennung.
2 Theoretische Grundlagen: Hier werden die mathematische Struktur neuronaler Netze, verschiedene Aktivierungsfunktionen und die Repräsentierbarkeit von Funktionen durch Perzeptrone und Feedforward-Netze definiert.
3 Lernverfahren für Feedforward Netze: Das Kapitel analysiert diverse Optimierungsalgorithmen für das Training, darunter Backpropagation, Quickprop, Resilient Propagation sowie globale Lernverfahren wie die Cutting Angle Methode.
4 Rekurrente Netze und ihre Lernverfahren: Dieses Kapitel behandelt Netzwerke mit Rückkopplung, wie Jordan- und Elman-Netze, untersucht deren Stabilitätskriterien und stellt Lernregeln für partiell rekurrente Strukturen vor.
5 Pruning Algorithmen: Hier werden Methoden zur Reduktion der Modellkomplexität behandelt, um Speicherbedarf und Rechenzeit durch das Entfernen unwichtiger Verbindungen oder Neuronen zu optimieren.
6 Erkennung von Verkehrszeichen: In diesem praktischen Hauptteil wird die Anwendung neuronaler Netze auf die Klassifizierung verrauschter Verkehrszeichenbilder mithilfe des SNNS-Simulators detailliert beschrieben und evaluiert.
7 Fazit: Das Fazit fasst die Ergebnisse zusammen und diskutiert das Potenzial sowie zukünftige Ansätze zur Verbesserung der Leistung in realen Anwendungen.
Schlüsselwörter
Neuronale Netze, Backpropagation, Optimierung, Verkehrszeichenerkennung, Lernverfahren, Feedforward-Netze, Rekurrente Netze, Pruning, Gewichtung, Fehlerminimierung, Stabilitätsanalyse, Mustererkennung, Aktivierungsfunktion, Bildverarbeitung, Konvergenz.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Diplomarbeit behandelt die theoretischen Grundlagen künstlicher neuronaler Netze und deren Anwendung als lernfähige Systeme zur Erkennung von Mustern, konkret in der Verkehrszeichenerkennung.
Was sind die zentralen Themenfelder?
Im Zentrum stehen die Architektur und Lernfähigkeit neuronaler Netze, die mathematische Optimierung von Lernverfahren, die Stabilität rekurrenter Netze und Methoden zur Reduktion von Modellgrößen.
Was ist das primäre Ziel oder die Forschungsfrage?
Das Ziel ist die Erforschung und Implementierung effizienter Lernalgorithmen, um die Genauigkeit bei der Klassifizierung von verrauschten Verkehrszeichenbildern durch neuronale Netze zu maximieren.
Welche wissenschaftliche Methode wird verwendet?
Es werden verschiedene mathematische Optimierungsmethoden (Gradientenverfahren, Quasi-Newton-Verfahren) und algorithmische Trainingsansätze theoretisch hergeleitet und praktisch unter Verwendung des SNNS-Simulators angewandt.
Was wird im Hauptteil behandelt?
Der Hauptteil gliedert sich in theoretische Abschnitte zu Lernverfahren für Feedforward- und rekurrente Netze, Methoden zur Modelloptimierung (Pruning) sowie die praktische Anwendung auf die Bilderkennung von Verkehrszeichen.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit lässt sich durch Begriffe wie Neuronale Netze, Backpropagation, Fehlerminimierung, Mustererkennung und Stabilitätsanalyse charakterisieren.
Warum ist das Problem der Symmetrie im Training wichtig?
Symmetrie-Breaking ist entscheidend bei der Initialisierung von Startgewichten; sind diese zu Beginn identisch, kann das System keine notwendigen unterschiedlichen Gewichtungen für die verborgenen Schichten entwickeln.
Welchen Vorteil bietet der Levenberg-Marquardt-Algorithmus gegenüber Standard-Backpropagation?
Der Levenberg-Marquardt-Algorithmus ist eine effizientere Optimierungsmethode, die durch eine Annäherung an das Newton-Verfahren oft eine deutlich schnellere Konvergenz und stabilere Lernprozesse ermöglicht.
- Quote paper
- Andreas Friedrich (Author), 2004, Neuronale Netze: Theoretische Grundlagen und Anwendung in der Verkehrszeichenerkennung, Munich, GRIN Verlag, https://www.grin.com/document/27839