Neuronale Netze: Theoretische Grundlagen und Anwendung in der Verkehrszeichenerkennung

Diploma Thesis , 2004 , 148 Pages , Grade: 1.7

Mathematics - Applied Mathematics

Neuronale Netze sind ursprünglich aus der Biologie bekannt. Sie
haben eine grobe Analogie zum Gehirn der Säugetiere. Künstliche
Neuronale Netze sind informationsverarbeitende Systeme. Sie
bestehen aus einer großen Anzahl einfacher Einheiten, den
Neuronen, die sich Informationen in Form der Aktivierung der
Neuronen über gerichtete, gewichtete Verbindungen zusenden. Es
sind massiv parallele, lernfähige Systeme. Neuronale Netze haben
die Fähigkeit, eine Aufgabe selbständig, anhand von
Trainingsbeispielen, zu lernen.
Überblick über die einzelnen Kapitel

Kapitel 2.1 stellt die Grundlagen
Neuronaler Netze dar. Dabei wird zuerst das Neuronale Netz
definiert und seine Bestandteile erklärt. Anschließend werden
verschiedene Netzstrukturen definiert. Kapitel 2.2 zeigt, welche Funktionen mittels Neuronaler Netze darstellbar sind.

In Kapitel 3 werden verschiedene Lernverfahren für Feedforward Netze dargestellt. Dabei wird das Training Neuronaler Netze als unrestringiertes Optimierungsproblem dargestellt. In den Lernverfahren wird auf die Theorie und teilweise auch auf die Konvergenz eingegangen. Dabei werden auch Vor- und Nachteile der Verfahren angesprochen.

In Kapitel 4 werden verschiedene rekurrente Neuronale Netze dargestellt. Anschließend werden verschiedene Lernverfahren für diese Netze erläutert, die sich aus den Verfahren für Feedforward Netze ableiten lassen. Außerdem wird in Kapitel 4.6 die Stabilität rekurrenter Neuronaler Netze untersucht. In Kapitel 4.7 wird die Boltzmann Maschine als eine Anwendung des Hopfield-Netzes mit einem, auf der Idee des Simulated Annealing beruhenden, Lernverfahren erläutert.

Kapitel 5 stellt Verfahren zur Minimierung von Neuronalen Netzen vor.

Kapitel 6 zeigt eine Anwendung Neuronaler Netze in der Verkehrszeichenerkennung. Es wird erklärt, wie die Bilder bearbeitet und die Trainingsmuster erstellt wurden. Dann wurden die Neuronalen Netze mit Hilfe des Stuttgarter Neuronale Netze Simulators erstellt, trainiert und anhand von Testbildern getestet. Anschließend wurde gezeigt, wie man ein vorhandenes Neuronales Netz erweitern kann.

Inhaltsverzeichnis

• 1 Einleitung
• 1.1 Motivation
• 1.2 Überblick über die einzelnen Kapitel
• 2 Theoretische Grundlagen
• 2.1 Aufbau Neuronaler Netze
• 2.2 Darstellbarkeit von Funktionen
• 2.2.1 Das Perzeptron
• 2.2.2 Repräsentierbarkeit von Feedforward Netzen
• 3 Lernverfahren für Feedforward Netze
• 3.1 Backpropagation
• 3.1.1 Modifikationen von Backpropagation
• 3.1.2 Konvergenz von Backpropagation
• 3.1.3 Three-Term-Backpropagation
• 3.2 Quickprop
• 3.3 Resilient Propagation
• 3.4 Backpercolation
• 3.5 Levenberg-Marquardt Algorithmus
• 3.6 Globale Lernverfahren
• 3.6.1 Cutting Angle Methode
• 3.6.2 Heuristic Global Learning
• 4 Rekurrente Netze und ihre Lernverfahren
• 4.1 Jordan-Netze
• 4.2 Elman-Netze
• 4.3 Hierarchische Elman-Netze
• 4.4 Lernverfahren für partiell rekurrente Netze
• 4.4.1 Backpropagation Through Time (BPTT)
• 4.4.2 Real-Time Recurrent Learning (RTRL)
• 4.4.3 Kombination von BPTT und RTRL
• 4.5 Hopfield-Netze
• 4.6 Stabilität
• 4.6.1 Stabilität von Hopfield-Netzen
• 4.6.2 Bedingungen für globale asymptotische Stabilität
• 4.7 Boltzmann Maschine
• 5 Pruning Algorithmen
• 5.1 Weight Decay
• 5.2 Löschen der betragsmäßig kleinsten Gewichte (Mag)
• 5.3 Optimal Brain Damage (OBD)
• 5.4 Optimal Brain Surgeon (OBS)
• 5.5 Skelettierung
• 6 Erkennung von Verkehrszeichen
• 6.1 Problemstellung
• 6.2 Bearbeitung der Bilder
• 6.3 Trainingsmuster
• 6.4 Erstellen und Training der Neuronalen Netze
• 6.4.1 32 x 32/32/4 Feedforward Netz
• 6.4.2 32×32/16/4/4 Feedforward Netz
• 6.5 Testen der Neuronalen Netze
• 6.5.1 Generierung der Testdaten
• 6.5.2 32 x 32/32/4 Feedforward Netz
• 6.5.3 32 × 32 / 16 / 4/4 Feedforward Netz
• 6.5.4 Ergebnis
• 6.6 Erweiterung des Neuronalen Netzes
• 7 Fazit

Zielsetzung und Themenschwerpunkte

Diese Diplomarbeit befasst sich mit der Anwendung Neuronaler Netze zur Erkennung von Verkehrszeichen. Die Arbeit legt den Schwerpunkt auf die theoretischen Grundlagen Neuronaler Netze sowie die praktische Anwendung dieser Technologie im Kontext der Verkehrszeichenerkennung.

• Aufbau und Funktionsweise von Neuronalen Netzen
• Lernverfahren für Feedforward Netze und rekurrente Netze
• Pruning Algorithmen zur Reduzierung der Komplexität Neuronaler Netze
• Praktische Anwendung von Neuronalen Netzen zur Verkehrszeichenerkennung
• Bewertung und Analyse der Ergebnisse der Verkehrszeichenerkennung

Zusammenfassung der Kapitel

• Kapitel 1: Die Einleitung stellt die Motivation und den Hintergrund der Arbeit dar. Außerdem wird ein Überblick über die einzelnen Kapitel gegeben.
• Kapitel 2: Dieses Kapitel behandelt die theoretischen Grundlagen Neuronaler Netze. Es werden verschiedene Architekturen und Konzepte erläutert, darunter das Perzeptron und Feedforward Netze.
• Kapitel 3: In diesem Kapitel werden verschiedene Lernverfahren für Feedforward Netze vorgestellt, darunter Backpropagation, Quickprop und Resilient Propagation. Die Konvergenz von Backpropagation wird ebenfalls behandelt.
• Kapitel 4: Das Kapitel befasst sich mit rekurrenten Netzen und deren Lernverfahren, wie zum Beispiel Jordan-Netze, Elman-Netze und Backpropagation Through Time (BPTT). Die Stabilität von Hopfield-Netzen wird ebenfalls untersucht.
• Kapitel 5: In diesem Kapitel werden verschiedene Pruning Algorithmen beschrieben, die dazu dienen, die Komplexität von Neuronalen Netzen zu reduzieren und damit die Effizienz zu verbessern. Dazu gehören Weight Decay, Optimal Brain Damage (OBD) und Optimal Brain Surgeon (OBS).
• Kapitel 6: Dieses Kapitel beschreibt die Anwendung von Neuronalen Netzen zur Erkennung von Verkehrszeichen. Die Problemstellung, die Bearbeitung der Bilder, die Trainingsmuster und die Testdaten werden behandelt. Es werden auch verschiedene Feedforward Netz-Architekturen vorgestellt und die Ergebnisse der Tests werden diskutiert.

Schlüsselwörter

Neuronale Netze, Feedforward Netze, Backpropagation, Rekurrente Netze, Pruning Algorithmen, Verkehrszeichenerkennung, Bilderkennung, Mustererkennung.

• College: University of Bayreuth (Fakultät für Mathematik und Physik)
• Grade: 1.7
• Author: Andreas Friedrich (Author)
• Publication Year: 2004
• Pages: 148
• Catalog Number: V27839
• ISBN (eBook): 9783638297721
• ISBN (Book): 9783640862467
• Language: German
• Tags: Neuronale, Netze, Theoretische, Grundlagen, Anwendung, Verkehrszeichenerkennung