Im Rahmen der vorliegenden Ausarbeitung soll an einem konkreten physischen – aber sehr einfach gehaltenen – Roboter untersucht werden, inwieweit Reinforcement Learning zur Steuerung eines solchen Roboters genutzt werden kann und welche Möglichkeiten und Probleme sich daraus ergeben könnten. Aufbauend auf diesem grundlegenden Verständnis könnten dann weitere Untersuchungen zur Übertragbarkeit auf komplexere und praktisch nutzbare Anwendungen erfolgen.
Die diversen Verfahren des maschinellen Lernens, die im alltäglichen Sprachgebrauch häufig unter dem Schlagwort “künstliche Intelligenz“ zusammengefasst werden, erleben aktuell eine sehr starke mediale Präsenz, welche die entsprechende Technologie und vielmehr die zum Teil spektakulären Anwendungsfälle auch einer breiten Bevölkerungsschicht außerhalb von Industrie und Technik bekannt macht. Es kann dabei schnell der Eindruck entstehen, dass es sich bei künstlicher Intelligenz um neueste technologische Entwicklungen handelt, die sogar dazu in der Lage sind, die menschliche Arbeitskraft in naher Zukunft komplett oder zumindest teilweise zu ersetzen. In den zurückliegenden fünf bis zehn Jahren beschleunigte sich die Entwicklung rasant und mit der Verfügbarkeit immer leistungsfähigerer und preisgünstigerer Hardware haben sich eine Vielzahl von Anwendungsfällen entwickelt, die im heutigen Alltagsleben selbstverständlich genutzt werden.
In der jüngsten Vergangenheit haben selbstlernende Systeme eine starke mediale Präsenz erreicht. Derartige Systeme, wie beispielsweise DeepMinds AlphaZero, die auf sogenanntem Reinforcement Learning, also bestärkendem Lernen, basieren, sind dazu in der Lage, komplexe Brettspiele, wie zum Beispiel Schach oder Go, auf einem Niveau zu beherrschen, welches das aller menschlichen Experten übertrifft. Dies zum Teil dazu noch ohne jemals umfassend darin angeleitet worden zu sein oder das Regelwerk vorab zu kennen. Die Systeme haben sich dieses Können eigenständig durch Versuch und Irrtum angeeignet. Ebenfalls erweitern sich die Einsatzgebiete dieser Verfahren zunehmend.
Eine Vielzahl der Anwendungen findet aktuell jedoch in virtuellen Umgebungen und Simulationen statt, die eine idealtypische und stark vereinfachte Umwelt repräsentieren, die vielfach an physischen Maschinen nicht zu finden ist. Eine Übertragung der Erkenntnisse und Algorithmen in die Realität kann dadurch oftmals nur schwer vorgenommen werden.
Inhaltsverzeichnis (Table of Contents)
- 1 Einleitung
- 1.1 Zielsetzung
- 1.2 Vorgehensweise
- 2 Kurze Vorstellung des Anwendungsfalls – Der Crawler-Roboter
- 2.1 Funktionsweise
- 2.2 Kurze Vorstellung der eingesetzten Komponenten
- 2.2.1 Der Raspberry Pi 4 Model B
- 2.2.2 Adafruit PCA9685 16 Kanal Servo Controller
- 2.2.3 Aktuatoren zur Bewegungssteuerung
- 2.2.4 KY-040 Inkrementaldrehgeber
- 2.2.5 HC-SR04 Ultraschall Abstandssensor
- 2.2.6 Spannungsversorgung LM2596 DC/DC-Step-Down-Wandler
- 2.3 Die praktische Umsetzung des Crawler-Roboters
- 3 Grundlagen des maschinellen Lernens
- 3.1 Maschinelles Lernen als ein Teilbereich künstlicher Intelligenz
- 3.2 Kurzer Überblick über maschinelle Lernverfahren
- 3.2.1 Supervised Learning – Überwachtes Lernen
- 3.2.2 Unsupervised Learning – Unüberwachtes Lernen
- 3.2.3 Reinforcement Learning – Bestärkendes Lernen
- 4 Reinforcement Learning als eine Form des maschinellen Lernens
- 4.1 Definition der grundlegenden Begriffe
- 4.1.1 Das Standard Framework des Reinforcement Learning
- 4.1.2 Agent
- 4.1.3 Umwelt - Environment
- 4.1.4 Zustände und Aktionen
- 4.1.5 Policy
- 4.1.6 Belohnung - Reward
- 4.1.7 Value Function
- 4.2 Charakterisierung verschiedener Reinforcement Learning Verfahren
- 4.3 Auswahl eines geeigneten Reinforcement Learning Verfahrens
- 4.4 Beschreibung des ausgewählten Q-Learning Algorithmus
- 5 Die praktische Umsetzung am Beispiel des Crawler-Roboters
- 5.1 Die Umsetzung des Q-Learning in einem Python Programm
- 5.2 Auswahl und Festlegung der Q-Learning Parameter
- 5.3 Beobachtung und Beschreibung des Lernvorgangs
- 6 Fazit
- 7 Ausblick
Zielsetzung und Themenschwerpunkte (Objectives and Key Themes)
Diese Arbeit befasst sich mit der Nutzung von Reinforcement Learning, einer Form des maschinellen Lernens, zur Steuerung eines physischen Roboters. Der Fokus liegt darauf, die Möglichkeiten und Herausforderungen des Einsatzes von Reinforcement Learning in einer realen Umgebung zu untersuchen. Der Crawler-Roboter dient als Testplattform.
- Eignung von Reinforcement Learning zur Steuerung von physischen Robotern
- Die praktischen Herausforderungen bei der Anwendung von Reinforcement Learning
- Optimierung des Lernprozesses durch die Auswahl geeigneter Parameter
- Analyse des erlernten Bewegungsmusters des Roboters
- Potentiale und Grenzen von Reinforcement Learning in realen Anwendungen
Zusammenfassung der Kapitel (Chapter Summaries)
Die Arbeit beginnt mit einer Einführung, die die Zielsetzung und den Aufbau der Arbeit beschreibt. Im Anschluss erfolgt eine Vorstellung des Crawler-Roboters, der als physische Plattform für die Anwendung des Reinforcement Learning dient. Die Arbeit erläutert die Funktionsweise des Roboters, beschreibt die eingesetzten Komponenten und dokumentiert den Prozess der Konstruktion. Im dritten Kapitel werden die Grundlagen des maschinellen Lernens dargestellt. Es erfolgt eine Einordnung des Reinforcement Learning als ein Teilbereich des maschinellen Lernens. Die Arbeit erläutert die wesentlichen Unterscheidungsmerkmale des Reinforcement Learning zu den beiden anderen großen Gruppen des maschinellen Lernens – dem überwachten Lernen und dem unüberwachten Lernen. Das vierte Kapitel befasst sich mit der Charakterisierung der verschiedenen Reinforcement Learning Verfahren. Anhand von bekannten Ordnungskriterien werden die verschiedenen Verfahren klassifiziert. Nach einer ausführlichen Diskussion und der Entwicklung von Bewertungsmaßstäben, erfolgt die Auswahl eines geeigneten Verfahrens. Im Anschluss wird das ausgewählte Verfahren – das tabellenbasierte Q-Learning – umfassend in seiner Funktionsweise und seinem Aufbau beschrieben. Der fünfte und letzte Abschnitt beschreibt die praktische Umsetzung des Q-Learning Verfahrens anhand des Crawler-Roboters. Es erfolgt zunächst die Vorstellung des Programmcodes, bevor die Festlegung der Parameter, das Training des Agenten und die anschließende Analyse des Lernprozesses erfolgen.
Schlüsselwörter (Keywords)
Die Arbeit befasst sich mit den Themen künstliche Intelligenz, maschinelles Lernen, Reinforcement Learning, Q-Learning, Crawler-Roboter, Bewegungssteuerung, Sensorik, Python, Programmierung, Modellbildung, Simulation, Lernen aus Erfahrung, Exploration und Exploitation.
- Quote paper
- Felix Wessel (Author), 2021, Reinforcement Learning bei der Bewegungssteuerung eines selbstlernenden physischen Roboters. Chancen und Grenzen bei der Nutzung künstlicher Intelligenz, Munich, GRIN Verlag, https://www.grin.com/document/1272464
