Das Ziel dieser Arbeit ist es, die Potentiale und Grenzen von Transformer-Modellen in der Verfahrenstechnik aufzuzeigen. Dies soll durch eine systematische Analyse und Bewertung der Modelle erreicht werden, einschließlich der Feinabstimmung mit Daten aus der Verfahrenstechnik und der Überprüfung der Ergebnisse mit Hilfe anderen Modellen und fachlichen Referenzen. Durch eine systematische Analyse und Bewertung der Modelle, einschließlich der Feinabstimmung mit Daten aus der Verfahrenstechnik und der Verifizierung der Ergebnisse durch Vergleiche mit anderen Modellen und Expertisen, sollen praxisnahe Empfehlungen für den Einsatz dieser Technologien abgeleitet werden. Diese Empfehlungen sollen nicht nur die Stärken der Transformer-Modelle hervorheben, sondern auch konkrete Ansätze zur Überwindung der identifizierten Grenzen aufweisen.
Die rasante Entwicklung der Künstlichen Intelligenz (KI), insbesondere im Bereich der Natural Language Processing (NLP)-Technologien, hat die Art und Weise, wie wir Informationen verarbeiten, verstehen und generieren, grundlegend verändert. Im Mittelpunkt dieser Fortschritte stehen große Sprachmodelle (Large Language Models, LLMs), die auf tiefen neuronalen Netzen basieren und häufig mit Hilfe von Transformatorarchitekturen entwickelt werden. Mit Hunderten von Millionen bis zu Milliarden von Parametern, die mit großen Mengen von Textdaten vortrainiert wurden, haben LLMs wie GPT-4 und LLaMA beeindruckende Fähigkeiten bei der Generierung menschenähnlicher Texte gezeigt. Diese Modelle sind in der Lage, komplexe semantische und kontextuelle Informationen zu verarbeiten, was sie zu wertvollen Werkzeugen in einer Vielzahl von Anwendungsbereichen macht, von der automatischen Textgenerierung bis hin zur Unterstützung von Bildungsprozessen. Die Übertragbarkeit dieser Modelle, die ihre Fähigkeit zum semantischen und kontextuellen Verständnis aus der Vorbildung erben, macht sie für den Bildungsbereich besonders relevant. LLMs bieten die Möglichkeit, wiederverwendbare und skalierbare technische Architekturen in verschiedenen Bildungsdisziplinen zu schaffen, von Mathematik über Naturwissenschaften bis hin zu Medizin und Verfahrenstechnik. Erste Implementierungen von LLMs in Bildungskontexten haben gezeigt, dass sie das Lernen verbessern können, indem sie Inhalte generieren, offene Fragen unterstützen und sozio-emotionale Unterstützung bieten.
Inhaltsverzeichnis
- Einleitung und Motivation
- Einführung in das Thema
- Problemstellung und Zielsetzung
- Eingrenzung und Abgrenzung
- Vorgehensweise und Aufbau der Arbeit
- Theoretische Grundlagen
- Künstliche Intelligenz
- Neuronale Netze
- Transformer Foundation Models
- Transformer
- Transformer-Gesamtarchitektur
- Large Language Models (LLMs)
- LLAMA: Entwicklungen in LLMs
- Retrieval-Augmented Generation (RAG)
- Verfahrenstechnik und Transformer Modelle
- Kriterien für den Einsatz zu Lehr- und Beratungszwecken
- Analyse
- CRISP-DM Modell
- Geschäftsverständnis (Business Understanding: Zielsetzung)
- Datenverständnis (Data Understanding)
- Wissensdatenbank (Data Preparation)
- Modelling-RAG Generation
- Evaluation
- Kritische Würdigung
- Bewertung auf Akkuratheit und Quellenzuordnung
- Qualitativ
- Quantitativ
- Bewertung des Einflusses der Hyperparameteranpassung
- Modellvergleich
- Size-Vergleich: Einfluss der Modellgröße auf die Leistung
- Strategien für zukünftige Verbesserungen und Forschung
- Ergebnisse und Ausblick
Zielsetzung und Themenschwerpunkte
Diese Arbeit befasst sich mit der Eignung von Transformer-Modellen für den Einsatz in der Verfahrenstechnik. Das Ziel ist es, ein detailliertes Verständnis der Möglichkeiten und Grenzen von LLMs in der prozeduralen Lehre zu erlangen. Dabei stehen die Akkuratheit der Modelle und die korrekte Zuordnung von Referenzen im Vordergrund.
- Bewertung der Eignung von Transformer-Modellen in der Verfahrenstechnik
- Analyse der Stärken und Schwächen von LLMs hinsichtlich Akkuratheit und Quellenzuordnung
- Evaluation des Einflusses von Hyperparametern auf die Leistung der Modelle
- Entwicklung von Empfehlungen für die Implementierung von LLMs in der Lehre
- Exploration des Potenzials von LLMs zur Verbesserung von Lernprozessen
Zusammenfassung der Kapitel
- Einleitung und Motivation: Die Einleitung führt in die rasante Entwicklung von KI und NLP-Technologien ein und beleuchtet die Bedeutung von großen Sprachmodellen (LLMs). Sie hebt die potenziellen Anwendungen von LLMs im Bildungsbereich, insbesondere in der Verfahrenstechnik, hervor. Die Einleitung definiert die Problemstellung und Zielsetzung der Arbeit, die auf die Analyse der Eignung von Transformer-Modellen für die prozedurale Lehre ausgerichtet ist.
- Theoretische Grundlagen: Dieses Kapitel stellt die theoretischen Grundlagen der Arbeit dar, indem es die Konzepte der Künstlichen Intelligenz, neuronaler Netze und Transformer-Modelle erläutert. Es beleuchtet die Funktionsweise von Transformer-Architekturen, die Entwicklung von Large Language Models (LLMs) und die Technik der Retrieval-Augmented Generation (RAG).
- Analyse: Der Analyseteil der Arbeit konzentriert sich auf die Anwendung des CRISP-DM-Modells, um die Eignung von Transformer-Modellen in der Verfahrenstechnik zu bewerten. Es werden die verschiedenen Phasen des CRISP-DM-Modells erläutert, einschließlich des Geschäftsverständnisses, des Datenverständnisses, der Wissensdatenbank, der Modellentwicklung (RAG-Generation) und der Evaluation.
- Kritische Würdigung: In diesem Kapitel erfolgt eine kritische Bewertung der Ergebnisse der Analyse. Es wird die Akkuratheit der Modelle und die Zuordnung von Quellen sowohl qualitativ als auch quantitativ untersucht. Darüber hinaus wird der Einfluss der Hyperparameteranpassung auf die Leistung der Modelle bewertet.
Schlüsselwörter
Die Schlüsselwörter der Arbeit umfassen: Künstliche Intelligenz, Natural Language Processing (NLP), Large Language Models (LLMs), Transformer-Modelle, Retrieval-Augmented Generation (RAG), Verfahrenstechnik, prozedurale Lehre, Akkuratheit, Quellenzuordnung, Hyperparameteranpassung, CRISP-DM-Modell, Evaluation, Bildungsbereich.
- Quote paper
- Anonym (Author), 2024, Etablierung eines Transformer-Foundation-Modells. Einsatz in der Verfahrenstechnik, Munich, GRIN Verlag, https://www.grin.com/document/1471582
