Die vorliegende Masterarbeit befasst sich mit der Entwicklung einer Methode zur objektiven Evaluation semantischer Jobsuchmaschinen und deren prototypische Implementierung. In einem ersten Teil wird die Fragestellung untersucht, wie die Leistung semantischer Jobsuchmaschinen gemessen werden kann. Der zweite Teil vergleicht die Leistung einer syntaktischen und einer semantischen Jobsuchmaschine durch eine prototypische Implementierung der vorgestellten Methode.
Die entwickelte Verfahrensweise basiert auf dem Standardverfahren zur Evaluation klassischer Suchmaschinen, das als einfach anzuwenden gilt und leicht zu interpretierende Kennzahlen zur Verfügung stellt. Allerdings besitzt der Ansatz mit der eingeschränkten Objektivität, der Fehleranfälligkeit und dem hohen Durchführungsaufwand einzelner Prozessschritte auch einige wesentliche Problemstellen. Deshalb untersucht die Arbeit auch, wie diese Problematiken gelöst werden können.
Um die zentralen Ziele zu beantworten, werden die in der Literatur auffindbaren Empfehlungen zur Evaluation von klassischen Suchmaschinen herausgearbeitet, mit den Anforderungen und Eigenschaften von semantischen Jobsuchmaschinen zu einer eigenständigen Methode zur Evaluation solcher Systeme integriert und schließlich die Leistung beider Jobsuchmaschinen durch eine prototypische Implementierung der Methode verglichen.
Im Ergebnis entstand eine Vorgehensweise, mit der die Leistung von semantischen Jobsuchmaschinen objektiv evaluiert werden kann. Um die Objektivität der Methode zu gewährleisten, wurde das Konzept der Relevanzschwelle eingeführt. Mit der automatisierten Suchanfragegenerierung und der automatischen Relevanzeinschätzung wurden zwei Ansätze zur Reduzierung des Durchführungsaufwands und der Fehleranfälligkeit vorgestellt.
Aus der prototypischen Implementierung der Methode ging ein umfangreicher Evaluationsprototyp hervor, mit dem die bessere Retrieval-Effektivität der semantischen Jobsuchmaschine auf Basis der zugrundeliegenden Testumgebung herausgestellt werden konnte.
Inhaltsverzeichnis
1 Einleitung und Zielsetzung
2 Information Retrieval
3 Semantische Suche
4 Jobsuchmaschinen
5 Systemorientierte Evaluation von IR-Systemen
5.1 Definition und Beschreibung
5.2 Zielsetzung
5.3 Erstellung der Dokumentenbasis
5.4 Erstellung der Suchanfragen
5.5 Erstellung der Relevanzeinschätzungen
5.6 Auswahl geeigneter Kennzahlen
5.6.1 Precision und Recall
5.6.2 Precision at rank k
5.6.3 Mean Average Precision
5.6.4 Discounted Cumulated Gains
5.6.5 Kendall-Tau-Koeffizient
5.6.6 Weitere Kennzahlen
5.7 Statistische Signifikanz
6 Objektive Evaluation von semantischen Jobsuchmaschinen
6.1 Zielsetzung
6.2 Erstellung der Dokumentenbasis
6.3 Erstellung der Wissensbasis
6.4 Erstellung der Suchanfragen
6.4.1 Eigenschaften und Bezugsquellen
6.4.2 Automatische Suchanfragegenerierung
6.5 Erstellung der Relevanzeinschätzungen
6.5.1 Empfehlungen und Besonderheiten
6.5.2 Relevanzschwelle
6.5.3 Automatische Relevanzeinschätzung
6.6 Auswahl geeigneter Kennzahlen
6.7 Statistische Signifikanz
6.8 Zusammenfassung
7 Prototypische Implementierung
7.1 Die semantische Jobsuchmaschine des SABINE-Projekts
7.2 Die syntaktische Jobsuchmaschine des SABINE-Projekts
7.3 Der Evaluationsprototyp
7.4 Instanziierung
7.4.1 Zielsetzung
7.4.2 Erstellung der Dokumentenbasis
7.4.3 Erstellung der Wissensbasis
7.4.4 Erstellung der Suchanfragen
7.4.5 Erstellung der Relevanzeinschätzung
7.4.6 Auswahl geeigneter Kennzahlen
7.4.7 Statistische Signifikanz
8 Ergebnisse
8.1 Precision und Recall
8.2 Precision at rank k
8.3 Mean Average Precision
8.4 Kendall-Tau-Koeffizient
8.5 Discounted Cumulated Gains
8.6 Statistische Signifikanz
9 Diskussion
9.1 Limitationen und Implikationen der Instanziierung
9.2 Limitationen und Implikationen der vorgestellten Methode
10 Fazit
Zielsetzung & Themen
Die Masterarbeit hat zum Ziel, eine wissenschaftlich fundierte und objektive Methode zur Evaluation semantischer Jobsuchmaschinen zu entwickeln und diese durch eine prototypische Implementierung in einem Leistungsvergleich gegen eine syntaktische Suchmaschine zu validieren. Die zentrale Forschungsfrage ist, wie die Effektivität semantischer Suchsysteme im Vergleich zu klassischen, syntaktischen Verfahren gemessen werden kann, um eine verlässliche Aussage über deren Leistungsfähigkeit zu treffen.
- Entwicklung einer methodischen Vorgehensweise zur objektiven Leistungsmessung semantischer Jobsuchmaschinen.
- Prototypische Implementierung eines Evaluationssystems zur Durchführung des Leistungsvergleichs.
- Konzeptualisierung einer Relevanzschwelle und automatisierter Annotationsverfahren zur Effizienzsteigerung.
- Empirische Validierung der Überlegenheit semantischer Sucharchitekturen mittels statistischer Signifikanztests (Bootstrap-Verfahren).
Auszug aus dem Buch
6.4.2 Automatische Suchanfragegenerierung
Die automatische Suchanfragegenerierung generiert Suchaufträge aus den Annotationen der systemeigenen Wissensbasis. Zur Illustration der Methode wird angenommen, dass ein Suchsystem die Übereinstimmung zwischen Bewerber- und Stellenqualifikationen nutzt, um Stellenanzeigen zu empfehlen. Entsprechend liegen die erforderlichen Qualifikationen der Stellenangebote als semantische Annotationen vor. Diese können zu Generierung von Nutzerprofilen mit unterschiedlichen Qualifikationen genutzt werden. Dazu werden die Qualifikationen aus der Wissensbasis zufällig oder mit Hilfe von probabilistischen Verfahrensweisen ausgewählt. Bei der wahrscheinlichkeitsorientierten Variante werden die Qualifikationen entsprechend der Häufigkeit ihres Auftretens im Test-Dokumentenkorpus ausgewählt. Dadurch lässt sich die Wahrscheinlichkeit steigern, dass es zu einer Suchanfrage genügend relevante Dokumente gibt. Um den Vorfall abzubilden, dass Profile auch Qualifikationen enthalten können, die nicht Bestandteil der Stellenanzeigen aus der Dokumentenbasis sind, empfiehlt sich die Verwendung einer Trainings- und Testmenge. Sie dient dazu, die Wissensbasis mit Informationen zu füllen, auf deren Basis die Testmenge später evaluiert werden kann.
Im konkreten Fall setzt sich die Trainingsmenge aus einer Menge von Stellenanzeigen zusammen, zu denen die Qualifikationen semantisch annotiert wurden. Anschließend wird der gleiche Vorgang für die Testmenge durchgeführt. Somit stehen alle Qualifikationen aus Test- und Trainingsmenge in einer gemeinsamen Wissensbasis zur Verfügung und können zur Generierung der Suchanfragen genutzt werden. Dadurch können jetzt auch Profile mit Qualifikationen, die nicht Bestandteil der Testmenge sind, erstellt werden.
Zusammenfassung der Kapitel
1 Einleitung und Zielsetzung: Einführung in das Thema, Darstellung der Problemstellung und Erläuterung der Zielsetzung der Arbeit.
2 Information Retrieval: Grundlagen von Information Retrieval-Systemen und deren Bedeutung für das Auffinden von Informationen.
3 Semantische Suche: Erläuterung des Konzepts der semantischen Suche, ihrer Funktionsweise und Abgrenzung zu klassischen Systemen.
4 Jobsuchmaschinen: Einführung in Aufbau und Funktionsweise von Jobsuchmaschinen sowie deren spezifische Anforderungen.
5 Systemorientierte Evaluation von IR-Systemen: Detaillierte Beschreibung der Standardverfahren zur Evaluation von klassischen Suchsystemen.
6 Objektive Evaluation von semantischen Jobsuchmaschinen: Vorstellung der entwickelten, auf dem systemorientierten Ansatz basierenden Evaluationsmethode.
7 Prototypische Implementierung: Praktische Demonstration der entwickelten Methode anhand eines konkreten Evaluationsprototyps.
8 Ergebnisse: Präsentation und statistische Auswertung der erzielten Evaluierungsergebnisse.
9 Diskussion: Kritische Betrachtung der Limitierungen und Implikationen des Evaluationsdesigns.
10 Fazit: Zusammenfassende Beantwortung der Forschungsfragen und Ausblick auf zukünftige Entwicklungen.
Schlüsselwörter
Semantische Suche, Information Retrieval, Jobsuchmaschine, Evaluation, Leistungsanalyse, Relevanzschwelle, Suchanfragegenerierung, Bootstrap-Test, Precision, Recall, Mean Average Precision, Ontologie, Wissensbasis, Systemvergleich, Standardverfahren.
Häufig gestellte Fragen
Worum geht es in dieser Masterarbeit grundsätzlich?
Die Arbeit entwickelt eine objektive Methode, um die Suchleistung von semantischen Jobsuchmaschinen zu messen und diese mit klassischen, syntaktischen Systemen vergleichbar zu machen.
Was sind die zentralen Themenfelder der Untersuchung?
Die Arbeit behandelt Information Retrieval, semantische Technologien wie Ontologien und Wissensbasen sowie die spezifischen Anforderungen des Personalbeschaffungsprozesses.
Was ist das primäre Ziel der Forschungsarbeit?
Das Ziel ist die Erstellung eines validen Testprotokolls, um semantische Suchsysteme objektiv zu evaluieren, wobei insbesondere die Qualität der Suchergebnisse im Vordergrund steht.
Welche wissenschaftliche Methode wird zur Evaluation verwendet?
Es wird ein konstruktionsorientierter Forschungsansatz verfolgt, basierend auf dem systemorientierten Ansatz (Cranfield-Paradigma), ergänzt durch statistische Signifikanztests mittels Bootstrap-Verfahren.
Welche Inhalte umfasst der Hauptteil der Arbeit?
Der Hauptteil gliedert sich in die theoretische Fundierung, die Entwicklung der spezifischen Evaluationsmethode, eine prototypische Implementierung und die statistische Auswertung der Ergebnisse.
Welche Keywords charakterisieren die Forschungsarbeit?
Schlüsselbegriffe sind semantische Suche, Jobsuchmaschinen, Evaluation, Relevanzschwelle, Precision und Recall sowie statistische Signifikanztests.
Welche Rolle spielt die Relevanzschwelle in diesem Dokument?
Die Relevanzschwelle ist ein zentrales Konzept zur Objektivierung der Bewertung, da sie einen einheitlichen Maßstab definiert, ab wann ein Dokument für eine Suchanfrage als relevant gilt.
Wie wurde der Vergleich zwischen semantischer und syntaktischer Suche durchgeführt?
Mittels eines speziell entwickelten Evaluationsprototyps wurden beide Systeme mit identischen Suchanfragen konfrontiert und anhand verschiedener Metriken wie Precision, Recall und Mean Average Precision miteinander verglichen.
- Quote paper
- Sebastian Hof (Author), 2014, Objektive Evaluation semantischer Jobsuchmaschinen, Munich, GRIN Verlag, https://www.grin.com/document/314210
