Die vorliegende Masterarbeit befasst sich mit der Entwicklung einer Methode zur objektiven Evaluation semantischer Jobsuchmaschinen und deren prototypische Implementierung. In einem ersten Teil wird die Fragestellung untersucht, wie die Leistung semantischer Jobsuchmaschinen gemessen werden kann. Der zweite Teil vergleicht die Leistung einer syntaktischen und einer semantischen Jobsuchmaschine durch eine prototypische Implementierung der vorgestellten Methode.
Die entwickelte Verfahrensweise basiert auf dem Standardverfahren zur Evaluation klassischer Suchmaschinen, das als einfach anzuwenden gilt und leicht zu interpretierende Kennzahlen zur Verfügung stellt. Allerdings besitzt der Ansatz mit der eingeschränkten Objektivität, der Fehleranfälligkeit und dem hohen Durchführungsaufwand einzelner Prozessschritte auch einige wesentliche Problemstellen. Deshalb untersucht die Arbeit auch, wie diese Problematiken gelöst werden können.
Um die zentralen Ziele zu beantworten, werden die in der Literatur auffindbaren Empfehlungen zur Evaluation von klassischen Suchmaschinen herausgearbeitet, mit den Anforderungen und Eigenschaften von semantischen Jobsuchmaschinen zu einer eigenständigen Methode zur Evaluation solcher Systeme integriert und schließlich die Leistung beider Jobsuchmaschinen durch eine prototypische Implementierung der Methode verglichen.
Im Ergebnis entstand eine Vorgehensweise, mit der die Leistung von semantischen Jobsuchmaschinen objektiv evaluiert werden kann. Um die Objektivität der Methode zu gewährleisten, wurde das Konzept der Relevanzschwelle eingeführt. Mit der automatisierten Suchanfragegenerierung und der automatischen Relevanzeinschätzung wurden zwei Ansätze zur Reduzierung des Durchführungsaufwands und der Fehleranfälligkeit vorgestellt.
Aus der prototypischen Implementierung der Methode ging ein umfangreicher Evaluationsprototyp hervor, mit dem die bessere Retrieval-Effektivität der semantischen Jobsuchmaschine auf Basis der zugrundeliegenden Testumgebung herausgestellt werden konnte.
Inhaltsverzeichnis (Table of Contents)
- 1 Einleitung und Zielsetzung
- 2 Information Retrieval
- 3 Semantische Suche
- 4 Jobsuchmaschinen
- 5 Systemorientierte Evaluation von IR-Systemen
- 5.1 Definition und Beschreibung
- 5.2 Zielsetzung
- 5.3 Erstellung der Dokumentenbasis
- 5.4 Erstellung der Suchanfragen
- 5.5 Erstellung der Relevanzeinschätzungen
- 5.6 Auswahl geeigneter Kennzahlen
- 5.6.1 Precision und Recall
- 5.6.2 Precision at rank k
- 5.6.3 Mean Average Precision
- 5.6.4 Discounted Cumulated Gains
- 5.6.5 Kendall-Tau-Koeffizient
- 5.6.6 Weitere Kennzahlen
- 5.7 Statistische Signifikanz
- 6 Objektive Evaluation von semantischen Jobsuchmaschinen
- 6.1 Zielsetzung
- 6.2 Erstellung der Dokumentenbasis
- 6.3 Erstellung der Wissensbasis
- 6.4 Erstellung der Suchanfragen
- 6.4.1 Eigenschaften und Bezugsquellen
- 6.4.2 Automatische Suchanfragegenerierung
- 6.5 Erstellung der Relevanzeinschätzungen
- 6.5.1 Empfehlungen und Besonderheiten
- 6.5.2 Relevanzschwelle
- 6.5.3 Automatische Relevanzeinschätzung
- 6.6 Auswahl geeigneter Kennzahlen
- 6.7 Statistische Signifikanz
- 6.8 Zusammenfassung
- 7 Prototypische Implementierung
- 7.1 Die semantische Jobsuchmaschine des SABINE-Projekts
- 7.2 Die syntaktische Jobsuchmaschine des SABINE-Projekts
- 7.3 Der Evaluationsprototyp
- 7.4 Instanziierung
- 7.4.1 Zielsetzung
- 7.4.2 Erstellung der Dokumentenbasis
- 7.4.3 Erstellung der Wissensbasis
- 7.4.4 Erstellung der Suchanfragen
- 7.4.5 Erstellung der Relevanzeinschätzung
- 7.4.6 Auswahl geeigneter Kennzahlen
- 7.4.7 Statistische Signifikanz
- 8 Ergebnisse
- 8.1 Precision und Recall
- 8.2 Precision at rank k
- 8.3 Mean Average Precision
- 8.4 Kendall-Tau-Koeffizient
- 8.5 Discounted Cumulated Gains
- 8.6 Statistische Signifikanz
- 9 Diskussion
- 9.1 Limitationen und Implikationen der Instanziierung
- 9.2 Limitationen und Implikationen der vorgestellten Methode
- 10 Fazit
Zielsetzung und Themenschwerpunkte (Objectives and Key Themes)
Die vorliegende Masterarbeit untersucht die Entwicklung einer Methode zur objektiven Evaluation semantischer Jobsuchmaschinen und deren prototypische Implementierung. Im Fokus steht die Messung der Leistung von semantischen Jobsuchmaschinen und der Vergleich mit einer syntaktischen Jobsuchmaschine.
- Entwicklung einer objektiven Evaluationsmethode für semantische Jobsuchmaschinen
- Prototypische Implementierung der entwickelten Methode
- Vergleich der Leistung einer semantischen und einer syntaktischen Jobsuchmaschine
- Identifizierung von Problemen bei der Evaluation von Jobsuchmaschinen und deren Lösungsansätze
- Integration von Erkenntnissen aus der Evaluation von klassischen Suchmaschinen in die Entwicklung der Methode
Zusammenfassung der Kapitel (Chapter Summaries)
Die Arbeit beginnt mit einer Einleitung, die die Fragestellung und die Zielsetzung der Masterarbeit darstellt. Kapitel 2 und 3 beleuchten den Hintergrund des Information Retrieval und der semantischen Suche. In Kapitel 4 werden Jobsuchmaschinen im Detail beschrieben, bevor in Kapitel 5 das Standardverfahren zur Evaluation klassischer Suchmaschinen vorgestellt wird. Die Arbeit konzentriert sich darauf, wie diese Methode an die Anforderungen semantischer Jobsuchmaschinen angepasst werden kann. Kapitel 6 stellt die entwickelte Methode zur objektiven Evaluation semantischer Jobsuchmaschinen vor. Kapitel 7 beschreibt die prototypische Implementierung der Methode und erläutert die Instanziierung des Evaluationsprototyps. Die Ergebnisse der Evaluation werden in Kapitel 8 präsentiert und in Kapitel 9 diskutiert. Das Fazit fasst die Ergebnisse der Arbeit zusammen und skizziert zukünftige Forschungsrichtungen.
Schlüsselwörter (Keywords)
Die Arbeit behandelt Themen wie Information Retrieval, Semantische Suche, Jobsuchmaschinen, Evaluation, Objektivität, Relevanzschwelle, Automatisierung, Prototypische Implementierung, Retrieval-Effektivität.
- Quote paper
- Sebastian Hof (Author), 2014, Objektive Evaluation semantischer Jobsuchmaschinen, Munich, GRIN Verlag, https://www.grin.com/document/314210
