Objektive Evaluation semantischer Jobsuchmaschinen

Entwicklung einer Methodik und prototypische Implementierung

Master's Thesis , 2014 , 114 Pages , Grade: 1,0

Computer Science - Commercial Information Technology

Die vorliegende Masterarbeit befasst sich mit der Entwicklung einer Methode zur objektiven Evaluation semantischer Jobsuchmaschinen und deren prototypische Implementierung. In einem ersten Teil wird die Fragestellung untersucht, wie die Leistung semantischer Jobsuchmaschinen gemessen werden kann. Der zweite Teil vergleicht die Leistung einer syntaktischen und einer semantischen Jobsuchmaschine durch eine prototypische Implementierung der vorgestellten Methode.

Die entwickelte Verfahrensweise basiert auf dem Standardverfahren zur Evaluation klassischer Suchmaschinen, das als einfach anzuwenden gilt und leicht zu interpretierende Kennzahlen zur Verfügung stellt. Allerdings besitzt der Ansatz mit der eingeschränkten Objektivität, der Fehleranfälligkeit und dem hohen Durchführungsaufwand einzelner Prozessschritte auch einige wesentliche Problemstellen. Deshalb untersucht die Arbeit auch, wie diese Problematiken gelöst werden können.

Um die zentralen Ziele zu beantworten, werden die in der Literatur auffindbaren Empfehlungen zur Evaluation von klassischen Suchmaschinen herausgearbeitet, mit den Anforderungen und Eigenschaften von semantischen Jobsuchmaschinen zu einer eigenständigen Methode zur Evaluation solcher Systeme integriert und schließlich die Leistung beider Jobsuchmaschinen durch eine prototypische Implementierung der Methode verglichen.

Im Ergebnis entstand eine Vorgehensweise, mit der die Leistung von semantischen Jobsuchmaschinen objektiv evaluiert werden kann. Um die Objektivität der Methode zu gewährleisten, wurde das Konzept der Relevanzschwelle eingeführt. Mit der automatisierten Suchanfragegenerierung und der automatischen Relevanzeinschätzung wurden zwei Ansätze zur Reduzierung des Durchführungsaufwands und der Fehleranfälligkeit vorgestellt.

Aus der prototypischen Implementierung der Methode ging ein umfangreicher Evaluationsprototyp hervor, mit dem die bessere Retrieval-Effektivität der semantischen Jobsuchmaschine auf Basis der zugrundeliegenden Testumgebung herausgestellt werden konnte.

Inhaltsverzeichnis

• 1 Einleitung und Zielsetzung
• 2 Information Retrieval
• 3 Semantische Suche
• 4 Jobsuchmaschinen
• 5 Systemorientierte Evaluation von IR-Systemen
  • 5.1 Definition und Beschreibung
  • 5.2 Zielsetzung
  • 5.3 Erstellung der Dokumentenbasis
  • 5.4 Erstellung der Suchanfragen
  • 5.5 Erstellung der Relevanzeinschätzungen
  • 5.6 Auswahl geeigneter Kennzahlen
    • 5.6.1 Precision und Recall
    • 5.6.2 Precision at rank k
    • 5.6.3 Mean Average Precision
    • 5.6.4 Discounted Cumulated Gains
    • 5.6.5 Kendall-Tau-Koeffizient
    • 5.6.6 Weitere Kennzahlen
  • 5.7 Statistische Signifikanz
• 6 Objektive Evaluation von semantischen Jobsuchmaschinen
  • 6.1 Zielsetzung
  • 6.2 Erstellung der Dokumentenbasis
  • 6.3 Erstellung der Wissensbasis
  • 6.4 Erstellung der Suchanfragen
    • 6.4.1 Eigenschaften und Bezugsquellen
    • 6.4.2 Automatische Suchanfragegenerierung
  • 6.5 Erstellung der Relevanzeinschätzungen
    • 6.5.1 Empfehlungen und Besonderheiten
    • 6.5.2 Relevanzschwelle
    • 6.5.3 Automatische Relevanzeinschätzung
  • 6.6 Auswahl geeigneter Kennzahlen
  • 6.7 Statistische Signifikanz
  • 6.8 Zusammenfassung
• 7 Prototypische Implementierung
  • 7.1 Die semantische Jobsuchmaschine des SABINE-Projekts
  • 7.2 Die syntaktische Jobsuchmaschine des SABINE-Projekts
  • 7.3 Der Evaluationsprototyp
  • 7.4 Instanziierung
    • 7.4.1 Zielsetzung
    • 7.4.2 Erstellung der Dokumentenbasis
    • 7.4.3 Erstellung der Wissensbasis
    • 7.4.4 Erstellung der Suchanfragen
    • 7.4.5 Erstellung der Relevanzeinschätzung
    • 7.4.6 Auswahl geeigneter Kennzahlen
    • 7.4.7 Statistische Signifikanz
• 8 Ergebnisse
  • 8.1 Precision und Recall
  • 8.2 Precision at rank k
  • 8.3 Mean Average Precision
  • 8.4 Kendall-Tau-Koeffizient
  • 8.5 Discounted Cumulated Gains
  • 8.6 Statistische Signifikanz
• 9 Diskussion
  • 9.1 Limitationen und Implikationen der Instanziierung
  • 9.2 Limitationen und Implikationen der vorgestellten Methode
• 10 Fazit

Zielsetzung und Themenschwerpunkte

Die vorliegende Masterarbeit befasst sich mit der Entwicklung einer Methode zur objektiven Evaluation semantischer Jobsuchmaschinen und deren prototypische Implementierung. Das Hauptziel der Arbeit ist die Entwicklung einer Methode, die die Leistung semantischer Jobsuchmaschinen objektiv und vergleichbar misst.

• Entwicklung einer Methodik zur Evaluation semantischer Jobsuchmaschinen
• Objektive Messung der Leistung semantischer Jobsuchmaschinen
• Vergleich der Leistung semantischer und syntaktischer Jobsuchmaschinen
• Reduzierung des Durchführungsaufwands und der Fehleranfälligkeit bei der Evaluation
• Steigerung der Retrieval-Effektivität durch den Einsatz semantischer Technologien

Zusammenfassung der Kapitel

• Kapitel 1: Einleitung und Zielsetzung: Dieses Kapitel führt in die Thematik der Arbeit ein und stellt die Forschungsfrage sowie die zentralen Ziele der Arbeit dar.
• Kapitel 2: Information Retrieval: Dieses Kapitel gibt einen Überblick über die Grundlagen des Information Retrieval (IR) und beleuchtet die Herausforderungen bei der Suche nach relevanten Informationen.
• Kapitel 3: Semantische Suche: Dieses Kapitel erläutert die Funktionsweise der semantischen Suche und stellt die Vorteile gegenüber der klassischen syntaktischen Suche dar.
• Kapitel 4: Jobsuchmaschinen: Dieses Kapitel befasst sich mit den Besonderheiten von Jobsuchmaschinen und ihren Anforderungen an die Evaluation.
• Kapitel 5: Systemorientierte Evaluation von IR-Systemen: Dieses Kapitel beschreibt die gängigen Methoden zur Evaluation von IR-Systemen und stellt die wichtigsten Kennzahlen und Verfahren vor.
• Kapitel 6: Objektive Evaluation von semantischen Jobsuchmaschinen: Dieses Kapitel entwickelt eine Methode zur objektiven Evaluation von semantischen Jobsuchmaschinen, die auf den Erkenntnissen aus den vorherigen Kapiteln aufbaut.
• Kapitel 7: Prototypische Implementierung: Dieses Kapitel beschreibt die prototypische Implementierung der entwickelten Methode und stellt die verwendeten Systeme und Komponenten vor.
• Kapitel 8: Ergebnisse: Dieses Kapitel präsentiert die Ergebnisse der Evaluation der semantischen und syntaktischen Jobsuchmaschine anhand der entwickelten Methode.
• Kapitel 9: Diskussion: Dieses Kapitel diskutiert die Ergebnisse der Evaluation und beleuchtet die Limitationen und Implikationen der entwickelten Methode.

Schlüsselwörter

Die Arbeit konzentriert sich auf die objektive Evaluation semantischer Jobsuchmaschinen, die Entwicklung einer Methodik, die prototypische Implementierung, Retrieval-Effektivität, Relevanzschwelle, automatische Suchanfragegenerierung, automatische Relevanzeinschätzung, SABINE-Projekt, Precision, Recall, Mean Average Precision, Discounted Cumulated Gains, Kendall-Tau-Koeffizient.

• College: Saarland University
• Grade: 1,0
• Author: Sebastian Hof (Author)
• Publication Year: 2014
• Pages: 114
• Catalog Number: V314210
• ISBN (eBook): 9783668131651
• ISBN (Book): 9783668131668
• Language: German
• Tags: objektive, evaluation, jobsuchmaschinen, entwicklung, methodik, implementierung