The focus of this diploma thesis is on comparing data from logfiles and questionnaires. Analysed data were collected within a usability test of a website supported by the RealEYES-Framework at the Fraunhofer Institute for Computer Graphics Rostock. The goal of this thesis is to find out if recorded objective performance data possibly indicate why users become more or less satisfied using a software product. Methods for mapping of subjective ratings on objective data, fundamental ergonomic requirements in the software engineering process and the data recording process are described. To analyse the relation between objective and subjective information, results of 18 test subjectives were quantitative-explorative evaluated. The findings of this study point out that recorded objective figures are indicators for efficiency and effectiveness of the working process. However, no statistic significant relations between logged data and user satisfaction were found. In conclusion, these findings indicate that the used objective information by itself are not suitable to identify information about user satisfaction. Further development of the RealEYES-Framework (e.g. detailed diagnostics of objective user data and usability problems within logfiles) has to be done to measure the influence of usability problems on user satisfaction.
Inhaltsverzeichnis
- Kapitel 1 Grundlegung und Eingrenzung der Arbeit
- 1.1 Einleitung
- 1.2 Aufbau der Arbeit
- TEIL A - THEORETISCHE GRUNDLAGEN
- Kapitel 2 Software-Ergonomie
- 2.1 Grundlagen der Software-Ergonomie
- 2.2 Gebrauchstauglichkeit (Usability)
- 2.3 Grundsätze der Dialoggestaltung
- 2.4 Normkonformität
- 2.5 Zusammenfassung und Ausblick
- Kapitel 3 Software-Evaluierung
- 3.1 Ziele der Evaluierung von Software
- 3.2 Methoden zur Evaluierung von Benutzungsschnittstellen
- 3.2.1 Subjektive Methoden
- 3.2.2 Objektive Methoden
- 3.2.3 Leitfadenorientierte Methoden
- 3.2.4 Experimentelle Methoden
- 3.2.5 Kombination von Methoden
- 3.3 Benutzbarkeitstest im Usability-Labor
- 3.3.1 Der Einsatz von Logfiles im Usability-Labor
- 3.3.2 Mapping von objektiven und subjektiven Daten
- 3.4 Zusammenfassung
- Kapitel 4 Das RealEYES-Testsystem
- TEIL B - EMPIRISCHE BEARBEITUNG
- Kapitel 5 Methodisches Vorgehen
- 5.1 Vorüberlegungen zum Forschungsgegenstand
- 5.2 Beschreibung der Untersuchung
- 5.2.1 Kurzbeschreibung der Webseite
- 5.2.2 Beschreibung des Benutzbarkeitstests
- 5.3 Erhebungsinstrumente im Benutzbarkeitstest
- 5.3.1 Subjektive Verfahren
- 5.3.2 Objektive Verfahren
- 5.4 Konkretisierung des Forschungsziels
- 5.5 Vorüberlegungen zur Datenanalyse
- 5.6 Zusammenfassung
- Kapitel 6 Ergebnisdarstellung
- 6.1 Beschreibung der Stichprobe
- 6.2 Auswertung der Benutzerbefragung
- 6.3 Auswertung der Benutzerbeobachtung
- 6.4 Angewandte Verfahren zur Datenexploration
- 6.5 Mapping von Bearbeitungszeit und subjektiver Bewertung
- 6.6 Mapping von motorischem Aufwand und subjektiver Bewertung
- 6.7 Mapping von Anzahl markierter Probleme und subjektiver Bewertung
- 6.8 Mapping von Bearbeitungserfolg und subjektiver Bewertung
- 6.9 Untersuchung der Aufgabentypen
- 6.10 Zusammenfassung
- Kapitel 7 Interpretation der Ergebnisse
- Kapitel 8 Diskussion methodischer Aspekte
Zielsetzung und Themenschwerpunkte
Die vorliegende Diplomarbeit untersucht den Zusammenhang zwischen subjektiven und objektiven Methoden der Software-Evaluation. Ziel ist es, herauszufinden, ob objektiv erfasste Leistungsdaten Aufschluss über die Zufriedenheit von Nutzern mit einem Softwareprodukt geben können. Die Arbeit analysiert Daten aus Logfiles und Fragebögen eines Usability-Tests.
- Vergleich subjektiver und objektiver Software-Evaluierungsmethoden
- Analyse des Zusammenhangs zwischen objektiven Leistungsdaten und Nutzerzufriedenheit
- Anwendung des RealEYES-Frameworks zur Datenerhebung
- Methoden zur Abbildung subjektiver Bewertungen auf objektive Daten
- Auswertung quantitativ-explorativer Daten
Zusammenfassung der Kapitel
Kapitel 1 Grundlegung und Eingrenzung der Arbeit: Dieses Kapitel dient als Einleitung und beschreibt den Aufbau der gesamten Arbeit. Es legt den Fokus auf den Vergleich subjektiver und objektiver Methoden der Software-Evaluation und skizziert den methodischen Ansatz der Untersuchung. Die Einleitung präsentiert die Forschungsfrage und die angestrebte Zielsetzung der Arbeit, den Vergleich von Nutzererfahrungen (subjektiv) mit messbaren Daten (objektiv).
Kapitel 2 Software-Ergonomie: Dieses Kapitel liefert die theoretischen Grundlagen der Software-Ergonomie. Es definiert zentrale Konzepte wie Gebrauchstauglichkeit (Usability) und beschreibt die Grundsätze der Dialoggestaltung, sowie die Bedeutung von Normkonformität im Softwareentwicklungsprozess. Der Abschnitt bildet die theoretische Basis für die empirische Untersuchung im späteren Verlauf der Arbeit und verbindet ergonomische Prinzipien mit den Methoden der Software-Evaluation.
Kapitel 3 Software-Evaluierung: Hier werden verschiedene Methoden zur Evaluierung von Software-Benutzungsschnittstellen vorgestellt und eingeordnet. Es wird zwischen subjektiven und objektiven Verfahren unterschieden, wobei die jeweiligen Vor- und Nachteile diskutiert werden. Der Fokus liegt auf der Beschreibung der Methoden, die in der empirischen Untersuchung eingesetzt werden, insbesondere die Kombination von subjektiven und objektiven Daten, sowie der Einsatz von Logfiles im Usability-Labor und das "Mapping" dieser Daten.
Kapitel 4 Das RealEYES-Testsystem: In diesem Kapitel wird das verwendete RealEYES-Testsystem detailliert beschrieben. Es werden die technischen Aspekte und die Möglichkeiten der Datenerfassung erläutert, die für die vorliegende Studie relevant sind. Dieses Kapitel stellt den Kontext der empirischen Untersuchung dar und liefert wichtige Informationen über die technischen Voraussetzungen der Datengewinnung. Die Beschreibung des Systems ist essentiell zum Verständnis der methodischen Vorgehensweise.
Kapitel 5 Methodisches Vorgehen: Dieses Kapitel beschreibt detailliert die Methodik der empirischen Untersuchung. Es beinhaltet die Beschreibung der Webseite, die im Usability-Test eingesetzt wurde, das Design des Tests selbst, sowie die verwendeten Erhebungsinstrumente (subjektive und objektive Verfahren). Der Abschnitt legt dar, wie die Daten erhoben wurden, welche Stichprobe untersucht wurde und wie das Forschungsziel konkret operationalisiert wurde. Die Beschreibung der Datenanalysemethoden wird ebenfalls hier behandelt.
Schlüsselwörter
Software-Ergonomie, Usability, Benutzbarkeitstest, Software-Evaluierung, Subjektive Methoden, Objektive Methoden, Logfiles, Nutzerzufriedenheit, RealEYES-Framework, Quantitativ-explorative Datenanalyse, Effizienz, Effektivität.
Häufig gestellte Fragen zur Diplomarbeit: Vergleich subjektiver und objektiver Software-Evaluierungsmethoden
Was ist das Thema der Diplomarbeit?
Die Diplomarbeit untersucht den Zusammenhang zwischen subjektiven und objektiven Methoden der Software-Evaluation. Das Hauptziel ist es herauszufinden, ob objektiv erfasste Leistungsdaten Aufschluss über die Zufriedenheit von Nutzern mit einem Softwareprodukt geben können. Die Arbeit analysiert Daten aus Logfiles und Fragebögen eines Usability-Tests.
Welche Methoden werden verglichen?
Die Arbeit vergleicht subjektive und objektive Software-Evaluierungsmethoden. Subjektive Methoden erfassen die Nutzerzufriedenheit beispielsweise durch Fragebögen, während objektive Methoden messbare Daten wie Bearbeitungszeit oder die Anzahl der Fehler liefern (z.B. aus Logfiles).
Welche Software wurde evaluiert?
Die Arbeit evaluiert eine Webseite (detaillierte Beschreibung in Kapitel 5.2.1). Das verwendete Testsystem ist RealEYES (detailliert in Kapitel 4 beschrieben).
Welche Daten wurden erhoben?
Es wurden sowohl subjektive Daten (z.B. durch Benutzerbefragungen) als auch objektive Daten (z.B. aus Logfiles des RealEYES-Systems, Bearbeitungszeit, Anzahl markierter Probleme) erhoben. Kapitel 5 beschreibt die Erhebungsinstrumente detailliert.
Wie wurden die Daten analysiert?
Die Datenanalyse beinhaltet die Auswertung von Benutzerbefragungen und Benutzerbeobachtungen. Es wurden quantitativ-explorative Verfahren angewendet, um Zusammenhänge zwischen subjektiven Bewertungen und objektiven Leistungsdaten zu untersuchen (Kapitel 6). Spezifische Methoden der Datenexploration werden ebenfalls in Kapitel 6 erläutert.
Welche Ergebnisse wurden erzielt?
Die Ergebnisse werden in Kapitel 6 dargestellt. Es wird untersucht, ob ein Mapping zwischen objektiven Daten (Bearbeitungszeit, motorischer Aufwand, Anzahl markierter Probleme, Bearbeitungserfolg) und der subjektiven Bewertung der Nutzer möglich ist. Die Ergebnisse werden in Kapitel 7 interpretiert und in Kapitel 8 methodisch diskutiert.
Welche theoretischen Grundlagen werden behandelt?
Kapitel 2 behandelt die Grundlagen der Software-Ergonomie, inklusive Usability und Grundsätze der Dialoggestaltung. Kapitel 3 beschreibt verschiedene Methoden der Software-Evaluierung, sowohl subjektive als auch objektive.
Welches Testsystem wurde verwendet?
Das verwendete Testsystem ist RealEYES. Kapitel 4 beschreibt dieses System detailliert.
Welche Forschungsfrage wird beantwortet?
Die zentrale Forschungsfrage ist, ob objektiv erfasste Leistungsdaten Aufschluss über die Nutzerzufriedenheit geben. Die Arbeit untersucht den Zusammenhang zwischen subjektiven und objektiven Daten, um diese Frage zu beantworten.
Welche Schlüsselwörter beschreiben die Arbeit?
Software-Ergonomie, Usability, Benutzbarkeitstest, Software-Evaluierung, Subjektive Methoden, Objektive Methoden, Logfiles, Nutzerzufriedenheit, RealEYES-Framework, Quantitativ-explorative Datenanalyse, Effizienz, Effektivität.
- Quote paper
- Marcel Riebeck (Author), 2004, Empirischer Vergleich subjektiver und objektiver Verfahren der Software-Evaluation, Munich, GRIN Verlag, https://www.grin.com/document/40631
