Die vorliegende wissenschaftliche Arbeit zielt darauf ab, das Konzept der kriteriumsorientierten Leistungsmessung in der Psychodiagnostik zu erklären.
Dabei werden die theoretischen Grundlagen, die Konstruktion von Testaufgaben und die Analyse der Gütekriterien beleuchtet. Kriteriumsorientierte Leistungsmessung vergleicht die Leistung von Personen mit inhaltlich definierten Zielen, den sogenannten Kriterien. Diese können Lehrziele, Leistungskontinua oder Leistungsstandards sein. Kriteriumsorientierte Tests beurteilen, ob Personen spezifische Aufgaben lösen können, ohne individuelle Unterschiede oder Rangplätze innerhalb einer Normgruppe zu erfassen. Bekannte Beispiele sind die Führerscheinprüfung und die staatliche Medizinerprüfung.
Die Konstruktion solcher Tests erfordert eine operationale Definition des Kriteriums und die Erstellung von Aufgaben, die dieses repräsentieren. Wichtig ist die Validität, also die vollständige Abbildung des Kriteriums durch die Testitems, sowie die Reliabilität und Objektivität des Tests. Individuelle Leistungswerte werden durch die Nähe zum Kriterium bestimmt, und ein kritischer Punktwert zeigt an, ob das Kriterium erreicht wurde. Entscheidungsstufen und Vertrauensbereiche helfen bei der genauen Leistungsbeurteilung.
1. Begriffsbestimmung
- Meßkonzept, nachdem die Leistungen eines Pb mit inhaltlich definierten Zielen (Krite- rien) verglichen wird
- Bedeutung von Kriterien:
1. Lehrziel, das erreicht wird oder nicht
- Kriterium als Lernkriterium bei einem „Lernversuch“, mit dessen Hilfe die Pbn in Könner und Nichtkönner eingeteilt werden
2. Leistungskontinuum mit unterschiedlichen Positionen verschiedener Pbn
- es gibt unterschiedlich tüchtige Pbn
3. Leistungsstandard, an dem sich Vorhersagen bestätigen oder widerlegen lassen ➔ kriteriumsbezogene Tests: Kann ein Pb Aufgaben lösen, die ein Kriterium um- schreibt?
- keine Erfassung individueller Differenzen, d. h. keine Ermittlung des Rangplatzes eines Pb in einer vergleichbaren Gruppe (Normgruppe/Population) ® (sondern) Feststellung der Leistung eines Pb bzgl. eines spezifischen Aufgabenbe- reichs, z.B. Therapie- oder Lernziel
lehrzielorientierte Tests: sollen darüber informieren, ob ein Schüler ein vorher festgelegtes Lehrziel erreicht hat
therapiezielorientierte Tests: sollen darüber informieren, ob ein Klient ein vorher festgelegtes Therapieziel erreicht hat
Zusammenfassung:
- kriteriumsorientierte Tests: enthalten oder repräsentieren die Gesamtheit einer wohldefi- nierten Menge von Aufgaben, die zu dem Zweck konstruiert ist
1. die Fähigkeit des Pb zur Lösung der Aufgaben der definierten Menge zu schätzen und/ oder
2. ihn gemäß dieser Fähigkeit einer Klasse von Pbn zuzuordnen. (Könner vs. Nichtkön- ner)
Bsp. für zwei bekannte kriteriumsorientierte Tests:
Prüfung zur Erlangung des Führerscheins staatliche Medizinerprüfung
→ Prüfling muß Aufgaben lösen, die wichtige Inhalte der umschriebenen Kriterienberei- che repräsentativ abbilden
zur Herstellung eines kriteriumsorientierten Tests:
2. Konstruktion von Testaufgaben
- krit.orientierter Test bestimmt sich vom Inhalt des Kriteriums her → Testautor muß ange- ben, wie er das Kriterium definiert u. wie er die Inhalte des Kriteriums in den Item- Mengen abbildet:
- Operationale Definition: Definition des Kriteriums durch operationale Beschreibung der repräsentativen Inhalte
Bsp.: Erfassen rechnerischen Denkens durch Lösen von Textaufgaben, die drei Größen enthalten (siehe Abb. 5-1 Folie)
→ geprüft wird, ob der Pb die Aufgabe nach jeder Größe aufzulösen vermag
- Aufspalten der Aufgaben nach Zielen und Inhalten: Darstellen von Zielen, die erreicht werden sollen und Inhalten, die das Ziel ausmachen in Matrixform (Tyler-Matrix) Bsp.: Schlangenphobie (siehe Abb. 5-2 Folie)
→ die Inhalte betreffen die Art der Schlangendarstellung, die Ziele den Grad der Annähe- rung an die Inhalte
- Generative Regeln: Vorgabe eines Sachverhaltes und Wahl einer Aufgabenform, wobei Transformationsregeln festlegen, wie der Sachverhalt in die Aufgabenform übertragen wird
Bsp.: Prüfung über die Beherrschung der vier Grundrechenarten (siehe Abb. 5-3 Folie)
→ mit Hilfe einer generativen Regel, kann man für jedes denkbare Item entscheiden, ob es Element der Menge ist oder nicht
→ die Gesamtheit der Aufgaben, die den Transformationsregeln entsprechend erzeugt werden kann, ist die Grundmenge von Aufgaben (die das Kriterium repräsentieren) (der Aufgabenpool soll dann die Prototypen der Items enthalten, damit [ungefähre] Repräsentativität geleistet ist...)
3. Analyse der Testaufgaben nach Gütekriterien
- Validität: Items eines Tests müssen Inhalt des Kriteriums vollständig abbilden
- Kontentvalidität: a) Erzeugung von Items durch generative Regeln und Überprüfung, ob die Items zum definierten Kriterium gehören
b) 2 voneinander unabhängige Expertengruppen entwickeln kriteriumsorientierte Tests; weisen deren Testwerte eine hohe Übereinstimmung auf, besteht hohe Inhaltsvalidität
➔ Test enthält o. repräsentiert die Gesamtheit einer wohldefinierten Menge von Auf- gaben (siehe Abb. 5-4)
- Reliabilität: kriteriumsorientierter Test sollte möglichst fehlerfrei sein
- Objektivität: v.a. Übereinstimmung von Auswerterurteilen
4. Rückschlüsse von Testergebnissen auf die Leistung
- Individueller Leistungswert wird durch Nähe zum Kriterium bestimmt
- Bestimmung eines kritischen Punktwertes: Pb erreicht best. Wert = Kriterium erreicht od. Pb liegt unterhalb des best. Wertes = Kriterium nicht erreicht
- Bestimmung eines Vertrauensbereiches: Bereich, zu dem der „Fähigkeitswert eines Pb gehören muß; Schätzung des Vertrauensbereiches z.B. nach Binomialmodell (angelegt für dichotome Aufgaben)
- Festlegung von Entscheidungsstufen: Abstand zwischen erreichtem und kritischem Wert wird in mehrere Stufen unterteilt (z.B. bei Notengebung)
- Fisseni, J. (1990). Lehrbuch der Psychologischen Diagnostik. Göttingen: Hogrefe. (pp.103-116)
- Klauer, K.J. (1993). Kriteriumsorientierte Tests. In H. Feger & J. Bredenkamp (Hrsg.), Enzyklopädie der Psychologie: Forschungsme- thoden in der Psychologie, Band III. Göttingen: Hogrefe. (pp.693-726)
Häufig gestellte Fragen
Was ist ein kriteriumsorientierter Test?
Ein kriteriumsorientierter Test ist ein Messkonzept, bei dem die Leistungen eines Probanden mit inhaltlich definierten Zielen (Kriterien) verglichen werden. Diese Kriterien können Lehrziele sein, die erreicht werden oder nicht, ein Leistungskontinuum mit unterschiedlichen Positionen verschiedener Probanden, oder ein Leistungsstandard, an dem sich Vorhersagen bestätigen oder widerlegen lassen.
Worin liegt die Bedeutung von Kriterien bei kriteriumsorientierten Tests?
Kriterien dienen als:
- Lernkriterium bei einem „Lernversuch“, mit dem Probanden in Könner und Nichtkönner eingeteilt werden.
- Leistungskontinuum, um die Leistung unterschiedlicher Probanden zu vergleichen.
- Leistungsstandard, um Vorhersagen zu überprüfen (kriteriumsbezogene Tests).
Was unterscheidet kriteriumsorientierte Tests von normorientierten Tests?
Kriteriumsorientierte Tests erfassen nicht individuelle Differenzen oder den Rangplatz eines Probanden in einer Vergleichsgruppe (Normgruppe). Stattdessen wird die Leistung des Probanden bezüglich eines spezifischen Aufgabenbereichs (z.B. Therapie- oder Lernziel) festgestellt.
Was sind lehrzielorientierte und therapiezielorientierte Tests?
Lehrzielorientierte Tests informieren darüber, ob ein Schüler ein vorher festgelegtes Lehrziel erreicht hat. Therapiezielorientierte Tests informieren darüber, ob ein Klient ein vorher festgelegtes Therapieziel erreicht hat.
Wie ist ein kriteriumsorientierter Test definiert?
Kriteriumsorientierte Tests enthalten oder repräsentieren die Gesamtheit einer wohldefinierten Menge von Aufgaben, die dazu dienen, die Fähigkeit des Probanden zur Lösung der Aufgaben zu schätzen und/oder ihn gemäß dieser Fähigkeit einer Klasse von Probanden zuzuordnen (Könner vs. Nichtkönner).
Nennen Sie Beispiele für kriteriumsorientierte Tests.
Beispiele sind die Prüfung zur Erlangung des Führerscheins und die staatliche Medizinerprüfung. In beiden Fällen muss der Prüfling Aufgaben lösen, die wichtige Inhalte der umschriebenen Kriterienbereiche repräsentativ abbilden.
Wie werden Testaufgaben für kriteriumsorientierte Tests konstruiert?
Die Konstruktion von Testaufgaben erfolgt durch:
- Operationale Definition: Definition des Kriteriums durch operationale Beschreibung der repräsentativen Inhalte.
- Aufspalten der Aufgaben nach Zielen und Inhalten: Darstellung von Zielen und Inhalten in Matrixform (Tyler-Matrix).
- Generative Regeln: Vorgabe eines Sachverhalts und Wahl einer Aufgabenform, wobei Transformationsregeln festlegen, wie der Sachverhalt in die Aufgabenform übertragen wird.
Welche Gütekriterien sind bei der Analyse von Testaufgaben relevant?
Relevante Gütekriterien sind:
- Validität: Items eines Tests müssen den Inhalt des Kriteriums vollständig abbilden (Kontentvalidität).
- Reliabilität: Kriteriumsorientierter Test sollte möglichst fehlerfrei sein.
- Objektivität: V.a. Übereinstimmung von Auswerterurteilen.
Wie werden Testergebnisse auf die Leistung rückgeschlossen?
Rückschlüsse erfolgen durch:
- Bestimmung eines kritischen Punktwertes: Kriterium erreicht oder nicht erreicht.
- Bestimmung eines Vertrauensbereiches: Bereich, zu dem der „Fähigkeitswert“ eines Probanden gehören muss.
- Festlegung von Entscheidungsstufen: Abstand zwischen erreichtem und kritischem Wert wird in Stufen unterteilt (z.B. bei Notengebung).
- Quote paper
- Eva Hartmann (Author), K. Neuhaus (Author), 2000, Testtheoretische Grundlagen der Psychodiagnostik, Munich, GRIN Verlag, https://www.grin.com/document/96853
