Ein „guter“ Schulunterricht lebt von der aktiven Mitarbeit der Schüler . Die mündliche Leistung kann sich aus den Komponenten Qualität der Beiträge und Mitarbeit zusammensetzen. Vergleicht man diese mündliche Leistung der Schüler mit der in den schriftlichen Klausuren, so wird oft angenommen, dass diese Leistungen eine objektivere Bewertung zulassen. Schriftliche Leistungen werden in Hauptfächern zu mindestens fünf Zeitpunkten, in Nebenfächern sogar nur zu zwei Zeitpunkten über das ganze Schuljahr hinweg erfasst (vgl. NOTENBILDUNGSVERORDNUNG Fassung vom 5.5.1983, gültig ab 1.8.2012, §9). Im Vergleich dazu können mündliche Leistungen wöchentlich, wenn nicht sogar fast täglich abgebildet werden und sollten durch ihre Häufigkeit zu objektiveren „Urteilen“ führen, als es schriftliche Leistungen zulassen.
Trotz der vorstellbaren Vorteile bei der Bewertung von mündlichen Schulleistungen wird ihnen in der Praxis, wie auch in der Theorie, relativ wenig Beachtung geschenkt. Anfang der 90er Jahre beschrieb SCHRÖTER die erziehungswissenschaftliche Forschung bezüglich der Bewertung mündlicher Schulleistungen als einen „weißen Fleck auf der Landkarte [des] Wissens“ (SCHRÖTER 1981, S. 10). Bezüglich des Forschungsstandes hat sich in den letzten Jahrzehnten nur wenig geändert.
Die Forschung hat auf diesem Gebiet noch Vieles zu erkunden, weshalb sich die Fra-ge stellt, ob in der Praxis mündliche Leistungen im Unterricht in ausreichendem Maß erfasst und in die Leistungsbeurteilung der Schüler mit einbezogen werden können. Werden die mündlichen Beiträge der Schüler berücksichtigt, so sollte dies möglichst objektiv geschehen. Ob eine objektive Beurteilung von mündlichen Beiträgen bei Schülern möglich ist und wie diese Beurteilung gestaltet werden kann, wird in dieser Arbeit zu klären versucht.
Fraglich ist auch, welche Kriterien ein Lehrer in die Bewertung der mündlichen Note mit einfließen lassen kann und welche Vor- und Nachteile diese unterschiedlichen Bewertungsgrundlagen haben. Es stellt sich die Frage, ob es beispielsweise legitim ist, eine Beurteilung der Hausaufgaben oder sogar Kurztests in die mündliche Note mit einfließen zu lassen. Ebenso kann die Abgrenzung zwischen Mitarbeit und Leistung unterschiedlich gehandhabt werden, wobei sich hieraus die Frage ableitet, was tatsächlich mit den
INHALTSVERZEICHNIS
ABBILDUNGSVERZEICHNIS
TABELLENVERZEICHNIS
1 Problemstellung
2 Zur Geschichte von Zensuren
3 Theoretische Grundlagen der Schulleistungsmessung und -bewertung
3.1 Funktionen der Zensuren
3.2 Gütekriterien
3.2.1 Objektivität
3.2.2 Reliabilität
3.2.3 Validität
3.3 Bezugsnormen
3.4 Fehlermöglichkeiten bei der Messung und Bewertung mündlicher Schulleis- tung
4 Zur Praxis der Messung und Bewertung mündlicher Schulleistung
4.1 Bestandteile der mündlichen Schulleistungsmessung und -bewertung
4.1.1 Vorgaben
4.1.2 Mitarbeit versus Schulleistung
4.1.2.1 Mitarbeit
4.1.2.2 Schulleistung
4.1.2.3 Charakterisierung mündlicher Schulleistungen
4.1.3 Abgrenzung der mündlichen Schulleistungsmessung und -bewertung ..
4.1.3.1 Hausaufgaben
4.1.3.2 Projektarbeit
I
4.1.3.3 Mündliches Abfragen
4.1.3.4 Kurztests
4.1.3.5 Referate
4.1.4 Schülerbeobachtung als Bestandteil der Leistungsmessung und -bewertung
4.2 Dokumentation mündlicher Leistung
4.2.1 Leistungsdokumentation durch Lehrer
4.2.1.1 Pädagogische Tagebücher
4.2.1.2 Beobachtungskarteien
4.2.1.3 Beobachtungsbögen
4.2.2 Möglichkeiten und Grenzen der Leistungsmessung und Leistungsbe- wertung durch die Schüler
4.2.3 Leistungsdokumentation durch Schüler
4.2.3.1 Arbeitsberichte
4.2.3.2 Lernkarteien
4.2.3.3 Selbstbewertungsbogen
4.3 Handlungsempfehlungen zur Messung und Bewertung mündlicher Schul- leistung
4.3.1 Wahl der Bezugsnorm
4.3.2 Explizite Abgrenzung der mündlichen Leistung für die Handlungsempfehlungen
4.3.3 Wahl der Leistungsdokumentation durch den Lehrer
4.3.3.1 Vereinbarkeit des Beobachtungsbogens mit den Gütekriterien
4.3.3.2 Versuch der Verringerung von Fehlermöglichkeiten der Mes- sung und Bewertung mündlicher Schulleistung durch den Beobachtungsbogen
4.3.3.3 Rhythmus der Beobachtungen
4.3.4 Entwurf eines Beobachtungsbogens
4.3.4.1 Anzahl der zu beobachtenden Schüler
4.3.4.2 Kopf des Beobachtungsbogens
4.3.4.3 Kriterien des Beobachtungsbogens
4.3.4.4 Zur Messung und Bewertung des Beobachtungsbogens
4.3.5 Einbeziehung der Schülerselbstbewertung mit Hilfe des erstellten Beobachtungsbogens
4.3.5.1 Dokumentation durch den Beobachtungsbogen
4.3.5.2 Schülerselbstbewertung und Gütekriterien
4.3.5.3 Wechselseitige Bewertung von Schülern
5 Schlussbetrachtung
Literaturverzeichnis
Anhang
ABBILDUNGSVERZEICHNIS
Abbildung 1: Halo-Effekt
Abbildung 2: Beobachtungskartei
Abbildung 3: Rasterentwurf für Schülerbeobachtungen
Abbildung 4: Bogen zur Schülerselbstbewertung
TABELLENVERZEICHNIS
Tabelle 1: Funktionen der Zensurengebung
1 Problemstellung
Ein „guter“ Schulunterricht lebt von der aktiven Mitarbeit der Schüler1. Die mündli- che Leistung kann sich aus den Komponenten Qualität der Beiträge und Mitarbeit zusammensetzen. Vergleicht man diese mündliche Leistung der Schüler mit der in den schriftlichen Klausuren, so wird oft angenommen, dass diese Leistungen eine objektivere Bewertung zulassen. Schriftliche Leistungen werden in Hauptfächern zu mindestens fünf Zeitpunkten, in Nebenfächern sogar nur zu zwei Zeitpunkten über das ganze Schuljahr hinweg erfasst (vgl. NOTENBILDUNGSVERORDNUNG Fas- sung vom 5.5.1983, gültig ab 1.8.2012, §9). Im Vergleich dazu können mündliche Leistungen wöchentlich, wenn nicht sogar fast täglich abgebildet werden und sollten durch ihre Häufigkeit zu objektiveren „Urteilen“ führen, als es schriftliche Leistungen zulassen.
Trotz der vorstellbaren Vorteile bei der Bewertung von mündlichen Schulleistungen wird ihnen in der Praxis, wie auch in der Theorie, relativ wenig Beachtung geschenkt. Anfang der 90er Jahre beschrieb SCHRÖTER die erziehungswissenschaftliche For- schung bezüglich der Bewertung mündlicher Schulleistungen als einen „weißen Fleck auf der Landkarte [des] Wissens“ (SCHRÖTER 1981, S. 10). Bezüglich des For- schungsstandes hat sich in den letzten Jahrzehnten nur wenig geändert.
Die Forschung hat auf diesem Gebiet noch Vieles zu erkunden, weshalb sich die Fra- ge stellt, ob in der Praxis mündliche Leistungen im Unterricht in ausreichendem Maß erfasst und in die Leistungsbeurteilung der Schüler mit einbezogen werden können. Werden die mündlichen Beiträge der Schüler berücksichtigt, so sollte dies möglichst objektiv geschehen. Ob eine objektive Beurteilung von mündlichen Beiträgen bei Schülern möglich ist und wie diese Beurteilung gestaltet werden kann, wird in dieser Arbeit zu klären versucht.
Fraglich ist auch, welche Kriterien ein Lehrer in die Bewertung der mündlichen Note mit einfließen lassen kann und welche Vor- und Nachteile diese unterschiedlichen Bewertungsgrundlagen haben. Es stellt sich die Frage, ob es beispielsweise legitim ist, eine Beurteilung der Hausaufgaben oder sogar Kurztests in die mündliche Note mit einfließen zu lassen. Ebenso kann die Abgrenzung zwischen Mitarbeit und Leistung unterschiedlich gehandhabt werden, wobei sich hieraus die Frage ableitet, was tatsächlich mit den mündlichen Noten gemessen wird: Mitarbeit, fachliche Leistung, Sprachrichtigkeit, Wohlerzogenheit, Persönlichkeit oder etwas ganz anderes (vgl. POTTHOFF/ STECK-LÜSCHOW/ ZITZKE 1996, S. 14).
Bereits bei der Anzahl der Klausuren, welche innerhalb eines Schuljahres geschrieben werden, werden Unterschiede zwischen Haupt- und Nebenfächern deutlich. Genauso ist es möglich, dass die Gewichtung der mündlichen Schulleistungen im Unterricht in verschiedenen Verhältnissen zu den Klausuren stattfindet. Bei der Untersuchung der vorliegenden Problematik zur Messung und Bewertung von mündlichen Schulleistungen wird in der vorliegenden Arbeit ein verstärktes Augenmerk auf das Hauptfach „Wirtschaft“ in kaufmännischen Schulen gelegt.
Um die Relevanz der Zensuren deutlich zu machen, gilt ein erster Blick der Geschich- te der Zensuren. Im Anschluss daran werden die pädagogischen und gesellschaftli- chen Funktionen der Zensuren betrachtet. Hierbei wird die Wichtigkeit der Noten verdeutlicht und eine Erklärung gefunden, warum man auf sie nicht verzichten kann.
Im Anschluss daran werden die theoretischen Grundlagen der Schulleistungsmessung und Schulleistungsbewertung festgelegt. Sollen die Ergebnisse von Messungen sinn- voll verwertbar sein, so müssen die Messungen bestimmten Anforderungen genügen (vgl. SACHER 1994, S. 29), weshalb in diesem Zusammenhang die Gütekriterien der Objektivität, der Reliabilität und der Validität vorgestellt werden. Ein Lehrer hat un- terschiedliche Möglichkeiten, nach welchen Bezugsnormen er seine Schüler beurteilt. Er kann sie kriterial, individuell oder nach der sozialen Bezugsnorm bewerten, wo- durch er bei den einzelnen Schülern, abhängig von der gewählten Bezugsnorm, zu unterschiedlichen Noten kommen wird. Deshalb stellt diese Betrachtung einen weite- ren wichtigen Punkt im Vorgehen dieser Arbeit da. Fehlerquellen, welche sich bei der Leistungsbeurteilung von Schülern ergeben können, sind Urteilstendenzen und Beurteilerfehler, die einem Lehrer meist implizit unterlaufen. Um eine objektive Schulleistungsmessung durchführen zu können, ist eine Betrachtung dieser Fehler- quellen notwendig.
Nicht nur die Bezugsnormen, sondern auch die einzelnen Kriterien, welche Lehrer in die mündlichen Noten einbeziehen, können unterschiedlich ausfallen. Aus diesem Grunde werden die vorhandenen Vorgaben, welche es für die mündlichen Leistungen gibt, beleuchtet. Zu diesem Zweck wird die Mitarbeit von der Leistung abgegrenzt werden, wodurch hervorgehoben wird, welche Kriterien für die Beurteilung mündli- cher Leistungsbewertung von Relevanz sind. Hierbei stellt sich die Frage, inwieweit es zulässig ist, Hausaufgaben, praktische Tätigkeiten, mündliches Abfragen oder Kurztests mit in die mündliche Note einfließen zu lassen, wodurch diesen Elementen ebenfalls eine Bedeutung für die Zensuren zukommt. Im Anschluss daran werden verschiedene Dokumentationsmöglichkeiten seitens der Lehrer wie auch der Schüler betrachtet. So verschieden wie die Lehrertypen sind, so verschieden sind auch die Verfahren, welche sie anwenden, um ihre mündlichen Noten zu vergeben. Hierbei reicht die Palette von Bauchgefühl bis zu unterschiedlichsten Auswertungsbögen. Im weiteren Verlauf wird eine Vorgehensweise konstruiert, wodurch nicht die Mitarbeit, Sympathie, Wohlerzogenheit oder ähnliches in die Beurteilung einfließt, sondern konkret die mündliche Leistung eines Schülers möglichst objektiv, reliabel und valide bewertet wird. In diesem Kontext wird eine Anleitung gegeben, nach der die Noten objektiv, reliabel und valide gestaltet werden, ohne den Lauf des Unterrichtsgesche- hens dabei zu beeinflussen.
2 Zur Geschichte von Zensuren
Der Begriff der Zensuren wurde erst im 16. Jahrhundert auf den Bereich der Schule erweitert (vgl. BUSSCHE-HADDENHAUSEN 1998, S. 13). Ursprünglich wurde er zu Zeiten der Römer in staatspolitischen Einrichtungen verwendet (vgl. im Folgenden DOHSE 1967, S. 44). Das Amt des Censors war die „censura“, das heißt: er hat die Bürger entsprechend ihres Vermögens, ihrer Geburt und ihrer sittlichen Führung auf die Stände des Bürgers, Ritters und Senats verteilt. Geendet hat die Einrichtung der censura als Steuereinschätzung im Jahre 168 v. Chr. Im 20. Jahrhundert hat sich der Begriff der Zensur auf den Bereich der Schularbeit, auf die Prüfung und Kontrolle von literarischen und künstlerischen Erzeugnissen, von Sendungen des Rundfunks und Fernsehens, von Presse und Film, des Post-, Telefon- und Telegrafenverkehrs ausgedehnt.
Aus schulischer Sicht wird mit dem Begriff Zensur eine Ziffernote verknüpft (vgl. ZIEGENSPECK 1999, S. 73). Diese historische Bedeutung stammt aus der Zeit, als die Schüler in eine Rangfolge gebracht wurden, abhängig davon, wie gut sie den gelernten Stoff wiedergeben konnten (vgl. im Folgenden DOHSE 1967, S. 46). Diese Rangfolge wurde durch die Sitzanordnung sichtbar zum Ausdruck gebracht. Daraus folgte die Symbolisierung der Leistungsstufe durch Zahlen.
Heute definiert man Zensuren als
„eine Bewertungsbezeichnung für schulische Leistungen. Zensuren sind ent- weder Ergebnisse von (subjektiven) Schätzurteilen des Lehrers über schriftli- che und mündliche Leistungen oder von standardisierten (und damit objekti- vierten) Schulleistungstests“ (MEYERS KLEINES LEXIKON DER PSY- CHOLOGIE 1986, S. 413 zitiert nach BUSSCHE-HADDENHAUSEN 1998, S. 13).
Bevor es Zeugnisse gab, erhielten Schüler zur Einschätzung ihrer Fähigkeiten indivi- duelle Empfehlungsschreiben (vgl. GRÜNING u.a. 1999, S. 32). Eine spätere Form derer sind Benefizienzeugnisse, wie sie im 16. Jahrhundert ausgestellt wurden (vgl. SACHER 1994 S. 11). Sie bescheinigten den Schülern positive charakterliche Eigen- schaften und Leistungen, um Stipendien zu erlangen (vgl. ebenda, S. 11). Diese Art von Zeugnissen waren sozusagen Empfehlungsschreiben für mittellose Schüler (vgl. im Folgenden SACHER/ RADEMACHER 2009, S. 20). Sie nahmen somit eine Se- lektion der förderungswürdigen Schüler vor. Kamen Kinder aus wohlhabenden El- ternhäusern, mussten sie sich dieser Auswahl nicht unterwerfen, denn sie benötigten kein solches Zeugnis.
Ende des 18./ Anfang des 19. Jahrhunderts wurde die allgemeine Schulpflicht einge- führt (vgl. im Folgenden SACHER/ RADEMACHER 2009, S. 21). Dies ging einher mit der Ausfertigung von Entlassungszeugnissen, welche dazu dienten, die ordnungs- gemäße Erfüllung der Schulpflicht zu bezeugen. Ohne solch ein Zeugnis durfte man niemanden als Lehrling einstellen. Zusätzlich diente es als Genehmigung, ein Haus zu erwerben oder zu heiraten.
Nach Ende des 2. Weltkriegs wurde durch den Neuaufbau des Schulwesens zunächst nichts an der bisherigen Notengebung geändert (vgl. im Folgenden WINTER 2006, S. 38f.). Erst Ende der 50er Jahre mussten die Lehrer bedingt durch die Einführung grö- ßerer Schulzentren ihre bisher individuelle Notengebung aneinander anpassen. Dies wurde jedoch sehr zögerlich umgesetzt. Durch die Einführung des Numerus Clausus in den 60er Jahren bekamen Zensuren eine bisher unbekannte Wichtigkeit. Somit soll- ten die jeweiligen Schulen die Abschlussnoten denen der anderen Schulen anpassen und infolgedessen ihre Kinder nicht gegenüber den anderen Kindern benachteiligen (vgl. RAUSCHENBERGER 1999, S. 43). Hierdurch ist eine Diskussion um ver- gleichbare Karriereberechtigungen angebrochen (vgl. ebenda). Am 3. Oktober 1968 gab es eine Vereinbarung des Kultusministeriums, wodurch die Benotung einheitlich mit den Anforderungen des Unterrichts definiert wurde (vgl. LISSMANN 2000, S. 28). Trotz dieser Vereinbarung gab es wegen mangelnder Vergleichbarkeit eine große Bewegung gegen die Zensurengebung (vgl. WINTER 2006, S. 39.) Seither gibt es viele Diskussionen über das Abschaffen der Ziffernoten, über Berichtzeugnisse und andere neue Formen der Leistungsbewertung (vgl. ebenda).
Bisher wurden die Beurteilungen trotz vielseitiger Kritik an den staatlichen Schulen nicht abgeschafft. Dies scheint ein Indiz dafür zu sein, dass sie eine wichtige Rolle in unserer heutigen Zeit spielen. Welche Funktionen Zensuren einnehmen, wird daher im nächsten Kapitel betrachtet.
3 Theoretische Grundlagen der Schulleistungsmessung und -bewertung
3.1 Funktionen der Zensuren
Wie die Beschreibung der Geschichte von Zensuren gezeigt hat, war die ursprüngli- che Funktion von Zensuren und Zeugnissen eine soziale Selektion (vgl. SACHER 1994, S. 12). Hinzu kamen weitere Funktionen, welche sich zum Einen in die Erwar- tungen aus gesellschaftlichen Bereichen an die Schule und zum Anderen in die päda- gogischen Funktionen der Zensuren gliedern (vgl. im Folgenden JÜRGENS/ SA- CHER 2000, S. 20). Die Erwartungen der Wirtschaft, Politik und Wissenschaft, wel- che sie an die Schulen haben, werden durch die Zensurengebung erfüllt und als ge- sellschaftliche Funktionen bezeichnet. Unter den pädagogischen Funktionen versteht man die Art und Weise, wie die Zensurengebung einen Beitrag zur Optimierung von Lernprozessen der Schüler erbringt. Des Weiteren gibt es auch Funktionen, welche sowohl den gesellschaftlichen als auch den pädagogischen Funktionen zuzuordnen sind.
Einen Überblick über die verschiedenen Funktionen von Zensuren, sowie einen ersten Eindruck über die passende Fachliteratur, gibt die nachstehende Tabelle.
Abbildung in dieser Leseprobe nicht enthalten
Tabelle 1: Funktionen der Zensurengebung Aus: JÜRGENS/ SACHER 2000, S. 21
Im Folgenden werden die Aufgaben, welche den jeweiligen Funktionen zugeschriebenen sind, erläutert.
Die Selektionsfunktion hat das Ziel, Schüler für höhere Bildungsbahnen, begehrte Abschlüsse und angesehene berufliche und gesellschaftliche Positionen auszuwählen (vgl. SACHER 2009, S. 484). Durch diese Selektion werden Zugänge zu weiteren Bildungschancen eröffnet oder gegebenenfalls auch verschlossen (vgl. WALDOW 2011, S. 484f.). Desweiteren werden Schüler aufgrund ihrer Leistungsdaten auch da- zu verpflichtet, eine Klasse zu wiederholen oder bestimmte Fachleistungskurse zu besuchen (vgl. NUDING 2006, S. 8). Die Zensuren gelten dabei als gerechtes Krite- rium, um diese Auswahl vornehmen zu können (vgl. JÜRGENS/ SACHER 2000, S. 20).
Die Zuteilungsfunktion lässt sich kaum von der Selektionsfunktion der Zensuren abgrenzen (vgl. JÜRENS/ SACHER 2000, S. 20). Bei der Zuteilungsfunktion bilden Zensuren ebenfalls Entscheidungsgrundlagen, wie beispielsweise für Versetzung oder Nichtversetzung, Zuweisung zu unterschiedlich anspruchsvollen Kursen oder die Aufnahme in Förderkursen (vgl. ebenda, S. 20ff.).
Unter der Rangierungsfunktion versteht man die rangmäßige Einstufung der Schüler, wobei die Noten den Ausschlag dafür geben, welchen weiterführenden Schulen die Schüler zugeführt werden (vgl. KLEBER u.a. 1976, S. 30).
DOHSE (vgl. im Folgenden 1967, S. 65ff.) ist der Meinung, dass sich die rechtliche Funktion von Zensuren nicht eindeutig fassen lässt. Dies sei nur für das Zeugnis selbst gegeben, wobei hierfür bestimmte Umstände vorliegen müssten.
Es ist möglich, die Selektionsfunktion durch die rechtliche Funktion einzuschränken (vgl. im Folgenden JÜRGENS/ SACHER 2000, S. 22f.). Hierbei gilt jedoch die Vo- raussetzung, dass ein Verwaltungsakt vorliegen muss. Dies ist bei einzelnen Zensuren und einfachen Zeugnissen jedoch nicht der Fall, sondern lediglich bei Prüfungs-, Ver- setzungs- und Abgangszeugnissen. Um Schüler zu schützen, kann eine juristische Klärung stattfinden, ob Verfahrens- oder Rechtsverletzungen seitens der Schule auf- getreten sind.
Die Informations-, Berichts- und Rückmeldefunktionen haben nicht nur für den Schü- ler eine wichtige Bedeutung über seinen erreichten Lernstand, sondern auch für des- sen Eltern, Lehrer, betriebliche Ausbilder und potentielle Arbeitgeber (vgl. SACHER 2009, S. 484). Den Eltern sollen diese Informationen und Berichte Anlass zur Rück- sprache mit den Schulen sein, um, falls nötig, gemeinsam mit den Lehrern nach einer geeigneten Fördermöglichkeit für den Schüler zu suchen (vgl. JÜRGENS/ SACHER 2000, S. 23). Der Lehrer hingegen kann mit Hilfe der Schülerrückmeldungen versu- chen, seinen Unterricht so zu gestalten, dass möglichst viele Schüler die Lehrziele erreichen (vgl. BIRKEL 1984, S. 233).
Die Sozialisationsfunktion beschäftigt sich mit der Aufgabe, die Schüler auf die Leistungsorientierung unserer Gesellschaft vorzubereiten (vgl. SACHER 2009, S. 484). Die Schüler sollen sich mit den Leistungsnormen auseinander setzen und lernen, diese zu akzeptieren (vgl. JÜRGENS/ SACHER 2000, S. 24). Es soll ihnen verdeutlicht werden, dass es gerecht ist, dass gute Schulleistungen zu Erfolgen und schlechte Schulleistungen zu Misserfolgen führen (vgl. ebenda).
Besonders benachteiligte Schüler erhalten bessere Zensuren, als dies durch die objek- tive Leistungsmessung gerechtfertigt ist (vgl. ZIELINSKI 1975, S. 882 zitiert nach JÜRGENS/ SACHER 2000, S. 23). Diese Funktion von Zensuren wird als Chancen- ausgleichsfunktion bezeichnet (vgl. ebenda). Vorgenommen wird diese „manipulierte“ Benotung, um den betreffenden Schüler motivieren und fördern zu können (vgl. KLEBER u.a. 1976, S. 29).
Die Anreizfunktion der Zensuren soll bei den Schülern die Lernmotivation steigern (vgl. ZIEGENSPECK 1999, S. 107). Dieser Anreiz soll darin bestehen, gute Zensuren als Belohnung für seinen Fleiß zu erhalten und in den bisherigen Anstrengungen nicht nachzulassen (vgl. im Folgenden JÜRGENS/ SACHER 2000, S. 23f.). Im Gegensatz dazu sollen schlechte Zensuren den Schüler auffordern, bessere Leistungen im Unter- richt zu zeigen. Bei wiederholten schlechten Leistungen sollen sie den Schüler dazu bringen, seine Bemühungen zu steigern, um somit zumindest ausreichende Leistun- gen zu erlangen.
JÜRGENS und SACHER (vgl. 2000, S. 24) erklären die Kontrollfunktion der Zensu- ren als eine Funktion, welche dem Schüler hilft, seine eigene Leistung einschätzen zu können. DOHSE (vgl. im Folgenden 1995, S. 58f.) hingegen schreibt der Kontroll- funktion mehrere Komponenten zu. Eine dieser ist die Kontrolle der Gesellschaft, was historisch bedingt ist. Des Weiteren dient sie den Lehrern als Kontrolle der Schü- lerleistungen für arbeitsorganisatorische Zwecke. Aber auch die Eltern erhalten eine Rückmeldung über die Schularbeiten ihrer Kinder. Zuletzt darf man den Schüler selbst nicht vergessen. Für ihn dienen die Zensuren zur Selbstkontrolle.
Durch die Disziplinierungsfunktion soll der leistungsunwillige Schüler die schlechten Zensuren als negativ erleben (vgl. im Folgenden JÜRGENS/ SACHER 2000, S. 24).
Diese negative Assoziation soll ihn dazu bringen, dieses Verhalten in Zukunft zu vermeiden und ein wünschenswerteres Leistungsverhalten zu zeigen. Allerdings kann die Disziplinierungsfunktion auch als effektives Erziehungsmittel verstanden werden. Möchte der Lehrer einen Schüler in seinem Verhalten korrigieren, so wendet er unerlaubterweise dieses Mittel an.
Zunächst einmal hat die Orientierungsfunktion eine wichtige Bedeutung für den Schüler selbst (vgl. JÜRGENS/ SACHER 2000, S. 23). Die Zensuren haben das Ziel, dass sich der Schüler für eine richtige Auswahl im Hinblick auf seinen weiteren Aus- bildungsweg entscheiden soll (vgl. ebenda, S. 23). Jedoch sollen die Zensuren nicht ausschließlich für den Schüler selbst zur Orientierung dienen, sondern auch für des- sen Eltern, die Schule und für Außenstehende wie zum Beispiel dessen Arbeitgeber (vgl. ZIEGENSPECK 1999, S. 98).
Die letzte aufgeführte pädagogische Funktion von Zensuren ist die Klassifizierungs- bzw. Prognosefunktion (vgl. im Folgenden JÜRGENS/ SACHER 2000, S 21ff.). Sie soll die Basis für Förderungs- und Selektionsmaßnahmen bilden. Dies geschieht durch die Vergabe von Zensuren, welche anschließend unterschiedlichen Bewer- tungsklassen zugeordnet werden. Die Prognosefunktion von Zensuren wird dadurch beschrieben, dass auf zukünftige Leistungen geschlossen werden kann.
Die Funktionen von Zensuren, wie auch von Zeugnissen, haben schon immer gesellschaftliche Zwecke verfolgt (vgl. im Folgenden ZIEGENSPECK 1999, S. 115). Neue Anforderungen der Gesellschaft haben dazu geführt, dass den Zensuren zusätzliche, neue Funktionen zugeordnet wurden. Jedoch zeigt sich, dass dabei besonders pädagogische Bezüge verloren gingen. Da es dennoch eine große Vielfalt an Funktionen gibt, ist es möglich, Mängel in einem Bereich mit dem Hinweis auf die Unentbehrlichkeit in anderen Funktionsbereichen zu entschuldigen.
3.2 Gütekriterien
3.2.1 Objektivität
Eine vollkommene Objektivität ist bei Schulleistungsmessungen kaum möglich (vgl. LIENERT 1987, S. 55). Wenn überhaupt nur dann, wenn die Leistung in Maß und Zahl zu erfassen ist, wie beispielsweise bei Rechtschreibfehlern in Diktaten oder bei Klassenarbeiten mit Richtig-Falsch-Lösungen (vgl. ebenda).
Nichtsdestotrotz benötigt man ein Instrument, um die Ergebnisse von Messungen, im vorliegenden Fall die Beurteilung von Schülerleistungen, verwertbar beziehungsweise vergleichbar zu machen (vgl. SACHER/ RADEMACHER 2009, S. 36). Dazu müssen sie bestimmten Anforderungen genügen, wofür hier die verschiedenen Gütekriterien herangezogen werden (vgl. ebenda).
„Unter Objektivität eines Tests versteh[t man] den Grad, in dem die Ergebnis- se eines Testes unabhängig vom Untersucher sind. Ein Test wäre demnach vollkommen objektiv, wenn verschiedene Untersucher bei demselben [Pro- banden] zu gleichen Ergebnissen gelangten“ (LIENERT/ RAATZ 1998, S. 7).
Überträgt man diese Definition auf die Bewertung schulischer Leistungen, so kann man die Grundfrage stellen, ob die Ergebnisse einer Prüfung beziehungsweise die Bewertung aller Schülerleistungen unabhängig von einer Person sind (vgl. SACHER 1996, S. 24). Formal wird zwischen drei Objektivitätsarten unterschieden: Der Durch- führungs-, Auswertungs- und Interpretationsobjektivität (vgl. Langfeldt 1984, S. 74).
Werden an alle Personen die gleichen Anforderungen unter denselben Bedingungen (z. B. gleiche Fragestellungen, gleiche Bearbeitungszeit, gleiche Uhrzeit) gestellt, so ist ein Test objektiv in der Durchführung (HENZE/ NAUCK 1985, S. 33). Diese For- derung der gleichen Bedingungen ist wichtig, da man ein Verhalten mit dem früheren Verhalten derselben Person oder mit dem Verhalten anderer Personen nur dann ver- gleichen kann, wenn es unter weitgehend gleichen Bedingungen beobachtet wird (vgl. ebenda). Diese Forderungen an eine hohe Durchführungsobjektivität sind nur durch eine strenge Einschränkung der sozialen Interaktionen zwischen Testleiter und Proband beziehungsweise zwischen Lehrer und Schüler erreichbar (vgl. Langfeldt 1984, S. 74).
Eine eindeutige Festlegung, wie das Testverhalten zu bewerten ist, ist notwendig, um ein hohes Maß an Auswertungsobjektivität zu erreichen (vgl. im Folgenden Langfeldt 1984, S. 74). Bei Aufgaben mit eindeutig richtigen Lösungen ist die Auswertungsobjektivität höher als bei Aufgaben, die mehrdeutige Lösungen zulassen. Es ist beispielsweise einfacher objektiv festzustellen, ob eine Rechenaufgabe richtig gelöst wurde als einen Aufsatz zu bewerten. Wie mündliche Leistungen objektiv beurteilt werden können, soll im Kapitel 4.3 beleuchtet werden.
Die Interpretationsobjektivität befasst sich mit der Frage, wie die Bewertung der Leistungen vorgenommen werden kann (vgl. SACHER/ RADEMACHER 2009, S. 36). Hierbei sollten Lehrkräfte, welche dieselben Bewertungsrichtlinien anwenden, zur selben Beurteilung der Leistungen gelangen (vgl. ebenda).
3.2.2 Reliabilität
Die Reliabilität bezeichnet die Zuverlässigkeit einer Messung, mit dem ein Verfahren ein Merkmal unabhängig davon misst, was es zu messen vorgibt (vgl. HESSE/ LATZKO 2009, S. 71). Die Grundfrage, welche sich bei der Reliabilität stellt, ist, ob ein Messergebnis den wahren Ausprägungsgrad der Leistung repräsentiert und nicht durch Messfehler verfälscht wird (vgl. SACHER/ RADEMACHER 2009, S. 36). Das Kriterium der Reliabilität bezieht sich auf die formale Genauigkeit von Messergeb- nissen, ohne nach der inhaltlichen Gültigkeit zu fragen (vgl. FEIKS/ LAUBERT/ ROTHERMEL 1975, S. 33).
Im Folgenden werden verschiedene Arten der Reliabilität vorgestellt und ihre Bedeu- tung für die Beantwortung der Forschungsfrage erläutert. Bei der Wiederholungsme- thode wird derselbe Test nach einiger Zeit ein zweites Mal durchgeführt (vgl. im Fol- genden SACHER 1994, S. 30). Bei der Halbierungsmethode unterteilt man den Test in zwei Hälften und wertet diese getrennt aus. Für die Paralleltestmethode werden zwei strukturgleiche Varianten des Tests entwickelt. Diese werden entweder unmittel- bar nacheinander oder mit größerem zeitlichem Abstand bearbeitet. Vom Grad der Übereinstimmung, welche durch diese gesonderten Auswertungen zu erhalten ist, lässt sich schließlich auf die Höhe der Reliabilität schließen (vgl. SACHER/ RADEMACHER 2009, S. 37).
Für schulische Alltagsbedingungen erweisen sich solche schriftlichen Wiederholungstests als unbrauchbar, da der Lernprozess zwischen den Wiederholungen weiter vorangegangen sein wird (vgl. SACHER/ RADEMACHER 2009, S. 37). Auch die Anwendung der Halbierungs- und Paralleltestmethoden gestalten sich in ihrer Anwendung problematisch, da es sehr schwierig ist, strukturgleiche Testhälften und Testvarianten herzustellen (vgl. ebenda).
3.2.3 Validität
Die Validität eines Tests misst die Übereinstimmung mit dem, was der Test wirklich messen soll (vgl. ARNOLD 2001, S. 118). Bei Schulleistungen lässt sich die Validität konkret beschreiben als Grad der Übereinstimmungen zwischen bestimmten Unter- richtsinhalten oder Lernzielbeschreibungen und den zur Messung dieser Inhalte kon- struierten Tests (vgl. GAUDE/ TESCHNER 1971, S. 99). Die Grundfrage, welche sich bei der Validität stellt, ist jene, ob die Prüfung wirklich die Fachkompetenzen misst, welche sie zu messen versucht (vgl. SACHER/ RADEMACHER 2009, S. 37).
Die Validität lässt sich untergliedern in die Inhaltsvalidität, Prognosevalidität, Übereinstimmungsvalidität und Konstruktvalidität (vgl. im Folgenden SACHER 1994, S. 31 ff.). Die Inhaltsvalidität misst die inhaltliche Übereinstimmung des Messverfahrens und der gemessenen Eigenschaften mit einer zuvor festgelegten Be- schreibung der zu messenden Eigenschaften. Speziell für die Schule soll die Inhalts- validität beurteilen, ob die Prüfung Kompetenzen misst, welche die Schüler im Unter- richt erwerben konnten. Kann man durch die Messergebnisse zutreffende Schlüsse auf Ergebnisse künftiger Messungen ziehen, so ist die Prognosevalidität gegeben. Stimmen durch verschiedene Untersuchungsinstrumente gewonnene Resultate über- ein, so liegt die Übereinstimmungsvalidität vor. Mit Blick auf die Schule wäre dies der Fall, wenn schriftliche, mündliche und praktische Leistungen eines Schülers nahe beieinander liegen. Die Konstruktvalidität ist gegeben, wenn die gemessenen Eigen- schaften mit einem theoretischen Modell übereinstimmen. Dieser Aspekt der Validität spielt in der Leistungsüberprüfung von Schülern eine geringe Rolle, da es nur wenige Modelle für Komponenten von Schulleistungen gibt.
Nachdem die einzelnen Gütekriterien vorgestellt wurden, sollte nachvollziehbar sein, dass sie aufeinander aufbauen (vgl. im Folgenden LANGFELDT 1984, S. 75). Ein Test, welcher nicht objektiv ist, kann auch nicht reliabel und nicht valide sein. Die Objektivität eines Tests ist somit eine notwenige Voraussetzung für seine Reliabilität und seine Validität. Jedoch ist sie keine hinreichende Voraussetzung für die Erfüllung der anderen Gütekriterien, denn ein Test kann objektiv sein, muss aber nicht unbe- dingt reliabel und valide sein. Desweiteren kann ein Test nur valide sein, wenn er reliabel ist. Liegt eine geringe Reliabilität eines Tests vor, bedeutet dies, dass das Er- gebnis hohe Zufälligkeiten aufweist. Zufällige Ergebnisse können jedoch in Bezug auf ein definiertes Merkmal nicht valide sein. Ein Test kann dagegen reliabel sein, muss deshalb aber nicht unbedingt valide sein. Zusammenfassend lässt sich festhal- ten, dass Objektivität und Reliabilität eines Tests notwendige, jedoch keine hinrei- chende Voraussetzungen für eine hohe Validität sind. Umgekehrt lässt sich aus der nachgewiesenen Validität eines Tests auf Reliabilität und Objektivität schließen.
3.3 Bezugsnormen
Um die Ergebnisse der Leistungsmessung auch bewerten zu können, muss zuerst eine Norm festgelegt werden (vgl. ZIEGENSPECK 1999, S. 130). Bei der Leistungsmessung und Bewertung werden deshalb die sozialen, kriterialen und individuellen Bezugsnormen unterschieden.
Bei der sozialen Bezugsnorm wird die Leistung des Einzelnen nach ihrem Verhältnis zur Leistung einer Gruppe beurteilt (vgl. SACHER/ RADEMACHER 2009, S. 87). Übertrifft sie dabei die Leistung der Klasse so wird sie als gut bewertet, fällt sie im Vergleich zu Klasse ab, so wird sie als schlecht bewertet (vgl. ebenda). Die soziale Bezugsnorm ist jedoch problematisch, weil bei ihrer Verwendung Leistungsbewer- tungen in verschiedenen Schulklassen nicht vergleichbar sind (vgl. JÜRGENS/ SA- CHER 2008, S. 101). Ein mittelmäßiger Schüler beispielsweise wird in einer guten Klasse schlechtere Bewertungen erhalten als in einer schlechten (vgl. ebenda).
Durch die Anwendung der sozialen Bezugsnorm wird innerhalb einer Klasse das Konkurrenzverhalten erhöht (vgl. im Folgenden JÜRGENS/ SACHER 2008, S. 72). Man muss als Schüler besser sein als seine Mitschüler, um gute Noten zu erhalten. Sind alle Noten gut, werden alle Leistungen an einem höheren Durchschnitt gemes- sen, wodurch die Benotung strenger wird. In der Praxis wird die soziale Bezugsnorm häufig angewendet, um „auffällige“ Notendurchschnitte in der Klasse zu vermeiden. Bei der sozialen Bezugsnorm existiert lediglich eine geringe Streuung bei der Noten- vergabe.
Wird die kriteriale Bezugsnorm angewendet, liegen der Beurteilung fachlich- sachliche Anforderungen zu Grunde, die unabhängig von der Leistung der Klasse formuliert werden (vgl. SACHER/ RADEMACHER 2009, S. 87). Eine Leistung gilt als gut, wenn sie diesen Anforderungen genügt. Eine Leistung gilt hingegen als schlecht, wenn sie dahinter zurück bleibt (vgl. ebenda). Die kriteriale Bezugsnorm ist „gerechter“, denn sie ermöglicht auch ein extrem gutes oder schlechtes Ausfallen von Klassenarbeiten und lässt Raum für die Kooperation der Schüler (vgl. JÜRGENS/ SACHER 2008, S. 101). Die Schwierigkeit, welche sich bei dieser Bezugsnorm ergibt, ist die Ableitung von fachlich-sachlichen Gesichtspunkten, sodass diese nicht etwa willkürlich festgelegt werden (vgl. ebenda).
Die individuelle Bezugsnorm bewertet den individuellen Lernfortschritt des einzelnen Schülers (vgl. SACHER/ RADEMACHER 2009, S. 87). Die Leistung eines Schülers ist dann gut, wenn er sich verbessert oder gleich bleibende Leistungen auf hohem Niveau hat (vgl. ebenda). Die Leistung ist hingegen schlecht, wenn es zu einem Rückschritt seiner Leistung kommt oder er bei schlechten Leistungen stagniert (vgl. ebenda). Bei der individuellen Bezugsnorm werden keine Maßstäbe von außen an den Schüler herangetragen (vgl. JÜRGENS/ SACHER 2008, S. 101f.). Der Vorteil dieser Bezugsnorm ist, dass auch kleine Lernfortschritte des Schülers bewertungsrelevant werden, welche bei der Anwendung der sozialen oder kriterialen Normen keine Be- rücksichtigung finden (vgl. ebenda, S. 102).
Durch die individuelle Bezugsnorm kann die Lernmotivation des einzelnen Schülers enorm gestärkt werden (vgl. im Folgenden JÜRGENS/ SACHER 2008, S. 73). Den- noch gilt es zu bedenken, dass es bei der individuellen Bezugsnorm nicht möglich ist, zwei Schüler miteinander zu vergleichen, geschweige denn Schüler aus verschiede- nen Gruppen zu vergleichen. Bewertungen, welche mit Hilfe dieser Bezugsnorm ge- wonnen werden, sind somit für Selektionsentscheidungen (vgl. Kapitel 3.1) un- brauchbar.
Welche Bezugsnorm zur Messung und Bewertung mündlicher Schulleistungen am besten ist, um die Gütekriterien zu erfüllen, wird in Kapitel 4.4 betrachtet. Desweiteren gibt es verschiedene Fehlerquellen, welche dazu führen können, dass die Beurteilungen den Gütekriterien nicht entsprechen. Im nächsten Kapitel wird beleuchtet, in welche Kategorien die Fehlerquellen eingeteilt werden können.
3.4 Fehlermöglichkeiten bei der Messung und Bewertung mündlicher Schulleistung
Es gibt verschiedene Fehlerquellen, welche die Beurteilungen schulischer Leistungen beeinflussen können (vgl. KIRK 2004, S. 43). Mündliche Leistungen stellen eine Besonderheit bei der Beurteilung dar, wodurch hier eine erhöhte Gefahr von fehlerhaften Beurteilungen besteht (vgl. ebenda). Um diese Probleme der Beurteilung mündlicher Leistungen zu verdeutlichen, werden im folgenden Teil verschiedene Beurteilerfehler und Urteilstendenzen aufgezeigt.
Bei der Tendenz zur Mitte meiden die Beurteiler extreme Werte und verwenden aus- schließlich den mittleren Teil einer zur Verfügung stehenden Beurteilungsskala (vgl. HESSE/ LATZKO 2009, S. 49). Bei den Beurteilern, die diesen Fehler begehen, liegt meist eine Entscheidungsunlust, manchmal auch Ängstlichkeit vor, denn Urteile, wel- che nahe an der Mitte sind, lassen sich in aller Regel leichter nach außen vertreten und ecken nicht so leicht an (vgl. SACHER/ RADEMACHER 2009, S. 49).
Lehrer, welche den Fehler der Milde /Strenge begehen, vergeben prinzipiell zu gute beziehungsweise zu schlechte Beurteilungen (vgl. HESSE/ LATZKO 2009, S. 49).
Schüler werden hierbei beispielsweise von einem Lehrer durchweg günstiger beurteilt als dies von ihrer Leistung her angemessen ist, beziehungsweise wie sie von anderen Lehrern beurteilt werden würden (vgl. ebenda). SACHER (vgl. 1994, S.40f.) ist der Meinung, dass es bestimmte Lehrertypen gibt, welche „Strengbeurteiler“ beziehungsweise „Mildbeurteiler“ sind. KLEBER (vgl. 1976, S. 39) hingegen sieht die Ursache darin, dass ein Lehrer die Schüler, welche er gut kennt, besser beurteilt, als Schüler, die er schlechter kennt oder die negativ auf ihn wirken.
Der Erwartungsfehler/ Pygmalion-Effekt ist ein Beurteilerfehler, welcher sich auf bestimmte Erwartungen des Lehrers an seine Schüler zurückführen lässt (vgl. BE- CKER 2005, S. 62). Hat der Lehrer positive Erwartungen an den Schüler, so ist er freundlicher zu ihm und wird ihn stärker ermutigen (vgl. WEISS 1989, S. 160f.). WEISS ist der Meinung, dass dieser Schüler mehr Aufmerksamkeit, Zuwendung und Verstärkung vom Lehrer erhält. Hat der Lehrer jedoch negative Leistungserwartungen an den Schüler, so wird er sich wenig um diesen Schüler kümmern. Diesen Schüler wird er nach WEISS auch mehr tadeln und jeden kleinen Fehler bemerken (vgl. eben- da).
Ein logischer Fehler entsteht, wenn Leistungen in Verbindung gebracht werden, welche nicht unbedingt zusammen gehören (vgl. im Folgenden SACHER 1994, S. 43). Wenn ein Schüler sehr gute Leistungen im Fach Mathematik erbringt, so wird daraus geschlossen, dass seine Leistungen im Fach Physik ebenso sehr gut sind. Solche Schlüsse sind nicht immer falsch, können aber im Einzelfall sehr in die Irre führen und sollten im Einzelfall geprüft werden.
Der Halo- oder Hofeffekt2 , welcher durch subjektive Theorien der Lehrer entsteht, verstärkt den logischen Fehler (vgl. JÜRGENS/ SACHER 2008, S. 75). Hierbei wird ein beurteilendes Merkmal durch ein beurteilungsfremdes Merkmal überlagert (vgl. BECKER 2005, S. 63f.). Folgende Abbildung verdeutlicht diesen Effekt bei der Beur- teilung eines Schülers:
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 1: Halo-Effekt
Aus: WEISE 1990, S. 225
Es wird deutlich, dass ein Allgemeineindruck die Wahrnehmung einzelner Merkmale bestimmt (vgl. ZIEGENSPECK 1999, S. 175). Es erweist sich als sehr problematisch, dass der Hof-Effekt häufig dort nachzuweisen ist, wo der schlechte Ruf einem Schü- ler vorauseilt (zum Beispiel Sitzenbleiber, Schüler aus Problemfamilie) (vgl. ebenda). Der Hof-Effekt äußert sich in Zusammenhängen zwischen einzelnen Urteilsaspekten, die objektiv nicht gerechtfertigt sind (vgl. WEISS 1989, S.140). Besonders wenn Merkmale beurteilt werden sollen, die „ a.) nur schwer zu beobachten sind, b.) die nicht präzise definiert beziehungsweise nicht operationalisiert sind, c.) die eine hohe moralische Bewertung haben“ (SYMONDS 1925, zitiert nach KLEBER u.a. 1976, S.40).
Bei bestimmten Fehleinstellungen des Lehrers zu sich selbst tritt entweder der Kon trast- oder der Ä hnlichkeitsfehler auf (vgl. KLEBER u.a. 1976, S. 42). Bei beiden dieser Fehlertypen wird der Lehrer von seinen eigenen Personeneigenschaften auf Eigenschaften seiner Schüler schließen (vgl. JÜRGENS/ SACHER 2008, S. 77). Vorteilhaft kann dies für den Schüler sein, wenn der Lehrer durch seine eigene Schwäche etwas als nebensächlich einschätzt und somit das nicht optimale Verhalten des Schülers entschuldigt (vgl. ebenda, S. 76f.).
[...]
1 In der vorliegenden Arbeit wird, aus Gründen der besseren Lesbarkeit, der Begriff „Schüler“ und „Lehrer“ für beide Geschlechter verwendet.
2 „Mond und Sonne können von einem mehr oder weniger deutlich ausgeprägten Ring umgeben sein - man spricht dann von einem „Mondhof“ oder „Sonnenhof“. Die Psychologie hat sich die- sen Begriff ausgeborgt. Sie bezeichnet damit eine Tendenz bei der Beurteilung anderer Menschen: von einer Eigenschaft eines Menschen, die wir kennen oder zu kennen glauben, auf andere Eigenschaften dieses Menschen zu schließen“ (WEISS 1989, S.139).
- Quote paper
- Julia Jenz (Author), 2012, Zur Messung und Bewertung mündlicher Schulleistung im Unterricht, Munich, GRIN Verlag, https://www.grin.com/document/208708
-
-
-
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X.