In Fächern wie Biologie, Chemie oder Physik werden neben den typischen Klassenarbeiten und der mündlichen Beteiligung vor allem auch naturwissenschaftliche Kompetenzen in die Beurteilung miteinbezogen. Die Genauigkeit dieser Kompetenzeinschätzungen und inwieweit sich typische Beurteilungsfehler wie der Referenzgruppeneffekt auf diese auswirken, wurde in der vorliegenden Studie untersucht. Hierfür wurden N = 53 Lehramtsstudierende gebeten, unterschiedlich starke Klassen mit Hilfe des simulierten Klassenraums in den Kompetenzen einzuschätzen. Untersucht wurden Referenzgruppeneffekte auf die getätigten Einschätzungen, sowie die allgemeine Genauigkeit von diesen. Erwartungsgemäß konnten Kontexteffekte auf die indirekte Einschätzung rezipiert werden. Referenzgruppeneffekte auf die Kompetenzeinschätzungen zeigten sich nicht. Zusätzlich konnten Unterschiede in der Genauigkeit der Leistungs- und Kompetenzeinschätzung gefunden werden. Die Kommunikations- und Bewertungskompetenz wurden schlechter eingeschätzt als andere Komponenten. Zudem konnte gezeigt werden, dass die Einschätzungen genauer werden, wenn Lehrkräfte sich ausreichend mit den erbrachten Leistungen beschäftigen.
Inhalt
Zusammenfassung
Abstract
1 Einleitung
2 Theoretischer Hintergrund
2.1 Diagnostische Kompetenz
2.2 Der Referenzgruppeneffekt
2.3 Bewertete Kompetenz
2.4 Fachspezifische Kompetenzen der Chemie
2.4.1 Umgang mit Fachwissen
2.4.2 Erkenntnisgewinnung
2.4.3 Kommunikation
2.4.4 Bewertung
2.5 Kompetenzorientierte Aufgaben
2.6 Der simulierte Klassenraum
3 Ziel und Fragestellung
4 Methode
4.1 Stichprobe
4.2 Schülerantworten
4.3 Instrument
4.4 Unabhängige Variablen
4.4.1 Fähigkeit der simulierten Schüler*innen
4.4.2 Beteiligung der simulierten Schüler*innen
4.4.3 Leistungsniveau der Klasse
4.5 Abhängige Variablen
4.5.1 Direkte Einschätzungen
4.5.2 Indirekte Einschätzungen
4.5.3 Einschätzung der Kompetenzleistung
4.6 Auswertung
5 Ergebnisse
5.1 Genauigkeit der direkten und indirekten Einschätzungen
5.2 Genauigkeit der Kompetenzeinschätzungen
5.3 Referenzgruppeneffekte auf die Leistungs- und Kompetenzeinschätzungen
5.4 Einfluss der direkten Einschätzung der Antwortqualität
5.5 Auswertung ausgewählter freier Angaben
6 Diskussion
6.1 Zusammenfassung der Ergebnisse
6.2 Limitation der Studie
6.3 Implikationen für die Beurteilung von Leistungen in naturwissenschaftlichen Fächern und Forschung
6.4 Fazit
7 Literaturverzeichnis
8 Anhang
9 Tabellenverzeichnis
10 Abbildungsverzeichnis
Zusammenfassung
In Fächern wie Biologie, Chemie oder Physik werden neben den typischen Klassenarbeiten und der mündlichen Beteiligung vor allem auch naturwissenschaftliche Kompetenzen in die Beurteilung miteinbezogen. Die Genauigkeit dieser Kompetenzeinschätzungen und inwieweit sich typische Beurteilungsfehler wie der Referenzgruppeneffekt auf diese auswirken, wurde in der vorliegenden Studie untersucht. Hierfür wurden N = 53 Lehramtsstudierende gebeten, unterschiedlich starke Klassen mit Hilfe des simulierten Klassenraums in den Kompetenzen einzuschätzen. Untersucht wurden Referenzgruppeneffekte auf die getätigten Einschätzungen, sowie die allgemeine Genauigkeit von diesen. Erwartungsgemäß konnten Kontexteffekte auf die indirekte Einschätzung rezipiert werden. Referenzgruppeneffekte auf die Kompetenzeinschätzungen zeigten sich nicht. Zusätzlich konnten Unterschiede in der Genauigkeit der Leistungs- und Kompetenzeinschätzung gefunden werden. Die Kommunikations- und Bewertungskompetenz wurden schlechter eingeschätzt als andere Komponenten. Zudem konnte gezeigt werden, dass die Einschätzungen genauer werden, wenn Lehrkräfte sich ausreichend mit den erbrachten Leistungen beschäftigen.
Schlüsselwörter: Referenzgruppeneffekt, naturwissenschaftliche Kompetenzen, Genauigkeit der Leistungsbeurteilung, simulierter Klassenraum, Gedächtnisleistung.
Abstract
In subjects such as biology, chemistry, or physics, science competencies are primarily included in the assessment in addition to the typical class tests and oral participation. The accuracy of these competency assessments and to what extent typical assessment errors such as the reference group effect affect them was investigated in the present study. For this purpose, N = 53 student teachers were asked to assess different strength classes in competencies using the simulated classroom. Reference group effects on the assessments made, as well as the general accuracy of these, were examined. As expected, context effects on indirect estimation could be received. Reference group effects on the competence assessments did not show up. Additionally, differences in the accuracy of performance and competence estimations could be found. Communication and evaluation competence were estimated worse than other components. Furthermore, it could be shown that the assessments become more accurate when teachers are sufficiently engaged with the performance provided.
Keywords: Reference-group-effect, science skills, accuracy of teachers judgments, simulated classroom, memory performance
1 Einleitung
Lehrkräfte prägen als wichtige Bezugspersonen eine Vielzahl von Generationen. Durch den immer länger werdenden Schulalltag und die sich immer weiter ausbreitenden außerschulischen Angebote verbringen Schüler*innen heutzutage einen Großteil ihrer Freizeit in der Schule. Welchen Entwicklungsmilieus sie dabei ausgesetzt sind und wie sich ihre Fähigkeiten entwickeln (Baumert, et al., 2000), bestimmen zum großen Teil Leistungsbeurteilungen der Lehrkräfte. Diese wirken sich nicht nur auf die Schulübergangsempfehlungen am Ende der Grundschule aus, sondern insbesondere auch auf die tägliche Unterrichtsplanung (Helmke, et al., 2004), hinzukommen die Herausforderungen der inklusiven Schule. Bekommt die siebte Klasse im Unterricht eine komplexe Fragestellung präsentiert oder wird der letzte Stoff noch einmal wiederholt? Sollte das zusätzliche Thema im zehnten Jahrgang unterrichtet werden oder lieber zugunsten einer höheren Übungszeit rausgelassen werden? Welche Schüler*innen gehen in die Leseförderung und wer darf stattdessen an der Theater-AG teilnehmen? Fragen wie diese sprechen die diagnostische und methodische Kompetenz von Lehrkräften direkt an. Die wichtige Rolle dieser Kompetenzen wird auch deutlich, wenn die Reaktionen der Kultusministerkonferenz im Dezember 2001 auf den PISA-Schock von 2000 betrachtet werden. Unter anderem werden „Maßnahmen zur Verbesserung der Professionalität der Lehrkräfte, insbesondere im Hinblick auf diagnostische und methodische Kompetenz als Bestandteil systematischer Schulentwicklung“ (Kultusministerkonferenz, 2001 S. 1) gefordert. Die damaligen Studienergebnisse zeigten erhebliche Diskrepanzen zwischen den Einschätzungen der Lehrkräfte und dem tatsächlichen Abschneiden der Schüler*innen in den standardisierten Tests (Berkemeyer, et al., 2018).
Das oben bereits erwähnte Entwicklungsmilieu spielt in der Leistungsbewertung durch Lehrkräfte eine Rolle, die sich im sogenannten Referenzgruppeneffekt zeigt. Zu diesem gibt es bereits einige Studien und Erkenntnisse, bisher wurde dabei ein starker Fokus auf Selbstkonzepte und Lernmotivationen gelegt. Erst seit einigen Jahren geht die Forschung auch in die Richtung der Leistungsbeurteilung (Südkamp, et al., 2009).
Diese Studie soll einen Beitrag zur Verbesserung der diagnostischen Kompetenz in naturwissenschaftlichen Fächern leisten, indem Besonderheiten und Beurteilungsfehler der verschiedenen naturwissenschaftlichen Kompetenzen von Schüler*innen aufgedeckt werden. Dabei werden exemplarisch die inhaltlichen und prozessbezogenen Kompetenzen des Faches Chemie betrachtet (Ministerium für Bildung, Wissenschaft und Kultur des Landes Schleswig Holstein, 2019 S. 14). Insbesondere die Auswirkungen verschiedener Leistungsniveaus auf die Beurteilungsgenauigkeit der einzelnen Kompetenzen und allgemeinen Leistungen sollen in diesem Zusammenhang untersucht werden.
2 Theoretischer Hintergrund
Entwicklung und Bewegung kam in das deutsche Schulsystem bildungspolitisch nach dem unerwartet schlechten Abschneiden der Schüler*innen in der PISA-Studie des Jahres 2000. Sowohl die Lese- und Schreibkompetenzen als auch die Fähigkeiten in Mathematik und den Naturwissenschaften blieben in Deutschland deutlich unter dem Durchschnitt. Im Zuge der PISA-Studie wurde auch die diagnostische Kompetenz von Lehrkräften untersucht. Diese wurden gebeten zu beurteilen, welche ihrer Schüler*innen nach den PISA-Standards als „schwache Leser“ einzuschätzen sein. 90% der schließlich als schwache Leser identifizierten Kinder wurden von ihren Lehrkräften jedoch nicht als solche erkannt und erhielten entsprechend auch keine Förderung (Hesse, et al., 2017). Als Folge etablierte sich auch eine Verbesserung der diagnostischen Kompetenz von Lehrkräften als eine weitere zentrale Forderung der Kultusministerkonferenz 2001.
Lange vor der bildungspolitischen Wende begründete bereits Ingenkamp den Begriff „pädagogische Diagnostik“ in Anlehnung an die medizinische sowie die psychologische Diagnostik (Jürgens, et al., 2015). Ein heute weit verbreiteter Definitionsbegriff ist der folgende:
„Pädagogische Diagnostik umfasst alle diagnostischen Tätigkeiten, durch die bei einzelnen Lernenden und den in einer Gruppe Lernenden Voraussetzungen und Bedingungen planmäßiger Lehr-Lernprozesse ermittelt, Lernprozesse analysiert und Lernergebnisse festgestellt werden, um individuelles Lernen zu optimieren.“ (Ingenkamp, et al., 2008 S. 13)
2.1 Diagnostische Kompetenz
„Zur Pädagogischen Diagnostik gehören ferner die diagnostischen Tätigkeiten, die die Zuweisung zu Lerngruppen oder zu individuellen Förderprogrammen ermöglichen, sowie die mehr gesellschaftlich verankerten Aufgaben der Steuerung des Bildungsnachwuchses oder der Erteilung von Qualifikationen zum Ziel haben.“ (Ingenkamp, et al., 2008 S. 13). In der empirischen Forschungsliteratur wird häufig ein engerer Begriff der diagnostischen Kompetenz von Lehrkräften gewählt. Dieser bezieht sich vor allem auf die Urteilsgenauigkeit. Diagnostische Kompetenzen werden hier als die Fähigkeit beschrieben, Schülerleistungen richtig einzuschätzen und zu beurteilen (Südkamp, et al., 2017). Dabei geht es um die Übereinstimmung zwischen dem Lehrerurteil bezüglich eines Schülermerkmals und der tatsächlichen Ausprägung dieses Merkmals, welche häufig mit standardisierten Test gemessen wird (Kaiser, et al., 2015). Die diagnostische Kompetenz von Lehrkräften ist insbesondere vor dem Hintergrund sehr bedeutend, dass Schulnoten weitreichende Konsequenzen für die (beruflichen) Chancen von Schüler*innen haben. Es ergibt sich damit von selbst, dass diagnostische Urteile besonders dann genau sein müssen, wenn es um Übergangs- und Zulassungsentscheidungen geht (Hoge, 1983). Anfängliche Leistungsunterschiede können sich in den unterschiedlichen Bildungsgängen noch verstärken (Baumert, et al., 2000) und somit zu einer heterogeneren Bildungslandschaft führen und zudem Schüler*innen mit Entwicklungspotenzial dieses verwehren.
In ihrer Meta-Analyse betrachteten Hoge und Coladarci (1989) 16 Studien, die die Urteilsgenauigkeit von Lehrkräften untersuchten. Im Mittel zeigte sich eine gute Korrelation zwischen Lehrerurteilen und Schülerleistungen (r = .66). Auffällig ist jedoch die hohe Varianz, welche von r = .28 bis hin zu r = .92 reicht. Während weitere Studien ähnliche Ergebnisse zeigen (Südkamp, et al., 2012) existieren auch Forschungen, die das genaue Gegenteil belegen. Hier finden sich Mittelwert von r = .00, es konnte demnach in diesen Studien kein Zusammenhang zwischen der Einschätzung durch die Lehrkräfte und der tatsächlichen Leistung der Schüler*innen gezeigt werden (Spinath, 2005). Eine hohe Streuung gibt es aber nicht nur in der Urteilsgenauigkeit insgesamt, diese schwankt auch erheblich zwischen einzelnen Lehrkräften (Hosenfeld, et al., 2002). So sind einige Lehrer*innen sehr gut in der Lage Leistungen ihrer Schüler*innen einzuschätzen (r = .86) während andere eine nur sehr gering ausgeprägte diagnostische Kompetenz zeigten (r = .11).
Die bisher einbezogenen Studien untersuchen zum größten Teil die Rangkomponente der Urteilsgenauigkeit. Diese gibt an, ob Lehrkräfte in der Lage sind, die Rangordnungen innerhalb einer Schülergruppe korrekt wiederzugeben. Einige wenige Studien beschäftigen sich mit den zwei weiteren Komponenten der Genauigkeit von Lehrerurteilen, der Niveau- und Differenzierungskomponente (Südkamp, et al., 2009). Während die Niveaukomponente ein Maß für die Übereinstimmung des absoluten Niveaus der Einschätzungen und der tatsächlichen Leistungen ist, gibt die Differenzierungskomponente darüber Auskunft, ob eine Über- oder Unterschätzung eines Merkmals durch die Lehrkräfte vorliegt (Südkamp, et al., 2009). Bei Spinath (2005) zeigen sich sowohl bei der Differenzierungs- (M = .42) als auch bei der Niveaukomponente (M = .12) positive Werte. Es zeigt sich demnach mehrheitlich eine Überschätzung des mittleren Leistungsniveaus und der Leistungsstreuung.
Erklärungsansätze für schwankende Genauigkeiten bieten die Einbeziehung von anderen Faktoren neben der Leistung (z.B. Anstrengungsbereitschaft, Sozial- und Unterrichtsverhalten (Südkamp, et al., 2009)) sowie auch das heuristische Modell zu Moderatoren der Urteilsgenauigkeit (Abbildung 1).
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 1: Heuristisches Modell zu Moderatoren der Urteilsgenauigkeit (Südkamp, et al., 2012).
Aus dem Modell wird die zugrundeliegende Definition der Urteilsgenauigkeit der Lehrkräfte ersichtlich. Das Lehrerurteil wird beeinflusst von Lehrer- und Urteilsmerkmalen unter anderem die Berufserfahrung oder ob ein direktes oder indirektes Urteil abgegeben werden soll. Gleichermaßen wird die Schülerleistung von Schüler- und Testmerkmalen beeinflusst. Welche Schülermerkmale die Leistungen von Lernenden beeinflussen, lässt sich insbesondere am Angebot-Nutzungsmodell nach Helmke (2012) ablesen. In der durchgeführten Meta-Analyse von Südkamp, Kaiser und Möller betonen die Autoren allerdings, dass die Lehrermerkmale aufgrund der geringen Anzahl an Studien nicht berücksichtigt werden konnten. Auch andere Autoren kritisieren die geringe Befundlage zum Einfluss von solchen Kriterien: „Selten untersucht wurde der Einfluss von Merkmalen der (angehenden) Lehrkräfte. Diese Lücke in der Forschung scheint erstaunlich, handelt es sich doch um die zentralen Akteure im Beurteilungsprozess“ (Gräsel, et al., 2017 S. 59 f.).
2.2 Der Referenzgruppeneffekt
Die im heuristischen Modell diskutierte Urteilsgenauigkeit von Lehrkräften wird häufig auch durch unterschiedliche Beurteilungsfehler beeinflusst. Einige Bekannte sind die Tendenz zur Mitte, Reihenfolgeneffekte oder der Halo-Effekt (Hesse, et al., 2017). Häufig wenden Lehrkräfte für die Benotung ihrer Schüler*innen ein klasseninternes Bezugssystem an. Dieses ist besonders anfällig für den sogenannten Referenzgruppeneffekt. Die „Referenzgruppe“ eines Lernenden kann hier einen Unterschied in der Leistungsbeurteilung machen.
In der pädagogisch-psychologischen Forschung stand lange Zeit der „Big-Fish-Little-Pond Effect“ (Marsh, 1987; Marsh, 2005) im Mittelpunkt der Untersuchungen. Dieser auf das Selbstkonzept fokussierte Blick beschreibt die negativen Auswirkungen, die eine leistungsstarke Klasse auf die individuelle Selbstwahrnehmung von Schüler*innen haben kann (Davis, 1966). In leistungsstarken Klassen erfolgt die Generierung des Selbstkonzeptes zwangsläufig häufiger durch Aufwärtsvergleiche mit Klassenkamerad*innen als in Klassen mit vermehrt leistungsschwachen Kindern. Folglich entwickeln Schüler*innen mit identischen Leistungen in Klassen mit unterschiedlichen mittleren Leitungsniveaus auch unterschiedliche Selbstkonzepte (Südkamp, et al., 2009). Während neuere Studien dies belegen konnte, nahm Davis 1966 schon an, dass sich der Effekt nicht auf das akademische Selbstkonzept beschränkt. In weiteren Untersuchungen konnte gezeigt werden, dass sich das Leistungsniveau einer Klasse unter anderem auch auf Berufsaspiration, Anstrengungsbereitschaft, allgemeines Selbstkonzept oder die Kurswahl auswirkt (Marsh, 1991; Marsh, et al., 2010).
Interessant für diese Arbeit sind die Auswirkungen des Effektes auf die Leistungsbeurteilung von Schüler*innen. Insbesondere für den Übergang von der Primar- in die Sekundarschule finden sich hier viele Studien. In einer Untersuchung des Max-Planck-Instituts Berlin konnte eine Effektstärker des mittleren Leistungsniveaus einer Klasse von A = -1.10 und A = -.63 für die Lernstandsbeurteilung und die Beurteilung der kognitiven Fähigkeiten durch die Lehrkraft nachgewiesen werden (Trautwein, et al., 2007). Schüler*innen mit identischen Leistungen wurden von Lehrkräften hinsichtlich der Übertrittsempfehlung als weniger leistungsfähig eingeschätzt, wenn ihre Klassenkamerad*innen besonders gute Leistungen erbringen. Die Übertrittempfehlung insgesamt fiel umso schlechter aus, je bessere das Leistungsniveau der Klasse im Mittel war. Hier zeigt sich eine Effektstärke von A = -.76. Gleichzeigt konnte gezeigt werden, dass die Empfehlung mit dem tatsächlich erfolgten Übertritt stark korrelierte (r = .88) (Trautwein, et al., 2007). Der negative Referenzgruppeneffekt kann demnach die schulische Karriere eines Kindes stark beeinflussen.
Andere Untersuchungen in dritten Klassen kamen auf eine ebenfalls signifikante Effektstärke von b = .11 und b = -.19 für die Durchschnittsnote und die Lernkompetenzbeurteilung (Maaz, et al., 2008). In einer Studie von Treutlein et al., welche ebenfalls in dritten Klassen durchgeführt wurde, zeigt sich dagegen ein nicht ganz so starker Effekt der Referenzgruppe auf die Leistungsbewertung in Deutsch (Treutlein, et al., 2008).
Von besonderem Interesse für diese Studie sind die Auswirkungen des Referenzgruppeneffekts auf mathematisch-naturwissenschaftliche Fächer und Selbstkonzepte. Das Interesse am Fach Mathematik (Trautwein, et al., 2006) beispielsweise unterliegt dem Referenzgruppeneffekt ebenso, wie die Leistungsmotivation in Biologie (Schumann, et al., 2012). Bisher nicht untersucht wurden die differenzierten Auswirkungen des Referenzgruppeneffektes auf unterschiedliche Kompetenzen der Naturwissenschaften und insbesondere auf das Fach Chemie. Inwieweit sich Lehrkräfte bei deren Beurteilung an einem klasseninternen Bezugssystem orientieren, ist noch nicht bekannt.
2.3 Bewertete Kompetenz
Neben den Schüler- und Lehrermerkmalen sowie allgemeinen Beurteilungsfehlern zeigen mehrere Studien, dass auch die zu bewertende Kompetenz einen Einfluss auf die Beurteilungsgenauigkeit haben kann. Häufig werden Kompetenzen in Mathematik und die Lesefertigkeit von Schüler*innen untersucht und einander gegenübergestellt. Es hat sich gezeigt, dass Grundschullehrer*innen die Leseleistungen ihrer Schüler*innen genauer einschätzen können als die Mathematikleistungen (Eckert, et al., 2006). Allerdings schwindet die Genauigkeit je schlechter die Leseleistungen der Schüler*innen ausgeprägt sind (Begeny, et al., 2008). In der Unterrichtsstudie SALVE (Hosenfeld, et al., 2002) wurden die diagnostischen Kompetenzen von Lehrkräften im Fach Mathematik untersucht. Es ergab sich eine recht hohe Rangkorrelation hinsichtlich der eingeschätzten und tatsächlichen Aufgabenschwierigkeit von r = .56. Dagegen wurden Aufmerksamkeit, Unterforderung und Verständnis der Schüler*innen einer videographierten Unterrichtsstunde durchgängig unterschätzt. Überschätzungen des Schülerpotenzials fanden sich dagegen selten (Hosenfeld, et al., 2002).
Zur Urteilsgenauigkeit in naturwissenschaftlichen Fächern finden sich nur sehr wenige Studien. Meist wird hier die diagnostische Kompetenz auf das Erkennen von Schülervorstellungen beschränkt (Jüttner, et al., 2010). Studien zur diagnostischen Kompetenz von Lehrkräften finden sich in den Naturwissenschaften nur spärlich. Allenfalls die Kompetenzen Bewertung und Erkenntnisgewinnung wurden in wenigen Studien explizit untersucht. Die Studienteilnehmer zeigten deutliche Schwierigkeiten bei der Einschätzung der Schülerleistungen im Kompetenzbereich Erkenntnisgewinnung (Dübbelde, 2013). Des Weiteren „erscheint Lehrkräften für die Diagnose von Bewertungskompetenz die Nachvollziehbarkeit des (Bewertungs-)Weges wichtig“ (Alfs, et al., 2012 S. 105f.) zu sein. Insbesondere die prozessbezogenen Kompetenzen scheinen eine gewisse Schwierigkeit in der Bewertung darzustellen.
Diese Studie soll eine Beitrag dazu leisten, die gemachten Beobachtungen (vornehmlich aus dem Bereich der Biologie) auf Kompetenzbeurteilungen im Fach Chemie zu übertragen und diese in den Naturwissenschaften zu verbessern.
2.4 Fachspezifische Kompetenzen der Chemie
Der in dieser Arbeit genutzte Kompetenzbegriff geht zurück auf eine Definition nach Weiner und liegt ebenfalls sowohl den Fachanforderungen als auch den Bildmigsstandards für den Mittleren Bildungsabschluss zugrunde. Weiner beschreibt Kompetenzen als „bei Individuen verfügbare oder von ihnen erlernbare kognitive Fähigkeiten und Fertigkeiten, bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können.“ (Weinert, 2001 S. 27).
Seit der Einführung der Bildmigsstandards für die Naturwissenschaften Biologie, Chemie und Physik durch die Kultusministerkonferenz 2005 erfolgt die fachliche Ausdifferenzierung dieses Kompetenzbegriffes in den vier Kompetenzbereichen Umgang mit Fachwissen, Erkenntnisgewinnung, Kommunikation mid Bewertung. Abbildung 2 veranschaulicht, wie die prozess- und inhaltsbezogenen Kompetenzen Zusammenwirken, um eine naturwissenschaftliche Kompetenz bei den Schüler1 innen auszubilden. Diese ftißt sich auf Fachwissen, welches sich die Schüler*innen durch das Ausfuhren und Anwenden der prozessbezogenen Kompetenzen aneignen (Ministerium für Bildung, Wissenschaft mid Kultur des Landes Schleswig-Holstein, 2017).
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2: Der Zusammenhang von prozess- und inhaltsbezogenen Kompetenzen bei der Auseinandersetzung mit naturwissenschaftlichen Fragestellungen (Ministerium für Bildung, Wissenschaft und Kultur des Landes Schleswig- Holstein, 2017 S. 7).
2.4.1 Umgang mit Fachwissen
Der inhaltliche Kompetenzbereich des Fachwissens strukturiert die wichtigen chemischen Fachinhalte in Basiskonzepte und gibt Lehrkräften eine Orientierung, welche Inhalte erlernt werden müssen. Die naturwissenschaftlichen Basiskonzepte der Fächer ermöglichen einen fachlogischen Wissensaufbau und reduzieren die Inhalte auf den Kern des naturwissenschaftlichen Wissens (Nerdel, 2017). Die Schüler*innen erwerben in diesem Kompetenzbereich ein umfassendes Verständnis und Vorstellungen zu wichtigen chemischen Sachverhalten. Sie lernen Prinzipien, Theorien und Modelle kennen und können diese Erkenntnisse anwenden, um Ergebnisse vorherzusagen oder einzuschätzen (Ministerium für Bildung, Wissenschaft und Kultur des Landes Schleswig Holstein, 2019).
Die kompetente Bearbeitung und Einschätzung von Fragestellungen im Fach Chemie erfordert den sicheren Umgang mit Fachwissen über die prozessbezogenen Kompetenzen. Während für das Fachwissen durch die Fachanforderungen verbindliche Kompetenzschwerpunkte gesetzt sind, lassen sich die prozessbezogenen Kompetenzen durch unterschiedliche Kontextsetzungen variieren. Auch eine veränderte Aufgabenstellung fokussiert bestimmte Kompetenzen und stellt diese bei der Bearbeitung in den Vordergrund. Auf Grundlage von fachdidaktischen Einschätzungen werden einige, in der Studie genutzte, Fragestellungen der prozessbezogenen Kompetenzen im Folgenden vorgestellt.
2.4.2 Erkenntnisgewinnung
Der prozessbezogene Kompetenzbereich Erkenntnisgewinnung zielt vor allem darauf ab, den Schüler*innen die Denk- und Arbeitsweisen der Naturwissenschaft sinnvoll und nachvollziehbar nahezubringen. Die Schüler*innen nutzen Modelle und Theorien und erkennen insbesondere ihre Bedeutung für den Erkenntnisprozess. Sie entwickeln fachbezogene Lösungen und können Prozesse nachvollziehen. Der Kompetenzbereich Erkenntnisgewinnung lässt sich in die folgenden Teilkompetenzen gliedern: Fragestellungen entwickeln, Hypothesen formulieren, Untersuchungsdesigns entwickeln und anwenden, Datenauswertungen vornehmen und dokumentieren und Modelle verwenden (Ministerium für Bildung, Wissenschaft und Kultur des Landes Schleswig Holstein, 2019). Die Ausdifferenzierung der einzelnen Komponenten richtet sich jeweils nach vorhandenem Vorwissen, Entwicklungsstand der Schüler*innen sowie allgemeinen Anforderungen.
Um den Fokus in Aufgabenstellungen auf die Erkenntnisgewinnung der Schüler*innen zu legen, bieten sich Szenarien an, in denen die Lernenden eigenständig Lösungswege und Vorschläge darstellen. So bietet die exemplarische Aufgabe: „Stelle ein Experiment, mit welchem Du nachweisen kannst, dass Strandsand kein Element ist, dar.“ Ansatzpunkte, um Hypothesen zu überprüfen und eigene Untersuchungsdesigns zu entwickeln. Die Schüler*innen sind aufgefordert, nicht nur zu begründen, dass Strandsand kein Element ist (Fachwissen), sondern dieses mithilfe eines selbst überlegten Experimentes zu überprüfen (Erkenntnisgewinnung).
2.4.3 Kommunikation
Die prozessbezogene Kompetenz Kommunikation erwerben die Schüler*innen bei der Arbeit mit Texten, beim Argumentieren oder wenn sie Erkenntnisse mit ihren Mitschüler*innen austauschen. Der Kompetenzbereich der Kommunikation umfasst auch die umfassende Sprachbildung der Schüler*innen mit einem Fokus auf der angemessenen Nutzung von Fachsprache. Durchgängige Sprachbildung bekam mit der Flüchtlingskrise von 2015 neuen Aufschwung, welcher mit der Förderung der Kommunikationskompetenz der Schüler*innen unterstützt wird. Die Fähigkeit zur wissenschaftlichen Kommunikation stellt eine wichtige Voraussetzung für die gesellschaftliche Teilhabe dar. Die Schüler*innen entwickeln ihre Fähigkeiten und Fertigkeiten in folgenden Bereichen im Besonderen: Informationen erschließen, Informationen weitergeben, Ergebnisse präsentieren, argumentieren sowie Fach- und Symbolsprache angemessen verwenden (Ministerium für Bildung, Wissenschaft und Kultur des Landes Schleswig Holstein, 2019). Wie bei der Erkenntnisgewinnung ergibt sich die jeweilige Ausprägung und Anforderung situationsbedingt.
Aufgaben, mit einem Schwerpunkt auf der Kommunikationskompetenz, zielen darauf ab, Sachverhalte zu hinterfragen und argumentativ darzustellen. In der durchgeführten Studie wurde unter anderem folgendes Szenario verwendet: „Im Internet findest Du folgenden Text: „Wasser-Atome sind aus Wasserstoff und Sauerstoff aufgebaut. Man kann die Atome im Wasser nicht sehen, sie sind zu klein.“ Nimm zu der Formulierung begründet Stellung.“ Die Schüler*innen werden dazu aufgefordert eine Informationsquelle, welche sie im Alltag nutzen, zu hinterfragen und zu untersuchen. Der korrekte Gebrauch der Fachsprache wird gezielt geübt. Die Schüler*innen lernen außerdem, dass ein unsachgemäßer Gebrauch zu Missverständnissen und Fehlinterpretationen führen kann.
2.4.4 Bewertung
Die letzte prozessbezogene Kompetenz in naturwissenschaftlichen Fächern ist die Bewertung. Im Zentrum dieser Kompetenz steht die ethische, aber auch kritische Urteilsbildung für ein verantwortungsbewusstes Handeln des Menschen der Natur und Kultur gegenüber (Nerdel, 2017). Dabei stellen die Schüler*innen eine begründete Beziehung zwischen Chemie, Technik, Umwelt und Gesellschaft her. Sie erkennen die gesellschaftliche Bedeutung naturwissenschaftlicher Erkenntnisse, können chemische Sachverhalte in unterschiedlichen Kontexten begründet beurteilen und reflektierte Entscheidungen treffen. Die Teilbereiche der Bewertungskompetenz sind Bewertungskriterien formulieren und anwenden, Handlungsoptionen formulieren sowie Handlungsfolgen beurteilen; jeweils mit differenzierten Ausprägungen und Schwerpunkten (Ministerium für Bildung, Wissenschaft und Kultur des Landes Schleswig Holstein, 2019).
Die Bewertungskompetenz lässt sich besonders durch Aufgabenstellungen schulen, die argumentativ bearbeitet werden und mehrere Kontexte miteinbeziehen. Ein exemplarisches Beispiel der durchgeführten Studie ist: „Erkläre, warum die Vorstellung von einem leeren Raum zwischen Atomen im Alltag nur wenig relevant, für Chemiker dagegen sehr wichtig ist.“ Die Schüler*innen sind aufgefordert wissenschaftliche Erkenntnisse in unterschiedlichen Kontexten zu bewerten. Sie lernen, dass Kontextualisierung ein wichtiger Bestandteil der wissenschaftlichen Forschung ist und dass Erkenntnisse unterschiedliche Gewichtungen bekommen können. Die Schüler*innen überlegen sich Bewertungskriterien und kommen eigenständig zu einer Einschätzung der genannten Sachverhalte.
2.5 Kompetenzorientierte Aufgaben
Die Förderung der Kompetenzen im Unterricht kann nicht nur durch die Wahl eines passenden Kontextes angeregt werden, sondern insbesondere auch durch die vorherrschende Aufgabenkultur mitbestimmt werden. Im Gegensatz zum Kunst-, Mathematik- oder Sprachunterricht finden sich in den Naturwissenschaften und insbesondere in Chemie keine Aufgabentraditionen wieder. „Speziell für den Chemieunterricht fehlt bisher eine systematische Auseinandersetzung mit dem Themengebiet ,Aufgaben‘, wie man sie zum Beispiel für den Physikunterricht findet“ (Nentwig, et al., 2004 S. 22). Aufgaben im Chemieunterricht wurden über einen langen Zeitraum primär zum Wiederholen eingesetzt. Allerdings fand nur in jeder sechsten Stunde überhaupt ein Aufgabeneinsatz statt (Tepner, et al., 2010). Damit wird der Stand, den Aufgaben über lange Zeit in den Naturwissenschaften hatten, verdeutlicht. Dies änderte sich als Reaktion auf die internationalen Schulleistungsstudien PISA und TIMSS und infolgedessen etablierte sich statt der Wissensdarbietung eine Wissenserarbeitung (Tepner, et al., 2010).
Die Effektivität von Aufgaben im Chemieunterricht wurde vereinzelt untersucht. In der Studie von Tepner, Roeder und Melle aus dem Jahr 2010 konnte gezeigt werden, dass der Aufgabeneinsatz im Chemieunterricht eine signifikante Leistungssteigerung in Bezug auf die Kontrollgruppe zur Folge hatte. Zudem konnten Interaktionseffekte mit der allgemeinen Leistungsstärke oder dem Geschlecht ausgeschlossen werden. Vom Aufgabeneinsatz profitierten alle Schüler*innen gleichermaßen. Auch wurde die Schülermeinungen zur Nutzung von Aufgaben erhoben. Es zeigt sich eine leichte, jedoch nicht signifikante, Bevorzugung des aufgabenbasierten Unterrichts.
Dass das bloße Einsetzen von Aufgaben nicht sehr erfolgsversprechend ist, wurde spätestens mit der Einführung von Operatoren deutlich. Aufgaben müssen die Schüler*innen zum selbstständigen Arbeiten anregen. Die didaktische Funktion von Aufgaben gilt es zu beachten und zu analysieren. Dass die Einführung der Operatoren nicht die Notwendigkeit von kompetenzorientierten Aufgaben untergräbt, argumentiert Ziener in seinem Aufsatz. Er führt zum einen die Funktion von Operatoren als „Formulierungen für abschließende Leistungsfeststellungen“ an, sowie die unterschiedlichen Anforderungsniveaus und Ausprägungen, die allein durch einen Operator nicht zu definieren sein (Ziener, 2015 S. 11f.). Neben der neuen Aufgabenetablierung im Chemieunterricht werden auch kompetenzorientierte Aufgaben eingeführt. Sie gelten als „Träger von Lerngelegenheiten und Lernprozessen“, die den „Dreh- und Angelpunkt des kompetenzorientierten Unterrichts“ darstellen (Reusser, 2014). Kompetenzorientierte Aufgaben unterliegen zu einem großen Teil den gleichen Gütekriterien wie andere Lernaufgaben, durch ihr Ziel des nachhaltigen Kompetenzerwerbs zeichnen sie sich jedoch durch andere Merkmale insbesondere aus (vgl.Reusser, 2013). Zum einen stellt die Darstellung der fachlichen Kernidee sowie das Ansprechen fachspezifischer Fähigkeiten und Fertigen eine wichtige Eigenheit von kompetenzorientierten Aufgaben dar, zum anderen müssen sie Lernprozesse für ein tiefes, fachliches Verständnis anregen sowie Motivation und Neugier erzeugen. Der Bezug zu curricularen Inhalten und Kompetenzen soll ersichtlich und die Problemlösekompetenz der Schüler*innen vertieft werden. Lösungen von kompetenzorientierten Aufgaben müssen auf unterschiedlichen Niveaus mit unterschiedlichen Anforderungen möglich sein. Sie sollen Differenzierungsmöglichkeiten bieten und eine hohe Aktivität der Lernenden ermöglichen (Sterkl, et al., 2019). Neben all diesen Bedingungen darf die Orientierung an den fachspezifischen Kompetenzmodellen nicht fehlen. Es wird ersichtlich, dass kompetenzorientierte Aufgaben deutlich mehr Anforderungen unterliegen als einfache Lern- oder Testaufgaben.
Nicht alle Lerngelegenheiten, die kompetenzorientiert angelegt sind, erfüllen all diese Aspekte. Solche, die beispielsweise das Fachwissen vollkommen isoliert fördern, können und müssen nicht allen oben genannten Kriterien entsprechen.
Kompetenzorientierte Aufgaben genießen in der Praxis ein besseres Ansehen als traditionelle Aufgaben. Sie fördern Verständnis und Kommunikation, erfordern von der Lehrkraft aber auch eine genaue Planung und einen zielgerichteten Einsatz (Sterkl, et al., 2019).
Zur Erfüllung der Forderung nach mehr kompetenzorientierten Aufgaben können häufig bereits vorhandene Formulierungen recycelt werden. Durch den Wechsel der Darstellungsform, das Verwenden von Analogien oder die Aufforderung zur Interpretation lassen sich aus Standardaufgaben kompetenzorientierte Lerngelegenheiten konzipieren (Wiese, 2010).
2.6 Der simulierte Klassenraum
In dieser Studie wurde als Methode der simulierte Klassenraum gewählt (Südkamp, et al., 2008; Fiedler, et al., 2002; Fiedler, et al., 2007). Das experimentelle Computersystem simuliert Unterricht mit anschließender Bewertung der Schüler*innen durch die Proband*innen. Die Anwender*innen übernehmen am Computer die Rolle der Lehrkraft und interagieren über einen Zeitraum von einer Unterrichtsstunde mit simulierten Schüler*innen, deren Leistungen gesteuert und kontrolliert werden können. Anschließend erfolgt die Bewertung der beobachteten Leistung durch die Studienteilnehmer*innen. Die Möglichkeit der Variation von Aussehen, Namen und Anordnung der Schüler*innen verhindert, dass außer der beobachteten Leistungen andere Faktoren Einfluss auf die gemachten Bewertungen haben, wie dies zum Beispiel im realen Unterrichtsgeschehen der Fall ist (Südkamp, et al., 2009). Zudem besteht im Computersystem die Möglichkeit zu kontrollieren, welche Informationen für die Proband*innen zugänglich sind. In Feldstudien und der realen Unterrichtssituation verarbeiten und beziehen Lehrkräfte häufig viele unterschiedliche Beobachtungen in die Leistungsbeurteilung mit ein. Dies macht ein Zurückführen des Urteils auf bestimmte Einflussfaktoren schwierig. Im simulierten Klassenraum lässt sich der Urteilsprozess nachvollziehen und auf die gegebenen Informationen zurückführen (Südkamp, et al., 2009). Gleichzeitig bietet eine Computersimulation einen entscheidenden Nachteil. Mithilfe des manipulierenden Eingreifens werden Situationen und Bedingungen hergestellt, welche sich in der Realität nicht wiederfinden lassen. Ergebnisse müssen vor diesem Hintergrund betrachtet und interpretiert werden.
Entwickelt wurde der simulierte Klassenraum für die Untersuchung sozial-psychologischer Fragstellungen. In ersten Untersuchungen von Fiedler et al. zeigen sich Korrelationen von r = .47 zwischen Schülerleistungen und Lehrkräfteurteil (Fiedler, et al., 2002). Für die Untersuchung von pädagogisch-psychologischen Fragestellungen wurde die Simulation überarbeitet und mit neuen Komponenten ausgestattet (Südkamp, et al., 2008). In Studien zur allgemeinen Leistungsbeurteilung konnten signifikante Korrelationen von r = .62 und r = .68 der Rangkomponente in zwei Durchgängen gefunden werden (Südkamp, et al., 2008). Auch der Referenzgruppeneffekt wurde im simulierten Klassenraum beobachtet. In einer Studie von Südkamp und Möller konnte eine Effektstärke von A = .56 sowie A = .47 für die direkten und indirekten Einschätzungen der Leistungen gefunden werden (Südkamp, et al., 2009). In der direkten Einschätzung zeigte sich ein nicht signifikantes Regressionsgewicht, sodass kein Referenzgruppeneffekt nachgewiesen werden konnte. Für die Notenvergabe dagegen konnte ein Einfluss des mittleren Leistungsniveaus einer Klasse gemessen werden. Die entscheidende Beurteilung von Lehrkräften wird demnach auch in der Simulation vom Referenzgruppeneffekt beeinflusst (Südkamp, et al., 2009).
3 Ziel und Fragestellung
Es wurde bereits deutlich, dass die Bewertung von unterschiedlichen Kompetenzen im Fach Chemie unterschiedliche diagnostische Fertigkeiten der Lehrkraft beansprucht. Während der Referenzgruppeneffekt bisher eher im Allgemeinen in Untersuchungen thematisiert wurde, ist es das Ziel dieser Studie den Einfluss des Effektes auf die Leistungsbeurteilung der unterschiedlichen Kompetenzen des Chemieunterrichts zu untersuchen. Dabei soll der Einfluss eines variierenden mittleren Leistungsniveaus einer Klasse auf die Beurteilung der Leistungen der Schüler*innen durch die Lehrkräfte im Allgemeinen sowie ausdifferenziert in den inhaltlichen und prozessbezogenen Kompetenzen des Chemieunterrichts analysiert werden. Hierfür wurde mit Hilfe des simulierten Klassenraumes eine virtuelle Klassengemeinschaft erschaffen. Die Studienteilnehmer*innen wurden zufällig einer Klasse mit hohem, mittlerem oder niedrigem durchschnittlichen Leistungsniveau zugeteilt. Die Teilnehmenden unterrichteten ihre Klasse 30 min. zum exemplarischen Thema „Atommodelle und Periodensystem“. Die Hälfte der Proband*innen musste im Anschluss an jede Antwort aktiv einschätzen, ob diese richtig oder falsch war. Die andere Hälfte wurde lediglich aufgefordert, diese Einschätzung vorzunehmen, musste sie jedoch nicht aktiv angeben. Anschließend wurden die Teilnehmer*innen gebeten, die Leistungen ihrer Schüler*innen prozentual und auf einer Notenskala einzuschätzen sowie die Kompetenzausprägungen und die mündliche Beteiligung zu beurteilen. Im Rahmen dieser Masterarbeit sollen vor dem Hintergrund der vorgestellten empirischen Befunde folgende Fragestellungen beantwortet werden:
1. Beeinflusst ein unterschiedliches mittleres Leistungsniveau einer Klasse die Genauigkeit der direkten und indirekten Leistungsbeurteilung sowie der Kompetenzeinschätzungen durch Lehrkräfte im Fach Chemie?
2. Gibt es einen Unterschied in der Genauigkeit der Kompetenzeinschätzungen zwischen der inhalts- und den prozessbezogenen Kompetenzen?
3. Lassen sich Referenzgruppeneffekte auf die Kompetenz- und Leistungseinschätzungen durch Lehrkräfte im Fach Chemie nachweisen?
4. Verbessert sich die Genauigkeit der Einschätzungen der Teilnehmer*innen, wenn die Antwortqualität direkt eingeschätzt werden muss?
Aus den bisherigen empirischen Befunden sowohl im realen Kontext (Helmke, et al., 2004; Begeny, et al., 2008) als auch im simulierten Klassenraum (Südkamp, et al., 2009; Südkamp, et al., 2008) ergibt sich die Annahme, dass die Genauigkeit der Lehrerurteile unabhängig vom mittleren Leistungsniveau im guten mittleren Bereich liegt. Es wird vermutet, dass das Niveau der Schüler*innen grundsätzlich etwas überschätzt und die Streuung eher unterschätzt wird.
Dabei wird angenommen, dass leistungsschwächere Schüler*innen über- und leistungsstarke Schüler*innen unterschätzt werden und somit die Genauigkeit der Einschätzungen in Klassen mit mittlerem Leistungsniveau am größten ist.
Zu der Beurteilungsgenauigkeit von naturwissenschaftlichen Kompetenzen gibt es bisher keine empirischen Befunde, sodass die Annahmen aufgrund der inhaltlichen Ausrichtungen der Kompetenzen getroffen werden. Es wird davon ausgegangen, dass die Kompetenz „Umgang mit Fachwissen“ signifikant genauer eingeschätzt wird als die prozessbezogenen Kompetenzen, da bei diesen häufig ein Interpretationsspielraum in den Antworten zu finden ist und eine genaue Einschätzung daher als schwieriger angesehen wird. Bezüglich des Einflusses des mittleren Leistungsniveaus einer Klasse wiederholt sich die Annahme, dass ein mittleres Niveau die genausten Einschätzungen der Kompetenzleistungen ermöglicht.
Hinsichtlich der Referenzgruppeneffekte wird aufgrund der bisherigen empirischen Befunde (Marsh, 1987; Trautwein, et al., 2006; Südkamp, et al., 2009) ein Effekt auf die indirekten Einschätzungen der Note und der Kompetenzleistungen vermutet. Referenzgruppeneffekte auf die direkte Einschätzung konnten bisher nicht berichtet werden (Südkamp, et al., 2009) und werden nicht angenommen.
Schließlich resultiert aus der letzten Fragestellung die Annahme, dass sich durch das direkte und wiederholte Einschätzen der Antwortqualität die Genauigkeit durch eine bessere Gedächtnisleistung signifikant erhöht.
4 Methode
4.1 Stichprobe
Die Stichprobe bestand aus N = 53 Lehramtsstudierenden der Christian-Albrechts-Universität zu Kiel. Das durchschnittliche Alter der Teilnehmenden betrug M = 24.8 (SD = 2.2) Jahre. 58,5% der teilnehmenden Studierenden waren weiblich. Alle Teilnehmer*innen studierten Chemie für das Lehramt an Gymnasien. Das zweite Studienfach war weit gestreut. 27% der Proband*innen studierten als Zweitfach Biologie, jeweils ca. 15% studierten Mathematik oder Deutsch. Insgesamt 74% der Befragten gaben an, sich im Master ihres Studiums zu befinden. Alle Befragten werden später an einem Gymnasium oder einer Gemeinschaftsschule unterrichten.
Die Untersuchung wurde sowohl in fachdidaktischen Lehrveranstaltungen der Chemie an der Universität Kiel als auch über soziale Medien durchgeführt.
4.2 Schülerantworten
Da zum jetzigen Zeitpunkt nur wenige kompetenzorientierte Aufgaben zum gewählten Unterrichtsthema der Studie vorliegen, wurden entsprechende Formulierungen in enger Absprache mit der fachdidaktischen Abteilung der Chemie der Universität Kiel entwickelt und passende Antworten generiert. Die Aufgaben winden operationalisiert und auf Grundlage der geltenden Fachanforderungen erstellt. Dabei winden insbesondere der thematische Zusammenhang sowie eine ähnliche Schwierigkeit beachtet. Der Einsatz im realen Unternchtsgeschehen ist durch die enge Eingebundenheit der Fachanforderungen möglich. Zudem sind einige Aufgaben bereits existierenden frei verfügbaren Vorschlägen zum Unterrichtseinsatz entnommen.
Die Antworten der Schüler*innen beinhalten bekannte Fehlvorstellungen zum Aufbau der Atome und der Materie. Unter anderem die Vorstellungen vom leeren Raum oder die uneingeschränkte Anwendbarkeit von Modellen sowie deren Bezug zur Realität. Die Antwortlängen sind ähnlich gehalten worden, um ein Identifizieren der richtigen Antwort aufgrund der Antwortlänge durch die Proband*innen zu verhindern. Zudem wurde der Inhalt der Antworten auf die Grundlage der geltenden inhaltlichen Vorgaben des Landes Schleswig- Holstein (Ministerium für Bildung, Wissenschaft und Kultur des Landes Schleswig Holstein, 2019) abgestimmt. Jeder Kompetenzbereich enthält zwischen 10 und 15 unterschiedliche Fragen, die unterschiedliche Teilkompetenzen insbesondere ansprechen. Eine Darstellung der Aufgaben und entsprechender Antworten finden sich im Anhang A.
4.3 Instrument
Zur Untersuchung der vorgestellten Fragestellungen wird eine für pädagogisch-psychologische Zwecke modifizierte Version des „Simulierten Klassenraums“ genutzt. Die Simulation ist so gestaltet, dass die Proband*innen über einen Zeitraum von einer Unterrichtsstunde aus einem Fragenmenü vorgegebene Fragen auswählen und an einzelne Schüler*innen richten können. Jeder Teilnehmende unterrichtet dabei eine Klasse bestehend aus 12 Schüler*innen, 6 Mädchen und 6 Jungen, welche durch Bilder von Kindern einer 8. Klasse sowie ihre Namen gekennzeichnet sind (Abbildung 3). Die Namen stammen aus den beliebtesten Vornamen des Jahres 2006. dem Geburtsjahr von Schüler*innen, welche sich zum Zeitpunkt der Untersuchung (2020) im 8. Schuljahr befinden. Fotos und Namen werden jedem Probanden innerhalb der Geschlechtergruppe randomisiert zugeordnet. Auch die Sitzordnung wird über alle Teilnehmenden variiert, um eventuelle Effekte zu verhindern.
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 3: Darstellung des simulierten Klassenraums mit einer ausgewählten Frage.
Zu Beginn der Untersuchung winden die Teilnehmenden mithilfe ausführlicher Instruktionen in die Funktionsweise des „Simulierten Klassenraums“ eingewiesen. Es wurde zudem mitgeteilt, dass wählend der Untersuchung keine Notizen anzufertigen seien. Der Wortlaut der Instruktionen ist in Anhang B zu finden. Den Proband*innen winde das Thema des Unterrichts und die Vorgehensweise genannt. Auf die einführenden Hinweise folgte die Unterrichtseinheit. Die Teilnehmerinnen stellten über einen Zeitraum von 30 Minuten eigenständig ausgewählte Fragen aus den vier Kompetenzbereichen der Chemie. Gemäß der eingestellten Häufigkeitsparameter melden sich anschließend einige der Schülerinnen, um eine Antwort zu geben.
Die Teilnehmenden wählten per Mausklick ein Kind aus, welches entsprechend des ebenfalls voreingestellten Fähigkeitsparameters eine richtige oder falsche Antwort gab. Die Antwort sowie die Frage wurden inklusive des Bildes und des Namens hervorgehoben. Die Teilnehmenden bestätigten mit „Weiter“, dass die Antwort gelesen wurde. Den Proband*innen winde die Qualität der Antworten nicht mitgeteilt. Stattdessen wurde die Hälfte der Teilnehmerinnen nach jeder Antwort aufgefordert, diese aktiv einzuschätzen (Abbildung 4). Der anderen Hälfte winde lediglich mitgeteilt, dass die Qualität eigenständig einzuschätzen sei.
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 4: Darstellung der Qualitätseinschätzung einer gegebenen Antwort einer Schülerin im simulierten Klassenraum.
Zu jeder Frage existierten drei falsche sowie eine richtige Antwort. Dies gewährleistet eine
Variation bei mehreren aufeinanderfolgenden falschen Antworten. Die Teilnehmenden waren
vollkommen frei, sowohl in ihr er Wahl der Fragen als auch in der Wahl des Kindes. Es konnten auch Schüler*innen aufgerufen werden, welche sich nicht eigenständig zu Wort meldeten. Im Verlauf der Unterrichtseinheit konnten beliebig viele Fragen gestellt werden.
Nach Ablauf des 30-minütigen Unterrichts folgte die Einschätzung aller 12 Schüler*innen. Die Teilnehmenden wurden aufgefordert, den prozentualen Anteil an richtigen Antworten und Meldungen anzugeben sowie eine Note zu vergeben. Bezüglich der Kompetenzleistung wurde ein Auswahlmenü genutzt (Abbildimg 5). Die Proband*innen wählten für jeden Kompetenzbereich eine Leistungsstufe.
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 5: Darstellung der Bewertungsoptionen einer Schülerin nach erfolgter Unterrichtssequenz.
Für den Bewertungsprozess wurde kein zeitliches Limit gesetzt. Alle vorgenommenen Einschätzungen konnte beliebig oft geändert werden. Nachdem alle 12 Schüler*innen bewertet wurden mid der Teilnehmenden ihre Auswahl bestätigt hatten, folgte eine Einschätzung des mittleren Leistungsniveaus der zuvor unterrichteten Klasse sowie ein Fragebogen mit Items zu soziodemographischen Daten. Abschließend wurde den Proband*innen in einem Reportmodul mitgeteilt, inwiefern ihre Einschätzungen sich mit den eingestellten Parametern deckten.
4.4 Unabhängige Variablen
4.4.1 Fähigkeit der simulierten Schülerinnen
Die Fähigkeit der simulierten Schüler*innen stellt die erste unabhängige Variable irr dieser Strrdie dar. Sie winde über den Anteil der korrekten Antworten operationalisiert. Es wurden Schüler*innen mit schwachen, mittleren und starken Leistungen progranuniert. Dies winde mithilfe der Logitmetrik und einer Kovarianzmatrix der Parameterdimensionen realisiert. Aufgrund der ähnlichen Anforderungen der beiden Kompetenzen Umgang mit Fachwissen und Erkenntnisgewiiuiimg sowie Kommunikation mid Bewertung winde jeweils eine Kovarianz von .70 gewählt. Untereinander korrelieren die Kompetenzen mit .50. In Anlehnung an Südkamp & Möller (2009) winden die drei Leistungsniveaus mit einem Anteil von 30%, 50% und 70% korrekter Antworten realisiert. Es hat sich in bisherigen Studien gezeigt, dass Proband*innen in der Lage sind in der zur Verfügung stehenden Zeit diese Niveaus zu differenzieren und zu identifizieren (Fiedler, et al., 2002). Die eingestellten Parameter finden sich in Tabelle 1. Ob die Schüler*innen eine richtige oder falsche Antwort auf eine konkrete Frage geben, wird über einen Zufallsalgorithmus bestimmt. In Abhängigkeit davon, wie oft einzelne Schüler*innen von jedem Teilnehmenden aufgerufen werden, kann ihre tatsächlich erbrachte Leistung von der voreingestellten abweichen. Daher wurde bei der Ergebnisauswertung die tatsächliche Fähigkeit berücksichtigt.
4.4.2 Beteiligung der simulierten Schüler*innen
Die Beteiligung der Schüler*innen ist die zweite unabhängige Variable. Für die Kovarianz der Leistung und Beteiligung wurde durchgängig ein Wert von .30 gewählt, da im Allgemeinen davon auszugehen ist, dass sich Schüler*innen mit guten Leistungen häufiger Melden als solche mit schwächeren Leistungen. Die Wahrscheinlichkeiten dafür, dass sich eine Schüler*in bei einer gestellten Frage zu Wort meldet, sind ebenfalls in Tabelle 1 verzeichnet.
Tabelle 1: Versuchsplan mit den Mittelwerten (Standardabweichungen) der intendierten Schülerleistungen der drei Leistungsniveaus in den einzelnen Kompetenzen und der Beteiligung.
Abbildung in dieser Leseprobe nicht enthalten
4.4.3 Leistungsniveau der Klasse
Das Leistungsniveau der Klasse stellt die letzte unabhängige Variable dar. Die Proband*innen wurden zufällig einer Klasse mit niedrigem (M = .32 (SD = .18)), mittlerem (M = .48 (SD = .20)) oder hohem (M = .68 (SD = .19)) Leistungsniveau zugeordnet. Die exakte Verteilung der Fähigkeitsparameter ist in Anhang C aufgeführt. In jeder Klasse befanden sich 6 Schülerinnen und 6 Schüler, deren Beteiligung ebenfalls variiert wurde (siehe Tabelle 1).
4.5 Abhängige Variablen
4.5.1 Direkte Einschätzungen
Nach Ende des 30-minütigen Unterrichts wurden die Proband*innen aufgefordert, den Anteil korrekter Antworten jeder Schüler*in der Klasse auf einer Ratingskala von 0-100% einzuschätzen. Zudem wurden sie gebeten, die Beteiligung der Lernenden ebenfalls prozentual einzuschätzen.
4.5.2 Indirekte Einschätzungen
Die Proband*innen wurden außerdem gebeten, eine Note auf der bekannten Notenskala (1 = sehr gut, 2 = gut, 3 = befriedigend, 4 = ausreichend, 5 = mangelhaft, 6 = ungenügend) für jede Schüler*innen auf Grundlage der wahrgenommenen Leistung zu vergeben.
4.5.3 Einschätzung der Kompetenzleistung
Die Teilnehmer*innen sollten abschließend den Kompetenzstand jedes Lernenden einschätzen. Dafür wurde das ursprüngliche 5-stufige Kompetenzmodell nach Dreyfus und Dreyfus, leicht
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 6: Anwendung des Dreyfus/Dreyfus-Modells zur Charakterisierung der Kompetenzentwicklung. (Spöttl, et al., 2005 S. 34)
ursprünglichen Kompetenzstufen mit Interpretationen zur Kompetenzentwicklung nach Spöttl und Becker versehen.
Die Bezeichnungen Neuling, Fortgeschrittener, Kompetenter, Gewandter und Experte des Modells wurden zugunsten einer besseren Verständlichkeit und Anpassung an schulische Kompetenzen in Beginnend, Erste Entwicklungen, Grundkompetenz vorhanden, Erfahren und Expertise umgeändert. Diese Benennung hat sich bereits in vorherigen Studien bewährt und ermöglicht den Proband*innen ohne genaue Kenntnis des Modells eine gezielte Einschätzung.
4.6 Auswertung
Die N = 53 Teilnehmenden beurteilten jeweils 12 simulierte Schülerinnen und Schüler, so ergaben sich je 636 direkte und indirekte Einschätzungen in Form von Noten und Kompetenzleistungen. Um sich zunächst einen ersten Überblick über die Datenlage zu verschaffen, werden die Mittelwerte und Standardabweichungen ausgewählter Variablen berichtet und deren bivariate Korrelation nach Pearson berechnet (Behr, 2019). Das Signifikanzniveau wurde auf a = .05 festgelegt. Die deskriptiven als auch die statistischen Analysen wurden mit Hilfe von RStudio realisiert.
Zur Überprüfung der Annahmen bezüglich der Genauigkeit der Einschätzungen werden für die direkten Einschätzungen die Rang-, Niveau- und Differenzierungskomponente berechnet (Spinath, 2005; Schrader, et al., 1987). Für die indirekte Einschätzung in Form von Noten wurde lediglich die Rangkomponente berechnet, da sonst eine Transformation der tatsächlichen Leistungen auf die Notenskala oder der Noteneinschätzungen auf die prozentuale Leistung vorgenommen werden müsste. Darauf wurde an dieser Stelle verzichtet, eine solche Transformation wurde aber bei den Kompetenzeinschätzungen vorgenommen. In Anlehnung an Cronbach wurde ebenfalls auf die Berechnung des globalen Abweichungsmaßes verzichtet, da dieses mehrere Urteils- und Urteilsfehlertendenzen beinhaltet, deren Ausprägungen nicht ersichtlich sind (Cronbach, 1955). Bezüglich der Einflussvariable Niveau werden die Komponenten mit Hilfe einer einfaktoriellen Varianzanalyse auf signifikante Unterschiede getestet.
Eine Berechnung der Rangkorrelation zwischen der tatsächlichen Leistung der simulierten Schüler*innen und den Einschätzungen liefert die Rangkomponente. Diese gibt an, inwiefern die Teilnehmen in der Lage sind, korrekte Rangfolgen unter den Schüler*innen herzustellen.
Die Niveaukomponente ergibt sich aus der über alle Teilnehmenden gemittelten Differenz der Mittelwerte der tatsächlichen Leistungen und dem Mittelwert der Einschätzungen. Eine optimale Niveaueinschätzung liegt bei einem Wert von Null vor. Dabei sprechen positive Werte für eine Überschätzung des Klassenniveaus.
Zur Berechnung der Differenzierungskomponente wird das Verhältnis aus der tatsächlichen Streuung und der eingeschätzten Streuung der Schülerleistungen gebildet. Der Optimalwert liegt bei 1.00. Höhere Werte sprechen für eine Über- niedrigere Werte für eine Unterschätzung der Streuung.
Um die Annahme einer genaueren Einschätzung bei mittlerem Klasseniveau zu überprüfen, wurden die Komponenten der unterschiedlichen Niveaus mit Hilfe einer einfaktoriellen Varianzanalyse auf signifikante Unterschiede in den Mittelwerten geprüft. Dabei wurden die Komponenten so transformiert, dass eine identische Über- und Unterschätzung nicht zu einem signifikanten Unterschied führt. Die Voraussetzung der Normalverteilung der abhängigen Variablen wurde mit visuellen Methoden, die Varianzhomogenität mit Hilfe des Levene-Tests überprüft. Für die einfaktorielle Varianzanalyse wird der F-Wert als Verhältnis aus den Varianzen zwischen den Niveaus und den Varianzen innerhalb der Niveaus gebildet. Wird der F-Wert signifikant groß, ist also die Varianz zwischen den Niveaus signifikant höher als die Varianz innerhalb der Niveaus, wird die Nullhypothese, dass kein signifikanter Unterschied vorliegt, verworfen. Der Anteil der aufgeklärten Variabilität der Stichprobe lässt sich mit der Effektstärke n[2] (Eta-Quadrat) berechnen. Bei der Berechnung des Effektmaßes werden statt der Varianzen die Quadratsummen der Komponenten verwendet (Rasch, et al., 2014). Für eine bessere Klassifizierung der Effektstärken werden die berechneten Werte in Effektstärken nach Cohens transformiert (Cohen, 1992).
[...]
1 naturwissenschaftliche Sacnvemane in verschiedenen Kontexten sachgerecht oeudeien - die geselschaftliche Bedeutung der Naturwissenschaften erfassen - naturwissenschaftliche Kenntnisse nutzen
- Quote paper
- Anonymous,, 2021, Der Einfluss des Referenzgruppeneffektes auf die Leistungsbeurteilung der Kompetenzen im Fach Chemie, Munich, GRIN Verlag, https://www.grin.com/document/1298528
-
-
-
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X.