Evaluation ist ein wissenschaftliches Verfahren, dessen Ziel es ist, Handeln zu überprüfen und zu bewerten mit dem Ziel der Optimierung des Handelns. Es geht im Bereich der Erwachsenenbildung vorwiegend darum, was „wir für die Zukunft anders und besser machen können, damit Teilnehmer/-innen an Seminaren optimale Lernumfeldbedingungen antreffen und optimale Lernprozesse in Gang kommen können.“ Die angewandten Methoden müssen dabei den wissenschaftlichen Standards entsprechen, was im Bereich der Pädagogik konkret bedeutet, dass eine Orientierung an den Anforderungen und Gütekriterien für Methoden quantitativer und qualitativer Sozialforschung erfolgen muss, um wissenschaftlich akzeptierte und verwertbare Ergebnisse zu erzielen.
Deie Arbeit beschäftigt sich zunächst mit den theoretischen Grundlagen der Evaluation in der Erwachsenenbildung um dann die Methoden der Veranstaltungsevaluation im einzelnen zu betrachten.
INHALT
1. Die theoretischen Grundlagen der Evaluation von Erwachsenenbildung
1.1 Evaluation: Begriffsklärung und allgemeine Grundlagen
1.1.1 Begriffsklärung
1.1.2 Evaluationsebenen und Evaluationsfelder
1.1.3 Arbeitsschritte einer Evaluation
1.2 Ausgewählte Theoriemodelle der Evaluation
1.2.1 Prozess- und phasenorientierte Ansätze
1.2.2 Ebenenorientierte Ansätze
1.2.3 Handlungsorientierter Ansatz
1.3 Zur Zusammenfassung: ‚pädagogischer Qualitätsbegriff’ und Ziele der Erwachsenenbildung
2. Methoden der Veranstaltungsevaluation
2.1 Auswahl der Evaluationsmethoden
2.2 Instrumentarium zu den Evaluationsfeldern einer Bildungsveranstaltung
2.2.1 Evaluation der Planungs- und Vorbereitungsphase
2.2.2 Prozessevaluation
2.2.3 Evaluation des Lernerfolgs
2.2.4 Transferevaluation
2.3 Die Nutzwertanalyse – ein integratives Instrument zur qualitativen Bewertung von Bildungsmaßnahmen
3. Zusammenfassung und Ausblick
1. Die theoretischen Grundlagen der Evaluation von Erwachsenenbildung
1.1 Evaluation: Begriffsklärung und allgemeine Grundlagen
1.1.1 Begriffsklärung
Wenn man sich mit dem Themenbereich Evaluation von pädagogischem Handeln beschäftigt, ist es zunächst notwendig, sich die Bedeutung des Begriffes Evaluation zu erschließen. Der Begriff ‚Evaluation’ ist lateinischen Ursprungs und bedeutet etwa ‚Bewertung’ oder ‚Bestimmung des Wertes’ oder ‚Auswertung’[1]. Der Ursprung der Evaluation als wissenschaftliche Bewertung von Handeln geht vermutlich auf die Soziologie zurück, wobei der Ursprung in den Vereinigten Staaten liegt. Dabei ist nicht klar, wann die ersten Evaluationsstudien durchgeführt wurden. Sie erfolgten wohl im Zusammenhang mit der Beurteilung der Wirksamkeit von politischen Reformprogrammen. Dabei gehen die Meinungen allerdings auseinander, ob die Untersuchungen über die Wirkung Roosevelts ‚New Deal’ in den 30er Jahren des 20. Jahrhunderts bereits als Evaluation bezeichnet werden können, oder ob Evaluation erst in den 60er Jahren des vergangenen Jahrhunderts mit der Bewertung der Reformpolitik Johnsons einsetzte.[2] Ausgehend von der Soziologie breitete sich das Gedankengut der Evaluation in andere Wissenschaften aus, und „hielt Einzug in das Bildungswesen, das Gesundheitswesen, die Arbeitsmarkt- und Beschäftigungspolitik sowie das Arbeitsleben und wurde im Rahmen von politischen Reformprogrammen eingesetzt.“[3]
Die Definition dessen, was unter Evaluation verstanden wird, ist in der Wissenschaft nicht eindeutig, daher ist es notwendig, für eine Annäherung an den Begriff diejenigen Merkmale herauszufiltern, die bei der Fülle von Definitionsversuchen von Evaluation immer wieder auftreten und damit die Evaluation am besten beschreiben bzw. dem Wesenskern der Evaluation am nächsten kommen.[4]
Gerlich identifiziert hier in etwa folgende wesentliche Merkmale[5], die bereits so von Wottawa und Thierau[6] vorgeschlagen werden:
- Evaluation ist Unterstützung für Planung und Entscheidung
- Bei der Evaluation stehen Ziel- und Zweckorientierung im Vordergrund: Praktische Maßnahmen sollen überprüft und verbessert werden.
- Die Evaluation erarbeitet die Grundlagen für Entscheidungen, die zur Verbesserung der praktischen Maßnahmen führt. Sie hat damit primär die Funktion und das Ziel der Handlungsoptimierung.
- Die Verwendung aktueller wissenschaftlicher Techniken und Methoden ist bei der Evaluation – wie bei jeder wissenschaftlichen Arbeit – eine Selbstverständlichkeit.
Zusammengefasst kann Evaluation damit als ein wissenschaftliches Verfahren angesehen werden, dessen Ziel es ist, Handeln zu überprüfen und zu bewerten mit dem Ziel der Optimierung des Handelns. Es geht im Bereich der Erwachsenenbildung damit vorwiegend darum, was „wir für die Zukunft anders und besser machen können, damit Teilnehmer/-innen an Seminaren optimale Lernumfeldbedingungen antreffen und optimale Lernprozesse in Gang kommen können.“[7] Die angewandten Methoden müssen dabei den wissenschaftlichen Standards entsprechen, was im Bereich der Pädagogik konkret bedeutet, dass eine Orientierung an den Anforderungen und Gütekriterien für Methoden quantitativer und qualitativer Sozialforschung erfolgen muss, um wissenschaftlich akzeptierte und verwertbare Ergebnisse zu erzielen. Ein Standard ist dabei „ein Prinzip, auf das sich die in einem Fachgebiet tätigen Praktiker geeinigt haben, und dessen Beachtung dazu beiträgt, dass die Qualität und die Fairneß der jeweiligen beruflichen Tätigkeit – z.B. Evaluation – verbessert werden.“[8]
1.1.2 Evaluationsebenen und Evaluationsfelder
Im Rahmen der Evaluation von Maßnahmen der Erwachsenenbildung können – analog zum Ablauf von Bildungsveranstaltungen – verschiedene Ebenen und Felder der Evaluation erkannt werden. Dabei orientiert sich die Evaluation an den Ebenen der Bildungsmaßnahme. Ebenen der Bildungsmaßnahme sind[9]:
1. Bedarfsanalyse und Festlegung der Zielsetzung der Bildungsmaßnahme
2. Planung, Entwicklung und Vorbereitung der Bildungsmaßnahme
3. Durchführung der Bildungsmaßnahme
4. Feststellung der Ergebnisse im Lernfeld
5. Anwendung des Gelernten (z.B. am Arbeitsplatz)
Den Ebenen der Bildungsmaßnahme entsprechen folgende Evaluationsfelder[10]:
1. Evaluation des Kontextes und der Ziele der Bildungsmaßnahme
2. Evaluation des Inputs der Bildungsmaßnahme (Teilnehmer, Erwachsenenbildner, Ressourcen)
3. Prozessevaluation (Evaluation des Bildungsprozesses im engeren Sinne)
4. Erfolgskontrolle im Lernfeld
5. Transferevaluation (Erfolgskontrolle im Funktionsfeld)
Die Evaluationsfelder 1-3 stellen dabei die sog. Prozessevaluation dar, da hierbei der Prozess der Bildungsmaßnahme selbst evaluiert wird, also diejenigen Entscheidungsfelder, welche Einfluss auf die Art der Gestaltung der Maßnahme nehmen. Dies kann ggf. während des Verlaufs der Maßnahme geschehen und unter Umständen zu notwendigen Korrekturen am geplanten Verlauf führen. Dies wird auch formative Evaluation genannt. Die Evaluationsfelder 4 und 5 werden als Produkt- bzw. Ergebnisevaluation bezeichnet, was auch mit dem Begriff summative Evaluation benannt wird. Hierbei wird das Ergebnis der Maßnahme evaluiert, wobei zu unterscheiden ist, ob es sich um eine Evaluation im Lernfeld selbst handelt (z.B. Abschlusstest eines Kurses) oder ob die Evaluation im Funktionsfeld durchgeführt wird (z.B. am Arbeitsplatz des Teilnehmers). Damit beurteilt die „summative Evaluation [...] zusammenfassend die Wirksamkeit einer [...] Intervention, während die formative Evaluation regelmäßig Zwischenergebnisse erstellt mit dem Ziel, die laufende Intervention [mit Intervention ist z.B. eine Bildungsmaßnahme gemeint. M.H.] zu modifizieren oder zu verbessern.“[11]
Neben den Ebenen einer Bildungsmaßnahme, die sich aus ihrem chronologischen Ablauf herleiten, existiert noch eine zweite Struktur von Ebenen bei Bildungsveranstaltungen: „Neben einer Sachebene gibt es eine Erlebnisebene und eine Beziehungsebene.“[12] Alle drei Ebenen stehen in wechselseitiger Beziehung zueinander und beeinflussen sich gegenseitig. Dies wird auch in Abbildung 1 dargestellt:
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 1: Beziehungen der Ebenen der Kommunikation bei Veranstaltungen
der Erwachsenenbildung. Quelle: Eigene Darstellung. Nach: BECKER (2000), 10f..
Die Einteilung dieser Ebene geht auf das Gedankengut der Themenzentrierten Interaktion von Ruth Cohn zurück. Bei der Bewertung von Maßnahmen der Erwachsenenbildung besteht die Gefahr, „das Augenmerk vor allem auf die Sachebene zu richten.“[13] Damit werden allerdings wichtige Aspekte menschlicher Kommunikation ausgeblendet, denn für einen gelingenden Dialog, der für eine erfolgreiche Bildungsmaßnahme notwendig ist, sind auch die Beziehungs- und Erlebnisebene entscheidend. Daher muss in die Evaluation neben der Sachebene auch die Erlebnis- und Beziehungsebene einbezogen werden, denn Erfolg oder Misserfolg einer Maßnahme sind auch von diesen Ebenen abhängig.
1.1.3 Arbeitsschritte einer Evaluation
Evaluation als Prozess der Bewertung von pädagogischem Handeln hat einen „definierten Anfang und ein definiertes Ende“[14]. Gerlich schlägt, in Anlehnung z.B. an die Vorarbeiten von Wottawa/Thierau[15] vor, sich bei der Evaluationen an dem in der Abbildung 2 dargestellten Ablauf zu orientieren, welcher die wesentlichen Phasen und Entscheidungsfelder einer Evaluation darstellt:
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2: Arbeitsschritte einer Evaluation. Quelle: GERLICH (1999), 14.
Bei Beginn der Evaluation ist zunächst eine Festlegung des Evaluationsschwerpunktes notwendig. Dabei sind „grundsätzliche, die Untersuchung betreffende Konkretisierungen über die Entscheidungsprobleme an sich, die Entscheidungsträger und die Entscheidungsbetroffenen vorzunehmen.“[16] Daran schließt sich die Situationsanalyse an, worunter insbesondere die Beachtung der Rahmenbedingungen zu verstehen ist, also die Analyse der institutionellen, organisatorischen und maßnahmenbezogenen Situation.[17] Der nächste Schritt, die konsensfähige Bestimmung der Evakuationsziele und Bewertungskriterien, weist explizit darauf hin, dass Evaluation im Prinzip nur mit Zustimmung aller an der Evaluation Beteiligten möglich ist, denn viele Methoden der empirischen Sozialforschung sind z.B. nicht gegen den Willen der Teilnehmer durchführbar. Hierin unterscheidet sich die (pädagogische) Evaluation vom Bildungscontrolling, also den ökonomischen Evaluationsansätzen, die nur in „geringem Maße auf die Akzeptanz des einzelnen angewiesen“[18] sind. Die Gütekriterien wissenschaftlichen Arbeitens verlangen es dabei natürlich, dass die Festlegung der Maßstäbe und der Kriterien vor Durchführung der Untersuchung erfolgt. Danach werden im Rahmen der Daten- und Informationssammlung die relevanten Daten erhoben und anschließend, bzw. im Idealfall parallel, bei der Daten- und Informationsauswertung mit adäquaten Auswertungsverfahren bearbeitet.[19] Die Ergebnisse einer Evaluation müssen – denn ansonsten ist eine Verwertung zur Handlungsoptimierung nicht möglich – durch eine Informations- und Berichterstattung „in verständlicher Form aufbereitet und vermittelt werden“[20]. Mit dem Evaluationsmanagement ist sowohl die „Planung, Steuerung und Kontrolle des Vorgehens“ zu verstehen, als auch eine „Bewertung der Evaluation selbst“[21], „was man allgemein als <<Meta-Evaluation>> bezeichnet.“[22]
Zur Bewertung von pädagogischen Maßnahmen stehen – vereinfacht dargestellt – zwei Konzepte zur Verfügung. Zum einen ist dies die oben in Kürze dargestellte Evaluation, zum anderen das sogenannte Bildungscontrolling. Der Unterschied der beiden Konzepte rührt daher, dass die beiden Ansätze aus zwei unterschiedlichen wissenschaftlichen Disziplinen und Traditionen entstammen und damit auch unterschiedliche Ziele verfolgen.[23] Während die Evaluation von Bildung der sozialwissenschaftlichen, psychologisch-pädagogischen Tradition entstammt, geht das Bildungscontrolling auf ökonomische Überlegungen zurück, insbesondere aus dem betrieblichen Finanzwesen. Damit ist der Fokus beider Methoden unterschiedlich, wohl sind aber für eine umfassende Bewertung von Bildungsmaßnahmen oft beide Ansätze notwendig, je nachdem welche Faktoren einer Maßnahme der Erwachsenenbildung einer Bewertung unterzogen werden sollen. Während für eine Bewertung der ökonomischen Daten eher Controllingansätze hilfreich sind, dienen zur Bewertung der pädagogischen Entscheidungsfelder eher Verfahren des Controlling. Dabei darf aber nicht übersehen werden, dass eine völlig scharfe Trennung zwischen Bildungscontrolling und Evaluation von Bildung nicht möglich ist, da sich die Übergänge fließend gestalten.
1.2 Ausgewählte Theoriemodelle der Evaluation
Im folgenden Abschnitt der Seminararbeit sollen einige Theoriemodelle vorgestellt werden, nach denen Evaluation von Veranstaltungen der Erwachsenenbildung möglich ist. Die drei vorgestellten Ansätze geben dabei allerdings nur Beispiele für Theoriemodelle der Evaluation vor und stellen keine abschließende Aufstellung aller denkbaren theoretischen Konzepte über Evaluation dar.
1.2.1 Prozess- und phasenorientierte Ansätze
Evaluationsansätze die eine Prozess- oder Phasenorientierung aufweisen zeichnen sich dadurch aus, dass sie „die Weiterbildung in allen Phasen, also von der Bedarfsanalyse bis hin zur Transferkontrolle“[24] evaluieren wollen. Dabei werden nicht nur die Ergebnisse der Bildungsmaßnahmen betrachtet, sondern auch die dazugehörenden Prozesse.
Als Beispiel für einen derartigen Ansatz der Evaluation soll der Ansatz von Heeg und Jäger aus dem Jahr 1995 dargestellt werden, den Gerlich als Beispiel für diese Art von Evaluationsansätzen vorstellt. Ziel einer so verstandenen Evaluation ist es, handlungsoptimierend zu wirken, indem die Evaluation für „die Bereitstellung und Pflege eines adäquaten Informationsinstrumentariums mit sowohl quantitativen als auch qualitativen Daten, die den Abruf von Informationen erlauben, die für die operative, taktische und strategische Planung, für die vergleichende Kontrolle sowie für die ad hoc- oder periodenbezogene Auswertung relevant sind.“[25] Angestrebt wird dabei, durch die Informationen die Bildungsmaßnahmen möglichst genau an den Bedarf anzupassen. Durch die Evaluation soll der Wert der Erwachsenenbildung festgestellt werden, was z.B. im Unternehmen heißt, dass bewertet wird, inwieweit die Bildungsmaßnahme dem Untenehmenserfolg dient.[26]
Im einzelnen umfasst dieser Evaluationsansatz folgende Schritte[27]:
- Ermittlung des aufgaben- und mitarbeiterbezogenen Bildungsbedarfs (Bildungsbedarfanalyse)
- Festlegung der Bildungsziele, der Messkriterien und der geeigneten Bildungsmaßnahme (Zielevaluation)
- Durchführung der EB (Prozessevaluation, ggf. Kontrolle)
- Erfolgsmessung anhand festgelegter Messkriterien in der ‚täglichen Arbeit‘ (Transferevaluation)
[...]
[1] Vgl. BECKER (2000), 7.
[2] Vgl. GERLICH (1999), 10.
[3] GERLICH (1999), 10.
[4] Vgl. GERLICH (1999), 11.
[5] Vgl. GERLICH (1999), 11.
[6] Vgl. WOTTAWA/THIERAU (1990), 9.
[7] BECKER (2000), 9.
[8] SANDERS (2000), 24.
[9] Vgl. GERLICH (1999), 12.
[10] Vgl. GERLICH (1999), 13.
[11] BORTZ/DÖRING (2001), 113.
[12] BECKER (2000), 10.
[13] BECKER (2000), 10.
[14] GERLICH (1999), 13.
[15] WOTTAWA/THIERAU (1990): Lehrbuch Evaluation.
[16] GERLICH (1999), 13.
[17] Vgl. GERLICH (1999), 13.
[18] GERLICH (1999), 11-12.
[19] Vgl. GERLICH (1999), 13.
[20] GERLICH (1999), 13.
[21] GERLICH (1999), 13-14.
[22] WOTTAWA/THIERAU (1990), 31. Textauszeichnungen im Original.
[23] Vgl. GERLICH (1999), 33-34.
[24] GERLICH (1999), 35.
[25] GERLICH (1999), 35.
[26] Vgl. GERLICH (1999), 35.
[27] Vgl. GERLICH (1999), 35-36
- Quote paper
- Markus Hubner (Author), Maria Hubner (Author), 2003, Möglichkeiten der Evaluation von Veranstaltungen der Erwachsenenbildung, Munich, GRIN Verlag, https://www.grin.com/document/34030
-
-
-
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X.