Der Bedeutungszuwachs von Evaluationsmodellen in der Personalentwicklungspraxis

Ein neo-institutionalistischer Erklärungsversuch

Bachelor Thesis , 2007 , 36 Pages , Grade: 1,8

Sociology - Methodology and Methods

Die wachsende Popularität von Evaluationsmethoden zur Bewertung von Personalentwicklungsmaßnahmen wird von der wirtschaftswissenschaftlichen und wirtschaftspsychologischen Literatur in der Regel durch zunehmenden Druck der
Geschäftsführung auf die Personalentwicklung erklärt. Es wird angenommen, dass von Personalentwicklern vermehrt erwartet wird, die eigenen Mittel vor dem Management zu rechtfertigen. In dieser Bachelorarbeit wird eine alternative Erklärung dieses Phänomens vorgestellt. Es wird argumentiert, dass der interne
Druck auf die Personalentwicklung nicht entscheidend für die Implementierung bestimmter Evaluationskonzepte ist. Hierzu wird gezeigt, dass Evaluationsmodelle eine zuverlässige Erfolgsmessung nicht ermöglichen können, weswegen ihrem Einsatz kein unmittelbar technisch-funktionaler Sinn zugrunde liegt. Gestützt auf Überlegungen des soziologischen Neo-Institutionalismus wird daher diskutiert, inwiefern externe Einflüsse auf eine Veränderung der Evaluationspraxis der Unternehmen wirken. Von den Entwicklern der Modelle selbst, so die These, wird dabei der größte Druck zur Umsetzung der eigenen Konzepte ausgeübt.

Inhalt

1. Abstract

2. Legitimationsdruck der Personalentwicklung

3. Evaluationskonzepte
3.1 Vier-Ebenen-Modell nach Kirkpatrick
3.2 Return on Investment nach Phillips.
3.3 Unmöglichkeit der Evaluation?

4. Evaluation in der Praxis

5. Interner Druck zur Evaluation

6. Neo-Institutionalistischer Erklärungsversuch
6.1 Definition
6.2 Externer Druck auf die Evaluationspraxis
6.2.1 Zwang zur systematischen Evaluation
6.2.2 Imitation von Evaluationskonzepten
6.2.3 Normativer Druck zur systematischen Evaluation

7. Fazit

8. Literatur

1. Abstract

Die wachsende Popularität von Evaluationsmethoden zur Bewertung von Personalentwicklungsmaßnahmen wird von der wirtschaftswissenschaftlichen und wirtschaftspsychologischen Literatur in der Regel durch zunehmenden Druck der Geschäftsführung auf die Personalentwicklung erklärt. Es wird angenommen, dass von Personalentwicklern vermehrt erwartet wird, die eigenen Mittel vor dem Management zu rechtfertigen. In dieser Bachelorarbeit wird eine alternative Erklärung dieses Phänomens vorgestellt. Es wird argumentiert, dass der interne Druck auf die Personalentwicklung nicht entscheidend für die Implementierung bestimmter Evaluationskonzepte ist. Hierzu wird gezeigt, dass Evaluationsmodelle eine zuverlässige Erfolgsmessung nicht ermöglichen können, weswegen ihrem Einsatz kein unmittelbar technisch-funktionaler Sinn zugrunde liegt. Gestützt auf Überlegungen des soziologischen Neo-Institutionalismus wird daher diskutiert, inwiefern externe Einflüsse auf eine Veränderung der Evaluationspraxis der Unternehmen wirken. Von den Entwicklern der Modelle selbst, so die These, wird dabei der größte Druck zur Umsetzung der eigenen Konzepte ausgeübt.

2. Legitimationsdruck der Personalentwicklung

In der betriebswirtschaftlichen und wirtschaftspsychologischen Literatur besteht die allgemeine Überzeugung, dass Personalentwicklung als Teil des strategischen Managements seit Beginn der 1980er Jahre zu einer „kritischen Unternehmensfunktion“ (Becker 2006, S. 5) aufgestiegen ist. Aufgrund des zunehmenden internationalen Wettbewerbs, der Verkürzung von Innovationszyklen und der Erschließung neuer globaler Märkte, verändern sich individuelle und kollektive Wissensbestände kontinuierlich. „Führungskräfte sowie Mitarbeiter stehen somit vor der Aufgabe, Anpassungsleistungen in immer kürzeren Zyklen erbringen zu müssen“ (Deller et al. 2006: 13).

Als Schlüssel zum erfolgreichen Bestehen auf dem hart umkämpften Weltmarkt gelten zu Beginn des 21. Jahrhunderts kreative, kompetente und eigenverantwortliche Mitarbeiter. Mittlerweile sehen viele Vertreter der Wirtschaft das Personal als die wichtigste Ressource eines Unternehmens an. Will ein Unternehmen dauerhaft am Markt bestehen, kommt es an einem effektiven Ressourcenmanagement, das die Leistungsfähigkeit des Personals aufrecht erhält bzw. erweitert, nicht vorbei (vgl. ebd.: 13).

Mit der erhöhten Nachfrage nach qualifiziertem Personal geht in der Praxis eine deutlich gesteigerte Investitionsbereitschaft der Unternehmen in Personalentwicklungsmaßnahmen einher. So gaben die deutschen Unternehmen im Jahre 2004 insgesamt 26,8 Milliarden Euro für betriebliche Weiterbildungsmaßnahmen aus. Die Ausgaben pro Mitarbeiter stiegen allein von 2001 auf 2004 um 23,5 Prozent von 869 Euro auf 1073 Euro an (Werner 2006).

Gerade in Zeiten des zunehmenden – auch innerbetrieblichen - Wettbewerbs werde jedoch notwendigerweise die Frage laut, ob Aufwendungen für Weiterbildungsmaßnahmen überhaupt sinnvoll sind. Hier steht die Personalabteilung - wie jede andere Abteilung auch - vor der Herausforderung ihre Ausgaben vor der Unternehmensleistung zu legitimieren, ansonsten drohen Kürzungen der Mittel. In einer Zeit, in der „Gelder längst nicht mehr nach dem Gießkannenprinzip verteilt werden“ (Deller et al. 2006: 14), werden Personalentwicklungsmaßnahmen zunehmend anhand monetärer Kriterien bewertet. Wie jede andere Investition sollen sie einen entsprechenden Return on Investment erzielen.

An diesem Punkt jedoch steht die Personalabteilung vor einem Problem. Andere Abteilungen wie die Produktion, der Vertrieb oder die Beschaffung haben gegenüber der Personalabteilung im Hinblick auf effiziente Instrumente zur Kosten-Nutzen- Analyse einer Investition einen strukturellen Vorteil. Ihren Aktivitäten liegen Mittel zu Grunde, deren Anschaffung, Transformation oder Verkauf monetär meist genau beziffert werden kann. Mit einer Investition in eine neue Maschine gehen genau beschreibbare Fixkosten einher, variable Kosten und der resultierende Output können anhand von Kostenrechnungsinstrumenten ausreichend genau bestimmt werden. Wenn eine Maschine statt zehn Teilen in der Stunde, mit einer neuen Technologie zwölf Teile in der Stunde fertigt, steigt die Produktivität in diesem Arbeitsbereich um zwanzig Prozent. Diese Kennzahl kann der Geschäftsleitung präsentiert werden und ermöglicht ihr einen schnellen und einfachen Kosten-Nutzen Vergleich einer Investition (vgl. Gloger 2004).

Es liegt auf der Hand, dass die Bewertung von Personalentwicklungsmaßnahmen nicht so problemlos geschehen kann. So erscheint die Beurteilung eines Coachings anhand einer prozentualen Produktivitätssteigerung eines Managers nicht nur dem Laien als etwas befremdlich.

Trotz dieser Schwierigkeiten bleibt die Legitimationspflicht der Personalabteilung gegenüber dem Management jedoch bestehen. Es wird also die Frage laut, wie die Personalabteilung der Geschäftsführung aufzeigen kann, „welchen Return on Investment ein in die Weiterbildung investierter Euro hat“ (Gloger 2004: S.22).

3. Evaluationskonzepte

Um dieses Problem zu lösen, haben Wissenschaft und Praxis über die letzten 50 Jahre zahlreiche Methoden zur Evaluierung von Personalentwicklungsmaßnahmen entwickelt. Die zwei bekanntesten - und in der Praxis relevantesten - sollen hier diskutiert werden. Dabei gilt es die theoretischen Voraussetzungen zu erläutern und auf mögliche Schwachpunkte der Modelle einzugehen, um anschließend die Frage klären zu können, ob die Modelle eine zuverlässige Evaluation von PE-Maßnahmen ermöglichen können.

3.1 Vier-Ebenen-Modell nach Kirkpatrick

Das wohl prominenteste Evaluationskonzept geht auf Donald L. Kirkpatrick zurück, der schon in den späten 1950 Jahren ein Modell zu Evaluierung von Personalentwicklungsmethoden beschreibt, dass über die bloße Messung der Zufriedenheit der Teilnehmer mit einem Training hinausgeht. Donald L. Kirkpatrick schlägt zwischen 1959 und 1960 in vier aufeinander aufbauenden Artikeln einen Evaluationsprozess vor, der in vier Schritten die Messung von Reaktionen (reactions), Lernerfolgen (learning), Verhaltensänderungen (behavior) und Ergebnissen (results) beinhaltet (vgl. Kirkpatrick 1959a, 1959b, 1960a, 1960b).

Die erste Ebene „reactions“ misst inwiefern Trainees ein bestimmtes Trainingsprogramm gefallen hat (vgl. Kirkpatrick 1996: 295). Hier steht die Zufriedenheit der Teilnehmer mit unterschiedlichen Aspekten der Maßnahme im Vordergrund, etwa in Bezug auf den Trainer, die Inhalte, die Methoden oder den Veranstaltungsort. Kirkpatrick beschreibt dies als die Messung der „customer satisfaction“ (ebd.: 205). Sie sei ein wichtiges Indiz für den Erfolg einer Personalentwicklungsmaßnahme, da ein optimaler Lernerfolg stark von der subjektiven Zufriedenheit einer Maßnahme abhänge. Es sei entscheidend zu beachten, dass eine unvorteilhafte Reaktion wahrscheinlich einen Lernerfolg verhindert (ebd: 302). Die Messung kann im Anschluss eines Trainings leicht anhand von Fragebogen, den „smile-sheets“ (Kirkpatrick 1998: 67) geschehen. Die Ergebnisse werden in einem „happiness index“ zusammengefasst, auf dessen Erkenntnissen die Planung zukünftiger Personalentwicklungsmaßnahmen basieren kann. Allerdings ist anzumerken, dass eine unmittelbare Messung nach einer Trainingsmaßnahme, aufgrund der zeitlichen Nähe, die Gefahr von Verzerrungen im Sinne zu optimistischer Einschätzungen birgt (vgl. Nork 1989). Eine solche „Positiv- Färbung“ der Ergebnisse kann durch den Einfluss des Trainers oder Einflüsse der Umgebung bzw. der Räumlichkeiten, der Trainingsatmosphäre etc. entstehen. Insgesamt scheint die Messung der Zufriedenheit jedoch unproblematisch (vgl. Kühl 2006: 7) und kann daher in der Praxis ohne große Probleme eingesetzt werden.

Die Zufriedenheit der Teilnehmer mir einer Maßnahme sichert allerdings nicht unbedingt einen Lernerfolg (vgl. Kirkpatrick 1996: 302). Auf der zweiten Ebene des Evaluationsprozesses fordert Kirkpatrick daher, den Lernerfolg anhand einer Messung des neu erworbenen Wissens, erweiterten Fähigkeiten und veränderten Einstellungen der Teilnehmer festzuhalten. Diese Evaluation gesch]ieht - wie auch die Messung der Zufriedenheit - meist im direkten Anschluss an ein Training. Inwieweit ein Lernerfolg bei den einzelnen Teilnehmern festzustellen ist, lässt sich anhand von vor und nach einem Training durchgeführten Tests leicht ermitteln.

Zur Überprüfung der Verbesserung von Fähigkeiten, wie z.B. Gesprächstechniken, Lesekompetenzen oder Schreibkompetenzen, bietet sich die Methode der “classroom performance” (ebd.: 303) an. Die Trainees müssen im Beisein der anderen Kursteilnehmer die gelernten Fähigkeiten unter Beweis stellen. Im Nachhinein findet in der Gruppe eine Diskussion über die gezeigten Leistungen statt. Die Anwendung der Inhalte durch die Teilnehmer beurteilt der Trainer bspw. anhand einer Ratingskala. So kann die Evaluation einer Maßnahme zeitgleich mit der Vermittlung von Inhalten durchgeführt werden. Zur Überprüfung von gelerntem Faktenwissen, kann ein einfacher schriftlicher Test herangezogen werden, der im Anschluss an das Training ausgewertet wird. Die Einbeziehung einer Kontrollgruppe, die an der Maßnahme nicht teilgenommen hat, ermöglicht eine anschließende statistische Auswertung und so eine genaue Analyse der Effektivität des Trainings in Bezug auf den Lernaspekt (vgl. ebd.: 304). Auch die Evaluation auf der Lernebene ist somit unkritisch. Anhand von Prä-Post-Tests lassen sich Lernfortschritte methodisch sicher feststellen (vgl. Kühl 2006: 7).

Laut Kirkpatrick besteht jedoch ein großer Unterschied zwischen erworbenen Kompetenzen und erlernten Fähigkeiten und deren Anwendung am Arbeitsplatz (ebd: 306). Daher müssen auf der dritten Ebene „behavior“ trainingsbedingte Verhaltensänderungen ermittelt werden, also inwiefern Teilnehmer einen Transfer von Gelerntem an ihrem Arbeitsplatz leisten können. Veränderungen des Verhaltens beruhen auf fünf Voraussetzungen, die erfüllt sein müssen: Erstens muss bei dem Trainee ein Wille zur Veränderung vorhanden sein, zweitens muss er das „know- how“ haben, wie und wo er die erworbenen Fähigkeiten einsetzen soll, drittens ist ein förderndes Betriebsklima wichtig, viertens muss dem Trainee entsprechende Hilfe bei der Anwendung des Gelerntem in der Praxis gegeben und fünftens eine entsprechende Anerkennung des geänderten Verhaltens in Aussicht gestellt werden (vgl. ebd.: 306). Sind diese Bedingungen erfüllt, kann eine Evaluation durch ein Verhaltensrating auf Basis von „on-the-job“-Beobachtungen durchgeführt werden. Diese werden entweder vom Trainee anhand einer Selbsteinschätzung, oder basierend auf einer Fremdeinschätzung, bspw. durch einen Trainer oder Vorgesetzen, aufgestellt.

Da der Nachweis kausaler Zusammenhänge zwischen Personalentwicklungsmaßnahmen und dem in der Praxis gezeigten Verhalten schwierig ist (vgl. Deller et. al 2006: 32, Nork 1989), ist es wichtig bei der Untersuchung der Verhaltensänderung strenge Kriterien anzulegen. Kirkpatrick schlägt zur Validisierung der Ergebnisse folgende Richtlinien vor: ähnlich wie bei den vorherigen Ebenen soll die „on-the-job performance“ (Kirkpatrick 1996: 306) anhand einer Prä-Post-Messung der Verhaltensebene mit Kontrollgruppendesign gemessen werden. Die Leistungsbeurteilung soll auf einer Auswertung der Selbsteinschätzung und der Fremdeinschätzung durch Vorgesetze und Kollegen basieren. Die daraus abgeleitetem Ergebnisse sollen einer statistischen Analyse unterzogen werden, um Verhaltensänderungen von anderen Einflüssen isoliert dem Training zurechnen zu können. Zuletzt soll die Überprüfung frühestens drei Monate nach der Trainingsmaßnahme durchgeführt werden, damit Trainees die Möglichkeit gegeben wird, das Gelernte in die Praxis umsetzen zu können (vgl. ebd.: 307).

Die Messung von Verhaltensänderungen gestaltet sich in der Praxis als nicht so unproblematisch wie die Evaluation der Reaktions- und Lernebene. Es ist schwer vorstellbar, dass eine Beurteilung die auf einer Selbsteinschätzung eines Trainees beruht, zuverlässige Aussagen über die Umsetzung von Gelerntem am Arbeitsplatz zulässt. Auch wenn eine Selbstevaluation nach bestem Gewissen geschehen mag, kann hieraus nicht unbedingt ein objektives Ergebnis abgeleitet werden. Um dieses Problem zu verringern, ist zusätzlich eine Fremdeinschätzung angedacht, welche jedoch mit zusätzlichem Kontrollaufwand verbunden ist. Allerdings gewährleistet auch diese Maßnahme nicht automatisch eine zuverlässige Evaluation. Zu viele Faktoren wirken auf das Verhalten ein, als das sie von Mitarbeitern oder Vorgesetzten allein einem Training zugeschrieben werden können. In den Unternehmen herrscht deshalb bei der Messung von Verhaltensänderungen eine große Unsicherheit. Zwar gibt es zahlreiche Ansätze diese Probleme zu lösen, in der Praxis hat sich allerdings noch kein allgemein akzeptiertes Messinstrument zur Veränderung von Verhalten durchsetzen können (vgl. Kühl 2006: 7).

Noch schwieriger als die Messung von Verhaltensänderungen gestaltet sich die Messung von ökonomischen Ergebnissen einer Trainingsmaßnahme (vgl. Kühl 2006: 7). Auf der letzen Ebene „results“ stehen laut Kirkpatrick die ökonomischen Veränderungen im Vordergrund, die aus der Teilnahme der Trainees an einer Maßnahme resultieren (vgl. Kirkpatrick 2006: 25). Es werden Kennzahlen erhoben, welche die Korrelation der Maßnahme mit den Zielen der Organisation darstellen sollen, wie etwa eine erhöhte Produktion, eine verbesserte Qualität, gesenkte Kosten usw. (vgl. ebd.: 25). Auf Basis dieser Zahlen kann die Geschäftsleitung - genau wie bei einer Investition in eine Maschine - anhand eines Kosten-Nutzen-Vergleiches über die Durchführung eines Trainings entscheiden. Folglich würde sowohl für die Personalabteilung, als auch für die Geschäftsführung, eine Evaluation einer Trainingsmaßnahme direkt auf der Ergebnisebene die Ideallösung darstellen. Allerdings gibt Kirkpatrick zu bedenken, dass eine Evaluation bestimmter Trainingsprogramme auf der Results-Ebene sehr schwierig bzw. teilweise unmöglich sei (vgl. ebd.: 309). Zuerst sollten daher die drei vorherigen Ebenen, also reaction, learning und behavior, evaluiert werden, bevor eine Untersuchung auf der Results- Ebene in Betracht gezogen wird.

Kirkpatrick unterscheidet zwei verschiedene Arten von Trainings, die Deller et al. (2006) als „hard-skill und „soft-skill“-Trainings bezeichnen. „Hard-skill“-Trainings lassen sich auf allen vier Ebenen evaluieren, bei „soft-skill“-Trainings dagegen ist eine Evaluierung auf der Results-Ebene nicht möglich (33).

„Hard-skill“-Trainings können auf Basis von Prä-Post-Messungen relativ unproblematisch evaluiert werden (vgl. Kirkpatrick 1996: 309). Beispielsweise stellt die Erfolgsmessung einer Maßnahme zur Senkung der Unfallhäufigkeit kein großes Problem dar. Es werden die Unfallzahlen vor und nach der Maßnahme miteinander verglichen, um Rückschlüsse über die Effektivität der Maßnahme ableiten zu können.

„Hard-skill“-Trainings werden üblicherweise nur dann durchgeführt, wenn sich genaue Kennzahlen ableiten lassen (vgl. Kirkpatrick 2006: 25). Eine Maßnahme zur Senkung der Unfallhäufigkeit würde kaum in Zukunft mit anderen Mitarbeitern, oder in anderen Abteilungen durchgeführt werden, wenn sie in früheren Trainings nicht zu einer messbaren Reduktion dieser beigetragen hätte.

„Soft-skill“-Trainings dagegen werden zur Verbesserung weicher Faktoren wie Kommunikations- oder Präsentationstechniken eingesetzt, deren Ergebnisse meist nicht greifbar (vgl. ebd: 26) und somit nicht messbar gemacht bzw. erhoben werden können (vgl. Deller et a. 2006: 33). Dies führt zum Problem der „seperation of variables“ (Kirkpatrick 1996: 309). Fraglich ist, welcher Anteil der vorliegenden Ergebnisse tatsächlich auf das Training zurückgeführt werden kann und welchen Anteil andere – nicht messbare - Einflüsse haben. Es ist somit schwierig Veränderungen auf der Organisationsebene direkt einem spezifischen Programm zuzuordnen (vgl. Deller et al. 2006: 34). So mag die Bedeutung der Gleichbehandlung von Minderheiten im betrieblichen Alltag einem Manager in einem Training vermittelt worden sein. Die Frage ist jedoch, wie man eine Umsetzung dessen in „terms of dollars and cents“ (Kirkpatrick 2006: 26) in der Realität messen soll. Natürlich erhofft sich die Organisation, dass aus dem Training langfristig ein Vorteil für die Organisation entsteht, diesen monetär zu messen scheint jedoch unmöglich. Der Erfolg von „soft-skill“-Trainings kann daher allenfalls in Form nichtmonetärer Kriterien gemessen werden (vgl. ebd.: 26).

[...]

• College: Bielefeld University
• Grade: 1,8
• Author: BA Nils Pollmeyer (Author)
• Publication Year: 2007
• Pages: 36
• Catalog Number: V121142
• ISBN (eBook): 9783640254491
• ISBN (Book): 9783640254620
• Language: German
• Tags: Bedeutungszuwachs, Evaluationsmodellen, Personalentwicklungspraxis, Personalentwicklung, Bedeutung, Evaluation, Benchmarking, Messung, ROI, Neo-Institutionalismus, Neoinstitutionalismus