Seit ungefähr 20 Jahren erfährt SID (sport-in-development) einen stetigen Anstieg der Aufmerksamkeit im Bereich der Entwicklungszusammenarbeit. Im Zuge der Auseinandersetzung mit dem Thema der sEZ (sportbezogenen Entwicklungszusammenarbeit) und verschiedenen Ansätzen und Methoden von SID-Organisationen wurde deutlich, dass vor allem von Seiten der Politik, Wissenschaft und Geldgebern für die jeweiligen Projekte und Organisationen eine Forderung nach M&E proklamiert wurde. Der Grund dafür ist, dass man eine tatsächliche Korrelation zwischen Sport und persönlicher und sozialer Entwicklung feststellen wollte. Daher werden in der Literatur häufig zwei Ziele genannt, welche M&E verfolgen sollten. Erstens ist durch die Darstellung der Ergebnisse und Auswirkungen, die der Sport erzielt die Möglichkeit gegeben, Lehren und Erkenntnisse für Anpassungen der organisationalen und programmrelevanten Maßnahmen zu ziehen. Zweitens ist durch M&E eine transparente Kommunikation und somit eine Methode der Rechenschaftslegung möglich.
Ein theoretischer Rahmen wurde in dieser Arbeit durch die Aufarbeitung des Themas M&E durch die Fokussierung auf relevante Definitionen und Ziele gegeben. Durch die Analyse verschiedener Rahmenprogramme, Leitfäden, Tools, wissenschaftlicher Publikationen und beispielhafter M&E-Systeme wurden praktische Methoden und der universelle Aufbau eines M&E-System geschildert. Außerdem konnten einige Schwächen bestehender Systeme identifiziert werden, was wiederum in die anschließende Entwicklung des auf die lokalen Bedingungen zugeschnittenen Systems eingeflossen ist. Ebenso konnten durch die Darstellung von ANOPA und der lokalen Bedingungen im Allgemeinen eine Orientierung für die Entwicklung des M&E-System gegeben werden. Der Fokus wurde hierbei insbesondere auf die Outcomes und Impacts des Sports und im Speziellen des Schwimmens auf eine effektive Implementierung des Inklusionsgedankens gelegt. Zudem wurden die Wirkungszusammenhänge zwischen den Inputs, Outputs, Outcomes und Impacts und somit die notwendigen Veränderungen, die durchgeführt werden sollen, verdeutlicht.
Inhaltsverzeichnis
Inhaltsverzeichnis
Abkürzungsverzeichnis
Abbildungs- und Tabellenverzeichnis
1. Einleitung und Einführung in die Thematik
1.1. Begründung des Forschungsgegenstands
1.2. Zielsetzung der Arbeit
1.3. Methodische Vorgehensweise
2. Theoretischer Rahmen
2.1. Monitoring und Evaluation
2.1.1. Definition
2.1.2. Ziele
2.1.3. Aufbau des Rahmenprogramms
2.1.4. Forschungsstand zu M&E-Systemen
2.1.4.1. Literatur und Toolkits
2.1.4.2. Methoden und Instrumente
2.1.4.3. Evaluationskriterien
2.2. Afrika/ Ghana
2.3. Sportbezogene Entwicklungszusammenarbeit
2.3.1. Nachhaltigkeit in der Entwicklungszusammenarbeit
2.4. ANOPA
2.4.1. Hintergrund
2.4.2. Entwicklung
2.4.2.1. Schwimmen als priorisierte Sportart
2.4.2.2. Inklusion
2.4.3. Struktur
2.4.4. Perspektiven
3. Entwicklung des M&E-Systems
3.1. Erläuterung der Vorgehensweise
3.2. Evaluation Plan
3.3. Mission and Vision
3.4. ANOPA 's Theory of Change
3.5. Application
4. Diskussion und Ausblick
5. Fazit
Literaturverzeichnis
Anhang
Anhang 1
Anhang 2
Anhang 3
Abstract
Since approximately 20 years' sport for development is a topic which gains more and more attention in the political field of development cooperation. Institutions and NGOs have recognized the power of sport for individual and social development. However, in primary implementations the methods lacked provided evidence for actual correlation between sport and development. Therefore, the demand of Monitoring & Evaluation (M&E) of the projects and programmes and their sporting activities increased.
On the one hand the aim of an M&E-system is to afford reporting and accountability to various stakeholders and on the other hand it provides a basis for learning and improving processes within the organizations.
The NGO ANOPA which is supported voluntary in various fields by the author already implemented basis structures of M&E. However, communication and transparency in some areas have been insufficient lately. Hence, the development of an application-oriented M&E-system is required. Particularly the outcomes and impacts of inclusive sports but also general outputs shall be portrayed and analysed in future. Moreover, an explanation of the necessary steps and principles shall be given. This work represents a first, more detailed, approach to record data for above mentioned aims.
Before the practical development of the tool a theoretical view with M&E related definitions, aims and objectives are presented. Various frameworks, guidelines, manuals, scientific articles and case studies are being portrayed to identify a structured approach with the inclusion of practical methods. In addition, distinctive problems and critics are considered in order to develop an adaptable and practicable system.
The participatory approach with the Ghanaian coordinator is supposed to guarantee a realistic appraisal of local conditions and achievable targets for the M&E-system. However, the final assessment of the its utility can just be done after the practical implementation in the field. Due to its flexibility and the requirement for continuous adaptions the M&E-system is supposed to be enhanced on a frequent basis.
Abkürzungsverzeichnis
Abbildung in dieser Leseprobe nicht enthalten
Abbildungs- und Tabellenverzeichnis
Abbildung 1 TOC, ANOPA s.
Abbildung 2 Ghanaisches Adinkra-Symbol der Weisheit und der Lehre
Abbildung 3 Balanced Scorecard, ANOPA s.
Tabelle 1 TOC, ANOPA (in Anlehnung an Coalter, 2008, S.32)
Tabelle 2 Rosenberg's self-esteem scale (Rosenberg, 1965)
Tabelle 3 Children's attitudes towards peers with disabilities (in Anlehnung an Hong, Jeon & Kwon, 2014, s. 177f)
Tabelle 4 Attitudes of disabled children towards themselves (in Anlehnung an Slikker, 2009, s. 54f)
Tabelle 5 Process-led evaluation for inclusive frames within ANOPA (in Anlehnung an Swimming Australia, 2015, s. 22ff)
Tabelle 6 SWOT-Interaktions-Matrix, ANOPA
Tabelle 7 Stärken- Schwächen Analyse, ANOPA
Tabelle 8 Inventory template, ANOPA
Tabelle 9 Accounting template, ANOPA
Tabelle 10 Monitoring of training attendance and development,ANOPA
Tabelle 11 Coordinator's/Volunteers Weekly Report, ANOPA
Tabelle 12 Assessment Question for evaluation of internship, ANOPA
1. Einleitung und Einführung in die Thematik
Bei der vorliegenden Arbeit handelt es sich um die theoretische Auseinandersetzung eines Schwerpunktes der sportbezogenen Entwicklungszusammenarbeit (sEZ). Die Thematik soll anschließend eine praktische Anwendung bei der Non Governmental Organisations (NGO) ANOPA finden.
Die Einleitung dieser Arbeit wird durch die Begründung des Forschungsgegenstandes, der Darstellung der Zielsetzung und dem methodischen Vorgehen gegeben.
1.1. Begründung des Forschungsgegenstands
Seit dem frühen 21. Jahrhundert wird Sport in der Entwicklungszusammenarbeit (EZ) als Instrument vermehrt verwendet, um eine positive Veränderung im sozialen, kulturellen, physischen, gesundheitlichen und ökonomischen Bereich für benachteiligte Menschen und Gemeinschaften zu bewirken. Seither gehören im Rahmen von sport-for- development (SFD) vor allem NGOs zu den wichtigsten ausführenden Organen (Schulenkorf & Adair, 2014). Dennoch bilden politische Prozesse und Handlungen den Grundstein, Sport als Entwicklungsinstrument einzusetzen. Vor allem die Gründung des United Notions Office for Sport for Development and Peace (UNOSDP) im Jahr 2001 gab einen maßgeblichen Anstoß dafür, Sport zu nutzen, um die Entwicklung in oben genannten Bereichen zu fördern. Winfried Lemke, der als United Notions (UN) Sonderberater für Sport im Dienste von Frieden und Entwicklung tätig war, definierte in seiner Amtszeit fünf Ziele (UNOSDP, Winfried Lemke, 2013, s. 6):
"Contributing to development in Africa (particularly in Sub-Saharan Africa); encouraging dialogue and mutual understanding in conflict areas; advancing gender equality; fostering the inclusion of persons with disabilities; and finally, promoting youth development and supporting community role models"
Lemkes Vorgänger, Adolf Ogi, präsentierte auf der internationalen Konferenz für Sport und Entwicklung im Februar 2003 in Magglingen die Punkte, die durch wichtige Interessenvertreter des Sports festgehalten wurden. Diese werden im Nachfolgenden erläutert. Um die Welt durch Sport zu verbessern, sei es den Handlungsempfehlungen nach wichtig, Sport zu fördern, um einen positiven Effekt bei der physischen und psychischen Entwicklung von Kindern und Jugendlichen zu erzielen. Außerdem helfe Sport die Lebensqualität zu verbessern, Konflikte zu lösen und Menschen verschiedener Herkunft zusammenzubringen. Es können Ungleichheiten jeglicher Hinsicht überquert werden und durch den Sportgedanken an eine fairere und respektvollere Welt plädiert werden (United Notions Office on Sport for Development and Peace (UNOSDP), Swiss Agency for Development and Cooperation, Swiss Federal Office of Sport, Swiss Academy for Development, 2003).
Die Bedeutung des Sports als Instrument zur EZ manifestiert sich außerdem, als die UN 2005 als das ״International Year of Sport and Physical Education" proklamierte. Um die Milleniums-Development-Goals (MDG) zu erreichen, appelliert die UN an die Welt des Sports, damit diese einen Beitrag zur Zielerreichung leistet (United Notions Inter-Agency Tosk Force on Sport for Development ond Peace, 2005).
Durch den dargestellten Trend in der EZ entstehen viele Projekte, die durch Sport einen positiven Beitrag zur Entwicklung beisteuern möchten. Nur wenige dieser Projekte haben jedoch bislang den Wert und den Einfluss, die ihre Maßnahmen haben, empirisch überprüft (Schulenkorf, Sugden & Burdsey, 2013).
Daher werden in Bezug auf die sEZ unweigerlich Kritiken laut, man nutze diese neoliberale Methode in der Annahme, dass Sport bei Kindern und Jugendlichen unweigerlich immer positive Entwicklungen hervorbringe. Coakly (2011, s. 306) bezeichnet diese Vertreter daher als unreflektierte ״sport evangelists" und plädiert für den Bedarf an kritischer Forschung, welche Prozesse, Aktivitäten und damit verbundene kausale Wirkungen verifiziert oder falsifiziert.
Coalter (2007) beschreibt, dass es durch das Emportreten vieler neuer Projekte in der sEZ wichtig sei, die Effektivität der Aktivitäten hinsichtlich des sozialen Einflusses durch Monitoring und Evaluation (M&E) zu untersuchen. Ansonsten würden nur vage und unpräzise Strategien verfolgt werden. Systematische Analysen und den Grund für eine vermeintliche Beziehung zwischen Sport und Entwicklung sollen durch M&E beurteilt werden. Eine detailliertere Betrachtung dieses Ansatzes soll im theoretischen Teil dieser Arbeit folgen.
1.2. Zielsetzung der Arbeit
Im Rahmen dieser Bachelorarbeit soll ein geeignetes M&E-System für die NGO ANOPA entwickelt werden. Das Forschungsinteresse des Autors resultiert aus der Begleitung und der ehrenamtlichen Arbeit für die NGO übereinen Zeitraum von ungefähr drei Jahren. Im Dialog mit dem A/VOPA-Koordinator Ernest Appiah und basierend auf den im theoretischen Teil zu erarbeitenden Anforderungen sollen geeignete Indikatoren und realistische Zielvorstellungen erarbeitet werden, um mittel- und langfristig ein M&E-System zu etablieren.
Das System soll sich auf zwei spezifische Gruppen von Kindern und Jugendlichen beziehen, zum einen auf gehörlose Kinder und Jugendliche und zum anderen auf solche ohne dieses Handicap unter dem Einfluss von Schwimmsport. In dieser Arbeit sollen die sportlichen Outputs sowie die sozialen Outcomes und Impacts fokussiert werden. Demzufolge liegt ein besonderes Interesse darauf, herauszufinden, inwiefern das Schwimmen in den zwei Gruppen einen Einfluss auf die Persönlichkeitsentwicklung, im speziellen das Selbstwertgefühl, der Kinder und Jugendlichen haben kann und somit einen Mehrwert für eine NGO generieren kann.
Folgende Fragen sollen außerdem im weiteren Verlauf geklärt werden:
- Was sind übergeordnete Zielsetzungen von ANOPA?
- Welche Output-, Outcome- und Impactziele lassen sich daraus ableiten?
- Wie kann die Erreichung der Ziele überprüft werden?
- Welche Zielgruppen sollen durch die sportlichen Aktivitäten angesprochen werden?
- Für welche Stakeholder kann ein M&E-System Vorteile bieten?
- Welche Indikatoren sollen verwendet werden?
- Welche Ressourcen werden benötigt (Zeit, Personal, Finanzmittel)?
- Welche praktischen Ansätze sollen verwendet werden?
1.3 Methodisches Vorgehen
Im ersten Teil dieser Arbeit soll auf den theoretischen Rahmen von M&E eingegangen werden. Hierfür erfolgen kontextrelevante Definitionen, Ziele und die Darstellung eines Rahmenprogramms. Als Anhaltspunkt dienen wissenschaftliche Veröffentlichungen, Fallstudien, Handbücher und anwendungsorientierte Tools. Außerdem werden verschiedene praktische Methoden vorgestellt, sodass insgesamt der derzeitige Forschungsstand dargestellt wird.
Anschließend wird ein kurzer Einblick in die geographische und politische Lage des Anwendungsfeldes Ghana gegeben. Danach wird die sEZ in ihren Grundzügen und mit Blick auf den Aspekt der Nachhaltigkeit geschildert.
Vor der Entwicklung des M&E-Systems wird ANOPA hinsichtlich des Hintergrunds, der Arbeitsbereiche, der Entwicklung, der Struktur und der Perspektiven beschrieben. Darauf aufbauend fließen die Ziele und Wirkungsmechanismen in die Entwicklung eines anwendungsorientierten M&E-Systems mit ein.
Die Konzeptentwicklung erfolgt in Kommunikation mit dem Koordinator Ernest Appiah.
Nach dem Abschluss der Konzeptentwicklung schließt die Diskussion und das Fazit diese Arbeit ab.
2. Theoretischer Rahmen
Im folgenden Teil werden die theoretisch relevanten Grundlagen dargestellt. Diese lassen sich in die Bereiche M&E, Afrika/Ghana, die sEZ und ANOPA untergliedern.
2.1. Monitoring und Evaluation
M&E verfolgt verschiedene Ziele und Ansätze, die im folgenden Abschnitt illustriert werden. Es werden Definitionen gegeben sowie die Darstellung eines Rahmenprogramms. Außerdem sollen Literatur und Toolkits, Methoden und Instrumente sowie Evaluationskriterien vorgestellt werden, wodurch der Forschungsstand zu M&E-Systemen auf dem Gebiet dargestellt wird.
2.1.1. Definitionen
Zunächst erfolgt die Erläuterung der wichtigsten Begriffe im Zusammenhang mit M&E. Diese beziehen sich vorwiegend auf Coalters M&E-Manual (2008), sowie den Toolkits der Orgonisotion for Economic Co-operotion and Development (OECD) (2002) und dem United Nations Population Fund (UNFPA) 2004). Außerdem soll Bezug auf das Handbuch von Streetfootballworld genommen werden (Elsemann, Hebel, Jäger, & Daraspe, c., 2000).
Monitoring bezeichnet eine fortlaufende Funktion des Managements, die darauf abzielt, Daten, bezüglich vorher definierter Ziele, mit Hilfe von Indikatoren zu sammeln und anhand von Maßnahmen zu analysieren. Durch einen stetigen Datenabgleich erfolgt eine kontinuierliche Überprüfung der verwendeten Strategien bzw. Maßnahmen im Blick auf die Erreichung der vorher definierten Ziele. In diesem Feedback-Prozess ist es ebenfalls möglich, Maßnahmen zu verändern und so anzupassen, dass unerwünschte Ergebnisse korrigiert werden (UNFPA, 2004).
Evaluation beurteilt systematisch und objektiv, die im Monitoring-Prozess erhobenen Daten. Abweichend zum Monitoring wird diese nicht fortlaufen durchgeführt, sondern zeitpunktbezogen. Dabei wird in Ex-ante, On-going und Ex-post Evaluation unterschieden. Die Ex-ante Evaluation findet statt, bevor entwicklungsweisende Maßnahmen implementiert werden (formative evaluation). On-going Evaluation erfolgt prozessbegleitend, um die Umsetzung effektiver zu gestalten und eine optimalere Wirkung zu erzielen (process-led evaluation). Ex-post Evaluation stellt die Beurteilung nach der Intervention dar, wodurch kausale Zusammenhänge verdeutlicht werden sollen, welche den Erfolg bzw. Misserfolg darstellen (summative evaluation). Außerdem können somit Auswirkungen und Einflüsse der Maßnahmen, die Effektivität und Effizienz sowie die Nachhaltigkeit beurteilt werden.
Evaluation kann durch die Analyse quantitativer Daten (numerisch, statistische Verfahren) oder qualitativer Daten (interpretierend, beschreibend) durchgeführt werden (UNFPA, 2004).
Input bezeichnet jegliche Ressourcen, die durch die Stakeholder für Maßnahmen und Entwicklungsprozesse eingesetzt werden. Diese Ressourcen können finanzieller, personeller, materieller, technologischer sowie informationeller Herkunft sein. (UNFPA, 2004, OECD, 2002).
Als Output werden Produkte, Güter, Dienstleistungen und Angebote bezeichnet, die durch die Maßnahmen der Projektintervention entstehen. Outputs sind in der Regel quantitativ, numerisch messbar (UNFPA, 2004, OECD, 2002).
Outcomes sind die angestrebten oder erzielten Mittel- oder Langzeiteffekte. Sie beschreiben Entwicklungsveränderungen, die durch die Bereitstellung bzw. Verwendung der Outputs erreicht werden. Outcomes werden in der Regel durch qualitative Untersuchungen gemessen. Organisationelle Outcome-Ziele, welche erreicht werden sollen, können sportlicher oder nicht-sportlicher Natur sein (UNFPA, 2004, Coalter, 2008).
Der Impact beschreibt die tatsächlichen positiven oder negativen Langzeitauswirkungen, welche durch die Projektinterventionen direkt oder indirekt, beabsichtigt oder unbeabsichtigt bei der Zielgruppe ausgelöst werden. Diese können ökonomischer, soziokultureller, institutioneller, ökologischer, technologischer oder anderer Natur sein (UNFPA, 2004).
Bei Maßnahmen handelt sich in der SĒZ meistens um sportliche oder nichtsportliche Aktivitäten, die durch den Input einen Output und langfristig ebenfalls Outcomes und Impacts bezwecken sollen. Diese Maßnahmen sollten dem Prinzip der SMART (spezifisch, messbar, akzeptiert, realistisch, terminiert) Objectives folgen und werden meist nach Analyse der internen und externen Gegebenheiten und Ressourcen eines Projektes festgelegt. Es ist wichtig, die Maßnahmen und Ziele entsprechend der Bedürfnisse und des Kontextes der Gesellschaft zu treffen. Ob die Ziele erreicht wurden, spiegelt sich wiederum in der Effektivität von den Objectives wieder. Die Effizienz der Objectives wird durch die Berechnung der Relation zwischen Input und Output angegeben (UNFPA, 2004, Coalter, 2008).
Indikatoren sind qualitative oder quantitative Instrumente, durch welche die Projektleistung und Entwicklungsveränderungen gemessen werden sollen. Prozessindikatoren sind quantitative Instrumente, die dem Monitoring zuzuordnen sind. Veränderungsindikatoren sind qualitative Instrumente, welche die Outcomes und Impacts im Evaluationsprozess messen sollen. Indikatoren sollten direkt, objektiv, praktisch und adäquat sein. Außerdem sollte die Möglichkeit bestehen, Indikatoren auszutauschen oder anzupassen (UNFPA, 2004, OECD, 2002).
Der schrittweise stattfindende Prozess der Entwicklung von Fähigkeiten, Verhaltensweisen, Beziehungen und Wertvorstellungen, die innerhalb eines Systems zu Leistungsverbesserungen und positiver Entwicklung führen, wird als Capacity Building bezeichnet. Diese wird vor allem durch die Einbindung der Mitglieder einer Organisation in die M&E-Prozesse versucht zu erreichen, wodurch diese ebenfalls nachhaltiger gestaltet werden können (UNFPA, 2002, Coalter 2008, Elsemann, et al., 2000)
Der Partizipative Ansatz bezeichnet die Einbindung verschiedener Stakeholder in Prozesse. In Bezug auf M&E ist hierbei die Einbindung der Stakeholder auf die verschiedenen Prozesse gemeint. Vor allem im Bereich der Evaluation werden oftmals externe Evaluationsexperten mit der Durchführung beauftragt. Allerdings stellt nach Stockmann (2007) ein partizipativer Evaluationsansatz verschiedene Vorteile dar. Ein externes Expertenteam zeichnet sich durch bessere Methodenkompetenz, höhere Unabhängigkeit und Reliabilität aus. Auf der anderen Seite haben interne Stakeholder eine höhere Sachkenntnis vom Untersuchungsobjekt und es können Kosten eingespart werden (UNFPA, 2002, Coalter 2008, Elsemann, et al., 2000).
Logical Framework Approach (LFA) wird als Referenz für die Prozesse des M&E verwendet. Es handelt sich um einen strategischen Planungsansatz, der vor der Implementierung der Entwicklungsinitiative im Sinne des partizipatorischen Ansatzes entwickelt wird. Beim LFA sollen die Verbindungen aller Projektelemente (Inputs) und deren intendierten Outcomes und Outputs, dargestellt werden, d.h. es sollen Kausalzusammenhänge zwischen Zielen und Maßnahmen hergestellt werden. Außerdem sollen die Indikatoren und mögliche Annahmen und Risiken, die das Erreichen der Ziele beeinflussen könnten, dargestellt werden. Die Theory of change (TOC) beschreibt, was sich konkret ändern muss, bzw. welche Voraussetzungen geschaffen werden müssen, um ein gewünschtes Ziel bzw. die Langzeitauswirkungen zu erreichen. Veränderungen müssen jedoch nicht ausnahmslos von der Organisation ausgehen, sondern können auch durch externe Reize hervorgebracht werden. Der LFA und die TOC werden in der Literatur häufig synonym verwendet. (UNFPA, 2002, Coalter 2008, Elsemann, et al., 2000).
2.1.2. Ziele
In der Fachliteratur der SĒZ konnten insgesamt drei übergeordnete Ziele identifiziert werden, welche je nach Organisation unterschiedliche Gewichtung haben können. Bei der Zielkonzeption ist die Berücksichtigung der Adressatengruppe wichtig, da ausgehend von der jeweiligen Gruppe eine unterschiedliche Gewichtung der Ziele notwendig ist.
1. Nachhaltigkeit:
Durch die Einbindung von Mitarbeitern in den M&E-Prozess und die damit intendierte Leistungsverbesserung soll die Nachhaltigkeit einer Organisation verbessert werden. Denn durch Capacity Buildung wird vor allem auf lange Sicht die Durchführung von Maßnahmen gewährleistet. Außerdem soll die Ausbildung junger Multiplikatoren (Youth Peer Leaders) fokussiert werden, welche durch die Einbindung in interne Organisationsprozesse und das Ausübungen von Trainertätigkeiten eine Vorbildungsfunktion für andere Kinder und Jugendliche einnehmen. Zudem nehmen sie durch die Rolle der Führer eine kollektive Verantwortung auf sich (Coalter 2008, Elsemann, et al., 2000).
2. Transparenz:
Das Ziel der Transparenz ist vor allem im Zusammenhang mit Kommunikation von großer Bedeutung. Die Kommunikation sollte sowohl intern, also an direkte Beteiligte (z.B. Trainer, ehrenamtliche Mitarbeiter), als auch an externe Stakeholder (z.B. Sponsoren, Geldgeber, Eltern) stets transparent gestaltet werden. So sollte beispielsweise intern die Darstellung der Ergebnisse und deren Wirkung stets offen kommuniziert werden. Extern ist zum Z.B. eine transparente Kommunikation und Rechenschaft hinsichtlich der Verwendung eingesetzter Ressourcen gegenüber der Geldgeber notwendig (Coalter 2008, Elsemann, et al., 2000).
3. Kontrolle und Lernen:
״Aus Fehlern lernt man." Ganz dem Sprichwort zufolge sollte auch das Ziel sein, dass man durch M&E-Prozesse die Programme stetig verbessert. Durch die kontinuierliche Darstellung und Analyse von Erfolgen und Misserfolgen können Rückschlüsse gezogen werden, welche zu künftigen Anpassungen und Verbesserungen der Prozesse führen (Coalter, 2008, Elsemann, et al., 2000).
Zusammenfassend wird durch das United Kingdom (UK) Department for International Development (DFID) Folgendes festgehalten: "The over-arching goal for evaluation in international development is to foster a transparent, inquisitive and self-critical organisational culture...so we can learn to do better" (UK DFID, s. 12, 2005).
2.1.3. Aufbau des Rahmenprogramms
Die Grundlage des folgenden Aufbaus des Rahmenprogramms ist das Handbuch der Streetfootballworld (Elsemann, et al., 2000).
Um ein gelingendes M&E-System zu entwickeln muss es ganzheitlich in die Prozesse einer Organisation implementiert werden: "M&E [...] must be aligned with an organisation's Strategie goals, as well as its daily operations, while also reflecting local circumstances and capacities" (Elsemann, et al., s. 10, 2000). Das bedeutet vor allem für ressourcenschwache Organisationen, dass sie vorab die lokalen Gegebenheiten prüfen und definieren müssen, welche Ziele erreicht werden sollen und was konkret verändert werden muss, um diese Ziele zu erreichen. Ob diese Ziele erreicht werden, bzw. ob man sich auf dem richtigen Weg befindet, kann durch den M&E-Prozess überprüft werden. Als Rahmen hierfür wird zum einen der LFA genutzt, der Ressourcen/Inputs und deren intendierten Outcomes und Outputs in Verbindung setzt. Zum anderen bietet es sich bei der TOC an, mit dem partizipativen Ansatz den Rahmen für M&E aufzustellen. Im Kollektiv sollten folgende Schritte berücksichtigt werden:
1. Identifikation des Kernproblems und der Zielgruppe
2. Analyse der vorhandenen Stakeholder und externen Faktoren, welche die Zielgruppe ebenfalls beeinflussen
3. Definition des erwünschten Impacts
4. Identifikation der notwendigen Veränderungen und Voraussetzungen, um den beabsichtigten Impact zu ermöglichen
5. Festlegen geeigneter Maßnahmen und konkreten Aktivitäten, um eine schrittweise Veränderung einzuleiten
6. Definition der Indikatoren, die Aufschluss über den Fortschritt der intendierten Veränderungen und Voraussetzungen geben
7. Darstellung von Annahmen, Z.B. externe potentielle Beschränkungen und Risiken, sowie Hypothesen der TOC
Nachdem der Planungsprozess abgeschlossen ist, sollte anhand der gewählten Indikatoren eine Ex-ante-Evaluation durchgeführt werden, damit anschließend in der Ex-post-Evaluation eventuelle Outputs, Outcomes und Impacts nachgewiesen werden können.
Die Daten und Informationen werden in der On-going-Evaluation analysiert und im Monitoring gesammelt. Dabei ist darauf zu achten, dass die Daten zielorientiert aber auch überschaubar und einfach zu interpretieren sind. Unterschieden werden Output-Daten, welche unmittelbare Ergebnisse von Maßnahmen in quantitativer Art darstellen (z.B. Teilnehmeranzahl, Einnahmen) und Outcome-Daten, welche Entwicklungsveränderungen in qualitativer Art darstellen (z.B. verbesserte Selbstwertgefühl).
Die Erhebung sozialer Daten kann durch verschiedene Methoden und Quellen erfolgen. Für den Prozess des M&E-Systems sind vor allem die Daten des aktuellen menschlichen Verhaltens, die durch eine natürliche Situation, d.h. im Feld hervorgerufen werden, relevant. Es wird hierbei grundsätzlich zwischen Beobachtungen und Befragungen differenziert.
Befragungen können mündlich durch Interviews oder schriftlich durch Fragebögen durchgeführt werden und beschreiben die Kommunikation über Verhalten. Fragebögen können beispielsweise mit Antwortmöglichkeiten in Form von Intervall-Skalen aufgebaut werden, wodurch quantitativ eine Entwicklung analysiert werden kann. Es ist darauf zu achten, dass der Fragebogen die Gütekriterien Objektivität, Reliabilität und Validität erfüllt. Außerdem sollten Normierung, Vergleichbarkeit, Ökonomie und Nützlichkeit gegeben sein.
Um eine soziale Erwünschtheit bezüglich der Antworten auszuschließen, kann eine Anonymisierung des Befragten im Fragebogen einen Vorteil gegenüber dem Interview darstellen. Dadurch, dass Evaluatoren beim Fragebogen oftmals nicht persönlich anwesend sind, können sich jedoch auch Nachteile wie Antwortverweigerungen ergeben. Außerdem erhält man beim Fragebogen nur Informationen über das, was die Befragten auch preisgeben wollen und bewusst mitteilen können. Ein Vorteil des Interviews ist deswegen, dass bei nicht eindeutigen Antworten nochmals nachgefragt werden kann, um dadurch eine möglichst eindeutige Antwort zu erhalten. Es gilt in jedem Fall die Befragungen so zu gestalten, dass sie entsprechend der Altersklasse, dem Bildungsniveau und den kulturellen Verhältnissen angemessen sind. Beobachtungen untersuchen offenes Verhalten, welches vor allem qualitative Daten darstellt. Es gibt die Optionen von standardisierten oder nicht standardisierten, offenen oder verdeckten, teilnehmenden oder nichtteilnehmenden Beobachtungen. (Sedlmeier & Renkewitz, 2008, Atteslander, 2010, Bühner, 2006).
Solide Evidenz der Daten wird erreicht, indem man nicht nur die direkt von den Maßnahmen betroffenen Kinder und Jugendliche befragt, oder beobachtet, sondern auch andere Quellen, wie Eltern oder Lehrer verwendet, die die Entwicklung indirekt erfahren (Lerner, R. M., Lerner, J. V and Colleagues, 2013). Streetfootballworld führt drei Punkte auf, die ein effektives Datenmanagement versprechen (Elsemann, et ai., s. 15, 2000):
1. "Minimising the number of places where data is stored
2. Adopting simple procedures to help staff make sure that data is entered accurately and managed securely
3. Using secure systems for storing and transferring data"
Durch den kontrollierten Lern- und Verbesserungsprozess sollen die Maßnahmen und Indikatoren fortlaufend überprüft und angepasst werden. Man spricht daher von einem ״ongoing cycle" (Elsemann, et ai., s. 23, 2000). Diese Veränderungen müssen strategisch geplant und initiiert werden. Falls die vorhandenen Ressourcen einer Organisation es ermöglichen, sollte der M&E- Bereich durch einen eigens dafür vorgesehenen Mitarbeiter koordiniert werden, um die Professionalisierung und Kontinuität von M&E zu gewährleisten. Lernprozesse können aus regulären oder periodischen M&E- Berichten geschlossen werden.
Fünf Schritte helfen die Prozesse zu strukturieren:
1. Es sollten zu bestimmten Zeitpunkten verschiedene interne und externe Stakeholder abhängig ihrer Bereiche und Interessen in den Lernprozess eingebunden werden.
2. Die Daten sollten in einer klaren und verständlichen Form aufgearbeitet werden (z.B. Graphen, Tabellen, Abbildungen). Dadurch können Entwicklungen oder nötige Anpassungen visuell erläutert werden. Außerdem sollten nur der jeweiligen Adressatengruppe entsprechend relevante Daten vorgestellt werden. Jedoch ist trotzdem daraufzu achten, dass nicht nur positive Daten dargestellt werden, sogenanntes ״fruit picking" (Elsemann, et ai., s. 24, 2000).
3. Durch eine offene Diskussion sollte bei der Darstellung der Daten eine Interpretation über eventuelle positive oder negative Entwicklungen stattfinden. Bei Problemen bzw. nicht erzielten Outputs/Outcomes/Impacts sollten die Ursachen untersucht werden und daraufhin Anpassungen durchgeführt werden.
4. Anschließend sollen die Ergebnisse und die beschlossenen Anpassungen für die Organisation dokumentiert und mit internen und eventuell externen Stakeholdern geteilt werden. Dadurch wird Transparenz und ebenfalls das notwendige Verständnis für die darauffolgende Unterstützung gewährleistet.
5. Die Implementierung dieser Empfehlungen kann jedoch zeit- und kostenintensiv sein. Daher kann sich in manchen Fällen deren Ausführung verzögern. Trotzdem sollten die Schritte der Implementierung im Vorhinein geplant werden.
Wie bereits erwähnt verfügen viele NGOs im Bereich der sEZ nur über einen sehr begrenzten Umfang an finanziellen, personellen und zeitlichen Ressourcen, was die Implementierung eines M&E-Systems zu einer wünschenswerten, aber praktisch oftmals nicht durchführbaren Maßnahme macht. Außerdem sind die benötigten fachlichen Kompetenzen der Angestellten in Bezugauf die Datenerhebung und-analyse selten ausreichend. Es ist notwendig, dass durch den partizipatorischen Ansatz alle Angestellten eingebunden werden und vor allem der Sinn und Zweck und die Vorteile, die sich für jeden auch persönlich aus der Implementierung ergeben, erläutert werden.
Die inkongruenten kommunikativen Ziele, zum einen die Auswirkungen der Maßnahmen an die Stakeholder zu kommunizieren und zum anderen die Kommunikation von Anpassungen aufgrund von aufgetretenen Problemen/Fehlern des Systems, stellen ein Dilemma für viele Organisationen dar. Denn gerade den Geldgebern möchte man oftmals nur positive Entwicklungen vorzeigen, die durch ihre Spenden erreicht wurden, um kurz- bis mittelfristig weitere Geldmittel zur Verfügung gestellt zu bekommen. Dadurch wird jedoch der Lernprozess, der ebenfalls durch M&E erreicht werden soll, unterdrückt. Um eine effektive Programmdurchführung zu gewährleisten, ist es jedoch durchaus notwendig Fehler zu machen und Änderungen zu tätigen. Denn nur dadurch kann eine positive Entwicklung stattfinden und Langzeiteffekte erzielt werden.
2.1.4. Forschungsstand zu M&E-Systemen
Im Folgenden Teil soll durch die Darstellung von relevanter Literatur und Toolkits, Methoden und Instrumente sowie Evaluationskriterien der aktuelle Forschungsstand zu M&E-Systemen beleuchtet werden.
2.1.4.1 Literatur und Toolkits
M&E-Systeme werden prinzipiell den Anforderungen und lokalen Gegebenheiten entsprechend entworfen. Hierfür bietet Coalter (2008) ein Manuel, welches als Rahmen zur Entwicklung eines solchen Programms für ״sport-in-development-organisations" dienen soll. Zunächst gibt Coalter einen einleitenden kontextuellen Überblick, in welchem M&E angewendet wird. Anschließend beschreibt er den prozessbegleitendenden und partizipativen Ansatz, welcher vor allem das Capacity Building fokussieren soll. In den weiteren Kapiteln erläutert Coalter die Formulierung von Zielen, Maßnahmen, Indikatoren sowie die Konstruktionen eines LFA, die Datensammlung deren Aufbereitung und die Berichterstattung (Coalter, 2008).
Auf ähnliche Weise wurde von streetfootballworld (Elsemann, et al., 2000) ein anwendungsorientierter Leitfaden herausgegeben, welcher Organisationen dabei helfen soll ein M&E-System zu entwickeln. Es wird im Unterschied zu Coalters Manual mehr Bezug auf eventuell auftretende Schwierigkeiten in der Anwendung genommen. Außerdem bezieht sich der Leitfaden auf das Tool von inFocus, welches mit streetfootballworld, Aqumen und der Laureus Sport for Good Foundation entwickelt wurde. Es handelt sich dabei um eine kostenpflichtige Online-Software, welche Schulung, Projektunterstützung und Datenmanagement für Organisationen anbietet. Obwohl die Plattform in ihrer spezifischen Dienstleistung gebührenpflichtig ist, ergibt sich ein nicht unerheblicher Vorteil für Organisationen durch die Bereitstellung von verschiedensten Beispielen und Projektberichten. Ein Teil des elearning- Bereiches ist zudem kostenlos und ermöglicht es potentiellen Kunden einen Einblick in die Dienstleistung zu bekommen. Die Themenbereiche die inFocus abdeckt, sind Social Impact Measurement, Research, Evaluation and Learning, Planning for Impact und Theory of Change (infocus, 2018).
Als weiterer Anhaltspunkt soll außerdem das ״Moving Forward Toolkit" des International Network of Sport and Development Consultants (INSDC) dienen, welches weitere praktische Methoden liefert. (CARE, Mercy Corps, Schwery Consulting, 2008).
Das Handbuch wurde anhand der Annahme verfasst, dass Kinder, welche posttraumatische Folgen von Kriegs- und Krisensituationen erlitten haben, abgesehen von der Befriedigung materialistischer Bedürfnisse, ebenfalls in der Entwicklung der physischen, sozialen und kognitiven Fähigkeiten gefördert werden müssen, welche von der WHO als notwendig vorausgesetzt werden, um einen positiven Gesundheitszustand zu erlangen: ״health is a state of complete physical, mental and social wellbeing, and not merely the absence of disease or infirmity" (WHO, s. 1, 1948). Sport wird als ein zielführendes Instrument wahrgenommen, um die psychosoziale Entwicklung zu fördern und manifestiert sich in dem SDG ״good health and well-being" (UN, 2015). Des Weiteren werden als übergeordnete Ziele durch den Sport ״Education" und ״Community Building" aufgeführt (Care et al. 2008).
Das Handbuch wird unterteilt in fünf Gliederungsabschnitte: Vorbereitung, Beurteilung, Planung, M&E und Projektübergabe.
In der Vorbereitungsphase sollten alle kontextrelevanten Informationen zusammengetragen werden. Hierbei sollten soziokulturelle, politische und (sport-) materialistische Rahmenbedingungen geprüft werden.
Anschließend gilt es, die zu beurteilenden Bereiche, Ziele und Maßnahmen festzulegen.
Im Planungsabschnitt werden konkrete Aufgaben verteilt (sportliche Maßnahmen, Organisationsmanagement, M&E, etc) und Trainingskonzepte erstellt. Außerdem ergeben sich für ANOPA relevante Informationen für den Ansatz mit behinderten Kindern und Jugendlichen, welche im Hinblick auf die Inklusion im späteren M&E-Verlauf Anwendung finden können. Es wird darauf hingewiesen, dass die Sportangebote so aufbereitet werden sollten, dass die Möglichkeit der Inanspruchnahme durch Behinderte gewährleistet ist, sodass Inklusion von Beginn des Programms erfolgen kann. Das Tool merkt an dieser Stelle an, dass man trotz der Inklusion homogene Gruppen hinsichtlich des Leistungsstands schaffen kann und sollte, damit der Spaß am Sport nicht verloren geht.
Im M&E-Teil des Tools werden die zwei wichtigen Ziele des Lernprozesses und dertransparenten Kommunikation (Rechenschaft) dargestellt. Außerdem sollte M&E folgende Kriterien erfüllen: Kosteneffektivität, die Anwendung wissenschaftlich fundierter Methoden, Zweckmäßigkeit (d.h. nicht aufdringlich und schädlich für andere Projektaktivitäten), Relevanz der Methoden, Indikatoren und Maßnahmen und Spaß in der Durchführung. Ebenso werden einige Hinweise für die Implementierung des M&E-Systems gegeben. Vor allem der Unterschied von Outputs, Outcomes und Impacts wird hier verdeutlicht und mit Beispielen und Anwendungsmethoden erläutert.
Abschließend wird das für viele Organisationen oberste Ziel der Nachhaltigkeit thematisiert, wofür das Capacity-Building und der partizipatorische Ansatz als sehr wichtig beurteilt werden.
In dem zweiten und dritten Teil des Tools werden viele Beispiele bereitgestellt, die Organisationen dabei helfen sollen eine effektive Struktur aufzubauen und das M&E-System zu implementieren. Die verschiedenen Dokumente und Formulare sollen im weiteren Verlauf dieser Arbeit als Orientierungs- und Konzeptionshilfe berücksichtigt werden, um das M&E-System für ANOPA zu entwickeln.
Ferner gibt es zahlreiche Beispiele, die in der Praxis umgesetzt worden sind, wie man mit verschiedenen Maßnahmen, Indikatoren, Zielen und Zielgruppen unterschiedliche Programme durchführen kann. Hierfür soll auf das Concept Paper ״How to monitor and evaluate, Sport for Development' projects" der Selo Adivisory Group verwiesen werden, welches 2009 im Auftrag der Network for Sport ond Development (NSD) in Auftrag gegeben wurde und auf Grundlage von Literaturrecherchen und Interviews mit dänischen NGOs aus der sEZ verfasst wurde. Es werden Probleme dargestellt, welche vor allem kleinen und ressourcenschwachen Organisationen zu Teil werden, wie Z.B. Defizite durch fehlende finanzielle, personelle und zeitliche Ressourcen aber auch die fehlende Motivation und das Verständnis der Implementierung eines M&E- Systems. Darüber hinaus werden Lösungsansätze für die Messung des Impacts und die Bedeutung des partizipatorischen Ansatzes dargestellt. Hierfür werden der Most Significant Change (MSC) Approach und Outcome Mapping (OM) als kreative Modelle des partizipatorischen Ansatzes dargestellt und deren Vor- und Nachteile untersucht.
2.1.4.2 Methoden und Instrumente
Der MSC Ansatz versucht gerade diese Outcomes darzustellen, die vorher nicht in den Zielvorgaben definiert waren und die durch Indikatoren erhoben werden können. Es handelt sich hierbei vielmehr um individuelle Geschichten der Maßnahmenempfänger. Durch den partizipatorischen Ansatz sollen alle Stakeholder in den Prozess des MSC Ansatzes eingebunden werden, sodass viele Significant Change (SC) gesucht und gesammelt werden und anschließend im Kollektiv analysiert werden. Der Ansatz ermöglicht fortlaufenden Feedback und eine Rückmeldung, wie Programme wahrgenommen werden, sodass man ihn dem Monitoring zuschreiben kann. Dadurch, dass auch Informationen über den Einfluss der Maßnahmen gewonnen werden, ist der MSC Ansatz ebenfalls für die Evaluation von Projekten relevant, weil somit die holistische Leistung bewertet werden kann. Der qualitative Ansatz ist vergleichbar einfach umzusetzen, da es keiner professionellen Fertigkeiten bedarf, und er hilft insbesondere die Wahrnehmung von den Maßnahmenempfängern zu erkennen. Durch die relativ liberale Durchführung wird partizipatives Engagement, Verständnis für die Maßnahmen, aber auch die Möglichkeit negative Einflüsse bzw. ungewollte sc zu kommunizieren, ermöglicht. Nachteile sind jedoch, dass die Methode in der Umsetzung zwar einfach ist, aber sehr zeitaufwendig und ebenfalls die Beteiligung vieler Stakeholder benötigt, um den tatsächlichen MSC herauszufiltern. Des Weiteren kann er nicht auf vorher festgelegte Indikatoren und Outcome-Ziele angewendet werden. Es werden durch die Darstellung lediglich Individualveränderungen dargestellt, was nicht als Abbild der Allgemeinsituation der Maßnahmenempfänger bewertet werden kann. Der Selektionsprozess ist zudem subjektiv, wodurch sich die Frage der Relevanz und Reliabilität stellt. Aufgrund der dargestellten Vorteile kann MSC trotzdem und vor allem in ergänzender Weise verwendet werden (Davies, Dart, 2005).
OM zentrale Voraussetzung ist, dass mit jeder Zustandsänderung eine korrelierende Änderung des Verhaltens gefördert wird. Der partizipative Ansatz mit der Involvierung vieler Stakeholder (Manager, Angestellte, Trainer, Maßnahmenempfänger, Geldgeber, etc) soll das Bewusstsein und den Konsens über die vereinbarten Maßnahmen und Ziele fördern. Im Detail gibt es drei Stufen des OM. Zunächst müssen die grundsätzlichen Intentionen der Verhaltensänderung eines Projektes oder einer Organisation designt werden (Vision- und Missionstatement). D.h., es müssen beabsichtigte Veränderungen und Maßnahmen, welche diese bewirken können, sowie eventuell auftretende Probleme geklärt werden. Außerdem werden sogenannte ״direct and indirect boundary partners" (Maßnahmenempfänger) erschlossen und spezifische Veränderungen, die erreicht werden sollen, festgelegt, sogenannte ״progress markers": ״expect-to-see", ״like-to-see" und ״love-to-see". Eine ״Strategy Map" klassifiziert die Maßnahmen, welche die Empfänger erhalten und in der Entwicklung beeinflussen sollen, in interne und externe Effekte. Um herauszufinden wie effektiv die Maßnahmen sind, werden anschließend acht Fragen formuliert, die im weiteren Verlauf beantwortet werden sollen. Anschließend werden im Outcome- und Leistungsmonitoring ein System entwickelt, welches den Fortschritt der Verhaltensänderungen kontrolliert. Das ״Performance Journal" soll durch ״Minutes" einen Aufschluss über die Projektfortschritte mit Bezug auf die organisationalen Aktivitäten geben. Das ״Strategy Journal" soll eine fortlaufende Kontrolle über die Ergebnisse geben, die in der ״Strategy Map" festgelegt wurden. Das ״Outcome Journal" soll die Aufzeichnung der ״progress markers" wiederspiegeln. Abschließend wird ein Evaluationsplan aufgestellt, der im Detail aufschlüsselt, wie dieser durchgeführt werden soll und wo die Prioritäten gesetzt werden. OM wird oftmals in Kombination mit anderen Methoden wie der ״Force Field Analysis" (vergleichbar mit einer Stärken-Schwäche-Analyse), MSC oder Diskussionstechniken wie ״Action Learning Days" angewendet. Insgesamt ist es vorteilhaft, dass durch OM eine Verhaltensveränderung durch Entwicklungsveränderungen in komplexen Systemen dargestellt werden können. Nicht die Ursache und die Kontrolle, sondern die Förderung von Maßnahmen, die Veränderungen bewirken, werden fokussiert. Allerdings handelt es sich um eine sehr kosten- und zeitintensive Methode, welche außerdem geschultes Personal benötigt. Ebenfalls ist der Paradigmenwechsel in Bezug auf die Entwicklungsveränderungshypothese durch
Verhaltensveränderung durch kulturelle Werte möglicherweise nicht anzuerkennen. Trotzdem kann man auch OM als ergänzenden Ansatz in vereinfachter oder verkürzter Form einsetzen (Earl, Carden and Smutylo, 2001).
Zudem werden in dem Paper der Selo Adivisory Group kreative Instrumente vorgestellt. Es handelt sich dabei um partizipatorische Video- und Foto-M&E- Instrumente. Gedichte- und Geschichtenerzählen sowie der ״Problem Tree" sind weitere aufgeführte Beispiele. Durch das partizipatorische Video sollen sowohl Neuigkeiten, Aktivitäten und Ideen von Teilnehmern der Programme der breiteren Öffentlichkeit zugänglich gemacht werden als auch für die Kommunikation und interne Zwecke genutzt werden. Dadurch wird die Möglichkeit für Diskussionen und Feedback geschaffen. Auch ohne große Vorkenntnisse ist es möglich kurze, prägnante Videos zu drehen. Weitere Optionen durch den partizipativen Ansatz von Seiten der Maßnahmenempfänger zu kommunizieren, sind mit Geschichten/Gedichte oder Fotos möglich. Diese liberale, kreative Monitoringform ermöglicht es den Teilnehmern sich selbst einzubringen und ihre Meinungen zu den Aktivitäten preiszugeben.
Der ״Problem Tree" ist als Metapher anzusehen. Hierbei fungieren die Wurzeln des Baums als Ursachen eines Problems. Der Baumstamm symbolisiert das Hauptproblem und die Baumkrone steht für mögliche Folgen, die das Hauptproblem auslösen kann. Diese Methode kann bei bereits laufenden Programmen angewendet werden, um gegebenenfalls den Fokus zu verschieben. Es sollte zunächst durch das Projekt oder die Organisation selbst die Methode angewendet werden und anschließend durch die Community, sodass verschiedene Gesichtspunkte In die Analyse fließen (Selo Adivisory Group, 2009).
[...]
- Quote paper
- Tobias Antoni (Author), 2018, Entwicklung eines Monitoring- und Evaluationssystems im Bereich der sportbezogenen Entwicklungszusammenarbeit für die NGO ANOPA in Ghana, Munich, GRIN Verlag, https://www.grin.com/document/446090
-
-
-
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X. -
-
Upload your own papers! Earn money and win an iPhone X.