DeGEval Jahrestagung 2016: Session "Indikatoren und Indikatorensysteme"

Dieses Session stellte weniger Einzelevaluationen, sondern eher übergreifende Fragestellungen in den Mittelpunkt. Beide Vorträge dieser etwas kürzeren Session drehten sich um standardisierte Indikatoren oder Fragedmensionen der Evaluation.

Der Beitrag, den ich mit meiner Kollegin Sonja Kind präsentierte, basiert auf einer internen Studie zu den Möglichkeiten von Kernindikatoren zur besseren Vergleichbarkeit und zur Sicherung von Qualitätsstandards von Evaluationen im Politikfeld FT.

Wir gehen davon aus, dass Evaluationen in diesem Politikfeld im Grunde immer wieder nach denselben Dimensionen und Indikatoren fragen und damit eine Basis für eine Vereinheitlichung dieser Indikatoren gegeben ist. Das betrifft nicht an Aspekte, die im Rahmen einer Evaluation untersucht werden. Viele Fragen in Teilnehmerbefragung ziehen auf sehr spezifische Aspekte einer bestimmten Fördermaßnahme. Andere jedoch, wie zum Beispiel die Bewertung des Antrags und Bewilligungsverfahren oder die Verwertung  von Projektergebnissen in Produkt und daraus resultierende Arbeitsplatzeffekte sind durchaus ähnlich und damit potentiell standardisierbar. Im Rahmen einer Analyse von 19 bereits abgeschlossenen Evaluationen aus Deutschland haben die versucht, diese Basis beispielhaft zu verdeutlichen.

Der zweite Beitrag von Peter Kaufmann präsentierte ein konzeptionelles Modell zur Erfassung sozialer Wirkungen von Förderprogrammen im Bereich der Mobilitätsforschung. Peter Kaufmann machte deutlich, dass die Messung soziale Wirkungen eine besondere Herausforderung darstellt. Mit quantitativen Indikatoren ist hier nur sehr eingeschränkt zu arbeiten, der Schwerpunkt liegt eher auf qualitativen Vorgehensweisen. Das von ihnen vorgestellte Projekt hat Leitfragen entwickelt, die für verschiedene Programmevaluation genutzt werden können, um einen ersten Überblick über mögliche soziale Wirkungen zu erhalten.

Einleitend verwies Peter Kaufmann außerdem darauf, dass auch in Österreich zur Zeit ein Projekt für die FFG laufe, dass sich Themenfeld übergreifend mit der Standardisierung von Indikatoren beschäftige.

Die Diskussion mit den Teilnehmern des Session zum ersten Beitrag drehte sich zunächst um Fragen, welche Aspekte noch bei einer vergleichenden Analyse bereits abgeschlossener Evaluation von Interesse wären. Auch die Einbeziehung der Evaluations-Community in eine weitere Ausformulierung von Kernindikatoren war ein Diskussionsthema.

Übergreifend wurde die Frage aufgeworfen, ob solche Ansätze der Vereinheitlichung am Ende zu einer Vorgabe von Pflichtdimensionen durch Auftraggebende führen könnten. Im Bereich der Entwicklungszusammenarbeit sei dies schon zu beobachten, und schränke Evaluatoren tendenziell eher ein.

Gleichzeitig zeigten die meisten Wortmeldungen aber auch, dass in einer systematischen Erarbeitung eines Kernbestands an standardisierten Indikatoren durchaus Potenzial gesehen wird, eine weiter Arbeit also lohnt.