Der Ruf nach mehr Professionalisierung

Jahrestagung der ees, 2. Tag: Veronica Gaffey, die über Jahre die Evaluationsabteilung im „Directorate General for Regional and Urban Policy“ der Europäischen Kommission geleitet hat,  betont in ihrer Key Note, dass die Nachfrage von Politikerinnen und Politikern nach fundierten Informationen („robust evidence“) – also auch durch Evaluationen generierte Informationen – so groß wie noch nie sei. Die EU hat in viele Programme die Pflicht zur Evaluation der Maßnahmen angelegt, bis 2020 sind jetzt schon 1600 Impact-Evaluationen geplant. Veronica Gaffey warnt eindringlich, dass sich Evaluation als sich herausbildende Profession an einem Scheidepunkt befinde: Insbesondere vor dem Hintergrund der Post-truth-Society, der aktuellen Abneigung gegenüber ExpertInnen, müsse es jetzt gelingen, die Qualität von Evaluationen sicherzustellen. Schon wenige schlechte Evaluationen könnten die gesamte Evaluationscommunity diskreditieren.

Sie plädiert für die Einführung von Peer Review Prozessen, um die Professionalisierung voranzutreiben. Die britische UKES hat dieses System der systematischen Reflexion der eigenen Kompetenzen und Entwicklungsbedarfe im Frühjahr 2016 erfolgreich pilotiert und die ees bereitet ihre Pilotphase zu einem Verfahren des Peer Review vor, dass in enger Abstimmung mit der UKES entwickelt wurde. Ich habe selbst an dem Piloten der UKES teilgenommen und wertvolle Impulse für eine eigene Situationsbestimmung mitnehmen können. Mit der Teilnahme bestätige ich, dass ich gewillt bin, meine eigene berufliche Praxis zu reflektieren und mir selbst Ziele zu setzen, an welchen Stellen ich mich weiterentwickeln will. Dieses Verfahren sagt nichts über das Wissen oder die Kompetenzen des Teilnehmenden aus. Allein die Bereitschaft zur Reflektion wird gewürdigt. 

Die DeGEval hat sich anlässlich ihrer Jahrestagung 2014 zurückhaltend zur Frage von Professionalisierungsverfahren positioniert. Wir sollten meines Erachtens die praktische Umsetzung in Großbritannien weiter eng verfolgen, die mit einigen organisatorisch-administrativen Problemen verbunden sein wird, wenn es denn überhaupt eine ausreichende Nachfrage gibt. Aber wir sollten mit eigenen Ideen nicht warten. Sonst laufen wir Gefahr, dass uns von außen ein Verfahren „aufgedrängt“ wird.

Wer vergibt Evaluationsstudien?

Vergangene Woche veröffentlichte die SPD-Fraktion des Deutschen Bundestages ein neues Positionspapier. Es geht dabei vor allem um die Förderung des innovativen Mittelstandes, aber ein paar kleine Absätze waren auch dem Thema Evaluation gewidmet. Und hier wird die spannende Frage angeschnitten, wer eigentlich Evaluationen ausschreibt. Das Papier spricht sich dafür aus, dass dies nicht der jeweils zuständige für eine Fördermaßnahme, also zum Beispiel ein Förderreferat tut, sondern eine externe, unabhängige Institutionen wie die Expertenkommission Forschung und Innovation (EFI). Ich finde dies aus zwei Gründen kritisch zu hinterfragen.

Natürlich würde eine externe Vergabe zu mehr Unabhängigkeit, zu weniger Möglichkeiten einer interessengeleiteten Einflussnahme führen. Gleichzeitig aber würde sich so der Prozess der Evaluierung von dem gesamten Zyklus der Maßnahmengestaltung, Umsetzung, Bewertung und Neugestaltung abkoppeln. Timing ist schon heute eine entscheidende Faktor, um bei einer Evaluation erstens an möglichst aussagekräftige Daten zu kommen und andererseits zu gewährleisten, dass die Empfehlungen am Ende auch wieder in den policy cycle einfließen.

Ein paar Sätze weiter fordert das SPD-Papier, dass die Evaluatoren möglichst eng mit den Programmgestaltern zusammenarbeiten sollten, und dies in einem längeren Prozess. Die spricht aus meiner Sicht eher dafür, auch die Verantwortung für die Evaluationsausschreibung weiterhin bei den Programmverantwortlichen zu belassen. Vertrauen als wichtige Voraussetzung für eine gute Zusammenarbeit während der Evaluation und für die Nutzung der Evaluationsergebnisse lässt sich so meiner Einschätzung nach besser aufbauen. Aber sicher, man erkauft sich diese enge Interaktion mit einem Potenzial an Einflussnahme.

Ich finde den Vorschlag des SPD Papiers noch aus einem zweiten Grund kritisch. Aus meiner Sicht wäre EFI nicht der richtige Akteur für eine externe Ausschreibung von Evaluationen.

Die Kommission hat sich zwar in den letzten Jahren sehr um das Thema Evaluation bemüht, sie hat wiederholt in ihrem Gutachten gefordert, die Evaluationskultur in Deutschland zu stärken, regelmäßig alle Fördermaßnahmen zu evaluieren, den Zugang zu Evaluationsberichten zu verbessern, diese vergleichend auszuwerten, die Kompetenzen von Evaluatoren und Evaluationsausschreibenden zu verbessern und so weiter und so fort.

Gleichzeitig hat die Kommission im Moment allerdings nicht die Kapazitäten, um auf breiterer Basis Evaluationsstudien auszuschreiben. Sie ist meine Einschätzung nach auch nicht dicht genug am Fördergeschäft, um hier eine sinnvolle Auswahl der zu evaluierenden Maßnahmen vorzunehmen.

Viel spannender fände ich es, wenn EFI die Verantwortung für querschnittliche, vergleichende Evaluationen übernehmen könnte. Im vergangenen Jahr gab es bereits eine solche Untersuchung zur Clusterförderung. Im Auftrag der Expertenkommission hatte technopolis eine Metaevaluation vorhandener Studien zu Cluster- und Netzwerk-Maßnahmen durchgeführt. Allerdings zeigt dieses Beispiel auch, dass im Moment die Ressourcen bei EFI für solche Studien sehr knapp sind. Aus meiner Sicht war die technopolis-Studie ziemlich spannend, aber letztlich zu schmal angelegt.

Aber grundsätzlich hat der Ansatz Potential. Bislang gibt es in Deutschland keinen Akteur, der für solche querschnittliche Themen steht. Vergleichende Politikfeldevaluationen, Systemevaluationen oder Metaevaluationen könnten so entstehen, die bislang in Deutschland fast komplett fehlen.