Wer vergibt Evaluationsstudien?

Vergangene Woche veröffentlichte die SPD-Fraktion des Deutschen Bundestages ein neues Positionspapier. Es geht dabei vor allem um die Förderung des innovativen Mittelstandes, aber ein paar kleine Absätze waren auch dem Thema Evaluation gewidmet. Und hier wird die spannende Frage angeschnitten, wer eigentlich Evaluationen ausschreibt. Das Papier spricht sich dafür aus, dass dies nicht der jeweils zuständige für eine Fördermaßnahme, also zum Beispiel ein Förderreferat tut, sondern eine externe, unabhängige Institutionen wie die Expertenkommission Forschung und Innovation (EFI). Ich finde dies aus zwei Gründen kritisch zu hinterfragen.

Natürlich würde eine externe Vergabe zu mehr Unabhängigkeit, zu weniger Möglichkeiten einer interessengeleiteten Einflussnahme führen. Gleichzeitig aber würde sich so der Prozess der Evaluierung von dem gesamten Zyklus der Maßnahmengestaltung, Umsetzung, Bewertung und Neugestaltung abkoppeln. Timing ist schon heute eine entscheidende Faktor, um bei einer Evaluation erstens an möglichst aussagekräftige Daten zu kommen und andererseits zu gewährleisten, dass die Empfehlungen am Ende auch wieder in den policy cycle einfließen.

Ein paar Sätze weiter fordert das SPD-Papier, dass die Evaluatoren möglichst eng mit den Programmgestaltern zusammenarbeiten sollten, und dies in einem längeren Prozess. Die spricht aus meiner Sicht eher dafür, auch die Verantwortung für die Evaluationsausschreibung weiterhin bei den Programmverantwortlichen zu belassen. Vertrauen als wichtige Voraussetzung für eine gute Zusammenarbeit während der Evaluation und für die Nutzung der Evaluationsergebnisse lässt sich so meiner Einschätzung nach besser aufbauen. Aber sicher, man erkauft sich diese enge Interaktion mit einem Potenzial an Einflussnahme.

Ich finde den Vorschlag des SPD Papiers noch aus einem zweiten Grund kritisch. Aus meiner Sicht wäre EFI nicht der richtige Akteur für eine externe Ausschreibung von Evaluationen.

Die Kommission hat sich zwar in den letzten Jahren sehr um das Thema Evaluation bemüht, sie hat wiederholt in ihrem Gutachten gefordert, die Evaluationskultur in Deutschland zu stärken, regelmäßig alle Fördermaßnahmen zu evaluieren, den Zugang zu Evaluationsberichten zu verbessern, diese vergleichend auszuwerten, die Kompetenzen von Evaluatoren und Evaluationsausschreibenden zu verbessern und so weiter und so fort.

Gleichzeitig hat die Kommission im Moment allerdings nicht die Kapazitäten, um auf breiterer Basis Evaluationsstudien auszuschreiben. Sie ist meine Einschätzung nach auch nicht dicht genug am Fördergeschäft, um hier eine sinnvolle Auswahl der zu evaluierenden Maßnahmen vorzunehmen.

Viel spannender fände ich es, wenn EFI die Verantwortung für querschnittliche, vergleichende Evaluationen übernehmen könnte. Im vergangenen Jahr gab es bereits eine solche Untersuchung zur Clusterförderung. Im Auftrag der Expertenkommission hatte technopolis eine Metaevaluation vorhandener Studien zu Cluster- und Netzwerk-Maßnahmen durchgeführt. Allerdings zeigt dieses Beispiel auch, dass im Moment die Ressourcen bei EFI für solche Studien sehr knapp sind. Aus meiner Sicht war die technopolis-Studie ziemlich spannend, aber letztlich zu schmal angelegt.

Aber grundsätzlich hat der Ansatz Potential. Bislang gibt es in Deutschland keinen Akteur, der für solche querschnittliche Themen steht. Vergleichende Politikfeldevaluationen, Systemevaluationen oder Metaevaluationen könnten so entstehen, die bislang in Deutschland fast komplett fehlen.