Wer vergibt Evaluationsstudien?

Vergangene Woche veröffentlichte die SPD-Fraktion des Deutschen Bundestages ein neues Positionspapier. Es geht dabei vor allem um die Förderung des innovativen Mittelstandes, aber ein paar kleine Absätze waren auch dem Thema Evaluation gewidmet. Und hier wird die spannende Frage angeschnitten, wer eigentlich Evaluationen ausschreibt. Das Papier spricht sich dafür aus, dass dies nicht der jeweils zuständige für eine Fördermaßnahme, also zum Beispiel ein Förderreferat tut, sondern eine externe, unabhängige Institutionen wie die Expertenkommission Forschung und Innovation (EFI). Ich finde dies aus zwei Gründen kritisch zu hinterfragen.

Natürlich würde eine externe Vergabe zu mehr Unabhängigkeit, zu weniger Möglichkeiten einer interessengeleiteten Einflussnahme führen. Gleichzeitig aber würde sich so der Prozess der Evaluierung von dem gesamten Zyklus der Maßnahmengestaltung, Umsetzung, Bewertung und Neugestaltung abkoppeln. Timing ist schon heute eine entscheidende Faktor, um bei einer Evaluation erstens an möglichst aussagekräftige Daten zu kommen und andererseits zu gewährleisten, dass die Empfehlungen am Ende auch wieder in den policy cycle einfließen.

Ein paar Sätze weiter fordert das SPD-Papier, dass die Evaluatoren möglichst eng mit den Programmgestaltern zusammenarbeiten sollten, und dies in einem längeren Prozess. Die spricht aus meiner Sicht eher dafür, auch die Verantwortung für die Evaluationsausschreibung weiterhin bei den Programmverantwortlichen zu belassen. Vertrauen als wichtige Voraussetzung für eine gute Zusammenarbeit während der Evaluation und für die Nutzung der Evaluationsergebnisse lässt sich so meiner Einschätzung nach besser aufbauen. Aber sicher, man erkauft sich diese enge Interaktion mit einem Potenzial an Einflussnahme.

Ich finde den Vorschlag des SPD Papiers noch aus einem zweiten Grund kritisch. Aus meiner Sicht wäre EFI nicht der richtige Akteur für eine externe Ausschreibung von Evaluationen.

Die Kommission hat sich zwar in den letzten Jahren sehr um das Thema Evaluation bemüht, sie hat wiederholt in ihrem Gutachten gefordert, die Evaluationskultur in Deutschland zu stärken, regelmäßig alle Fördermaßnahmen zu evaluieren, den Zugang zu Evaluationsberichten zu verbessern, diese vergleichend auszuwerten, die Kompetenzen von Evaluatoren und Evaluationsausschreibenden zu verbessern und so weiter und so fort.

Gleichzeitig hat die Kommission im Moment allerdings nicht die Kapazitäten, um auf breiterer Basis Evaluationsstudien auszuschreiben. Sie ist meine Einschätzung nach auch nicht dicht genug am Fördergeschäft, um hier eine sinnvolle Auswahl der zu evaluierenden Maßnahmen vorzunehmen.

Viel spannender fände ich es, wenn EFI die Verantwortung für querschnittliche, vergleichende Evaluationen übernehmen könnte. Im vergangenen Jahr gab es bereits eine solche Untersuchung zur Clusterförderung. Im Auftrag der Expertenkommission hatte technopolis eine Metaevaluation vorhandener Studien zu Cluster- und Netzwerk-Maßnahmen durchgeführt. Allerdings zeigt dieses Beispiel auch, dass im Moment die Ressourcen bei EFI für solche Studien sehr knapp sind. Aus meiner Sicht war die technopolis-Studie ziemlich spannend, aber letztlich zu schmal angelegt.

Aber grundsätzlich hat der Ansatz Potential. Bislang gibt es in Deutschland keinen Akteur, der für solche querschnittliche Themen steht. Vergleichende Politikfeldevaluationen, Systemevaluationen oder Metaevaluationen könnten so entstehen, die bislang in Deutschland fast komplett fehlen.

Warum Evaluationsstudien andernorts breiter sind

Bereits auf dem Frühjahrstreffen des AK FTI hatte ich über Projektträger in anderen europäischen Ländern und ihre Evaluationsstudien berichtet. Ich habe in den letzten Monaten an einigen internationalen Workshops teilgenommen, auf denen Projektträger über ihre Erfahrungen bei impact assessment und Programmevaluation berichtet haben. Zum einen waren dies Veranstaltungen des europäischen Projektträger-Netzwerks TAFTIE, zum anderen Veranstaltungen der Europäischen Kommission zum gegenseitigen Lernen der Mitgliedstaaten im Bereich Innovationspolitik (mutual learning exercise).

Aufgefallen ist mir, dass Evaluationsstudien in diesen Ländern konzeptionell zum Teil deutlich anders aufgestellt sind als in Deutschland. Während hierzulande der Untersuchungsfokus ausschließlich auf einem einzigen Programm liegt und dieses in der Regel auch noch nicht beendet ist, wenn die Evaluation erfolgt, sind die Perspektiven in anderen Ländern deutlich breiter. Da werden zum Beispiel mehrere Programme in Hinblick auf die Wirkung auf eine spezifische Zielgruppe miteinander verglichen. Auch wird der Erfolg der geförderten Projekte mit deutlichen zeitlichen Abstand gemessen. Auf den genannten Veranstaltungen wurden eine Reihe interessanter Studien vorgestellt, die aber in der Regel leider nicht frei veröffentlicht sind. Gute Beispiele lassen sich aber zum Beispiel in diesem Reader von DASTI, der dänischen Innovationsagentur finden, oder auch in dieser TEKES-Publikation.

Interessant fand ich auch die Diskussion um einen stärker systemischen Blick auf die Förderung von Innovationsprozessen in Unternehmen. Aus der Perspektive von Unternehmen stellen spezifische Förderprogramme nur eine von mehreren Möglichkeiten da, ihre Innovationsprozesse zu realisieren. Es gibt für sie meist eine gewisse Auswahl an Fördermöglichkeiten auf regionaler, nationaler und europäischer Ebene. Und natürlich können Innovationsprojekte auch mit eigenen Mitteln realisiert werden.

Solche Ansätze und Diskussionen finden in der deutschen Evaluationswirklichkeit kaum statt. Da praktisch ausschließlich Einzelprogramm-Evaluationen von den Programmverantwortlichen in den Ministerien initiiert werden, sind solche Fragestellungen wenig präsent. Übergreifende Innovationsstudien werden praktisch nicht beauftragt. Die Expertenkommission Forschung und Innovation (EFI), die quasi als einzige übergreifende Innovationsstudien beauftragt, hat eine andere Perspektive.

Ich könnte mir aber vorstellen, dass die Situation in Österreich etwas besser aussieht, da Organisationen wie die FFG oder auch die anderen Akteure der fteval eine etwas breitere Perspektive auf das Gesamtsystem haben und entsprechende Studien auch bisweilen beauftragen.