Konferenzbericht openevaluation2016 in Wien

Über 250 Teilnehmerinnen und Teilnehmer aus 34 Ländern, alle Kontinente sind vertreten: Eine beeindruckend große und internationale Gruppe an Interessierten an FTI-Evaluation. Die Organisatoren der Konferenz haben ausgezeichnete Arbeit bei der Auswahl, insbesondere aber der Zusammenstellung der Sessions geleistet: Immer war eine klare Verbindungslinie zwischen den verschiedenen Vorträgen erkennbar und außerdem blieb genug Zeit für Diskussionen (dies allerdings zu Lasten der Pausenkommunikation). Welche Highlights bleiben auch nach 14 Tagen noch Erinnerung? 
 

In zwei Key Notes ging es um die Messung von Impact und wie eine Annäherung versucht werden kann, der Multikausalität, Verästelung, Latenz, Interdependenz, dem Zufall oder gar dem Glück von Forschung und Innovation auf dem Weg zu sozio-ökonomischer Veränderung gerecht zu werden. Im Research Excellence Framework (REF) in Großbritannien wurden knapp 7.000 Fallstudien gesammelt und ausgewertet, wo und wie die Ergebnisse von Forschungsgruppen Impact gezeigt haben. Allein wegen der Grafiken (z.B. Seite 31 oder 39) ist es lohnend, einen Blick in einen der Berichte zu werfen. In Frankreich wird für das Nationale Agrarökonomische Forschungsinstitut (INRA) der Weg beschritten, die Fallstudien, die Impact beschreiben, explizit losgelöst von einzelnen Projekten zu betrachten und auf Zeitachsen ihre Entstehungsverläufe nachzuzeichnen. Beiden Ansätzen ist gemeinsam, dass sie zeigen, dass Impact in der Regel nicht auf einzelne Projekte oder einzelne Personen zurückgeführt werden kann, sondern es zum Beispiel eher Gruppen von Forschenden sind, die Veränderungen anstoßen und weiterverfolgen. 

Von den Einzelpräsentationen bleibt mir der exzellente Vortrag eines Doktoranden in Erinnerung, der statistisch virtuos untersucht, welche Zusammenhänge zwischen Öko-Innovationen und externer Regulierung bestehen. Ebenfalls sehr interessant in seiner übersichtlichen Darstellung  – und  damit als Raster für Evaluationen verwendbar – waren die Ergebnisse zu einer Analyse unterschiedlicher Auswahlverfahren, die bei verschiedenen europäischen Projektträgern verwendet werden. Alle haben ihre spezifischen Vor- und Nachteile und müssen passend zum Programm und zur Forschungscommunity gewählt werden. Hier bleibt zu hoffen, dass in einem weiteren Projekt untersucht wird, wie sich die unterschiedlichen Auswahlprozesse auf die Zielerreichung und Wirksamkeit der Förderung auswirken. Sehr bereichernd empfand ich ebenfalls den Beitrag eines Kollegen der Chinese Academy of Sciences, der den Evaluationsansatz für diese Forschungseinrichtungen vorstellte und auf das Dilemma hinwies zwischen der Spezialisierung der Forschungsinstitute (um Doppelungen zu sparen und damit Ressourcen effizient einzusetzen) bei gleichzeitiger Konvergenz von Technologien, die eher ein interdisziplinäres und damit Institute übergreifendes Herangehen erfordern würden. Nicht zuletzt stellte TEKES vor, wie sich Vorstellungen von Wirkungsmodellen von recht einfachen, eher linearen Input-Output-Outcome-Impact-Beziehungen weiter entwickelt haben zu Modellen, die die Komplexität einfangen wollen ohne die logische Struktur aufzugeben. Diese Herangehensweise führt in Finnland dazu, dass Impact und seine Evaluierung bereits zu Beginn von Forschungsprojekten mit bedacht werden.

Am zweiten Konferenztag wurde mit der SIPER EvaluationInteractive STI Evaluation Database eine Webseite offiziell live geschaltet, auf der Evaluationsberichte systematisiert und öffentlich zugänglich gemacht werden. Damit ist endlich ein weiterer Schritt zu mehr Transparenz zu Vorgehen und Ergebnissen von FTI-Evaluationen geleistet. Noch sehr wenige deutschsprachige Einträge waren zu verzeichnen - hier ist es auch an der DeGEval, zu einer stärkeren Präsenz beizutragen. 

Am Ende der Konferenz waren durchaus einige kritische Stimmen zu hören. Die Ergebnisse seien nicht konkret genug gewesen, insbesondere Politikerinnen und Politiker bzw. Akteure in politischen Prozessen hätten nicht genug aus der Konferenz mitnehmen können. Zwei Jahre Abstand für internationale Konferenzen in diesem speziellen Feld seien zu kurz – es wären keine neuen Trends erkennbar oder gar anzustoßen gewesen. Der Wunsch nach Öffnung und Verbindung mit anderen Akteuren, die ebenfalls evaluieren und Politik beraten, aber noch nicht mit der Evaluationscommunity verbunden sind (Ökonomen, Auditoren, etc.) wurde geäußert. Dass viele Teilnehmerinnen und Teilnehmer zum ersten Mal in Wien dabei waren, zeigt aus meiner Sicht, dass das Interesse an FTI-Evaluation hoch ist – qualitativ hochwertige Möglichkeiten des Austausches sind daher weiterhin von hoher Bedeutung.

Warum Evaluationsstudien andernorts breiter sind

Bereits auf dem Frühjahrstreffen des AK FTI hatte ich über Projektträger in anderen europäischen Ländern und ihre Evaluationsstudien berichtet. Ich habe in den letzten Monaten an einigen internationalen Workshops teilgenommen, auf denen Projektträger über ihre Erfahrungen bei impact assessment und Programmevaluation berichtet haben. Zum einen waren dies Veranstaltungen des europäischen Projektträger-Netzwerks TAFTIE, zum anderen Veranstaltungen der Europäischen Kommission zum gegenseitigen Lernen der Mitgliedstaaten im Bereich Innovationspolitik (mutual learning exercise).

Aufgefallen ist mir, dass Evaluationsstudien in diesen Ländern konzeptionell zum Teil deutlich anders aufgestellt sind als in Deutschland. Während hierzulande der Untersuchungsfokus ausschließlich auf einem einzigen Programm liegt und dieses in der Regel auch noch nicht beendet ist, wenn die Evaluation erfolgt, sind die Perspektiven in anderen Ländern deutlich breiter. Da werden zum Beispiel mehrere Programme in Hinblick auf die Wirkung auf eine spezifische Zielgruppe miteinander verglichen. Auch wird der Erfolg der geförderten Projekte mit deutlichen zeitlichen Abstand gemessen. Auf den genannten Veranstaltungen wurden eine Reihe interessanter Studien vorgestellt, die aber in der Regel leider nicht frei veröffentlicht sind. Gute Beispiele lassen sich aber zum Beispiel in diesem Reader von DASTI, der dänischen Innovationsagentur finden, oder auch in dieser TEKES-Publikation.

Interessant fand ich auch die Diskussion um einen stärker systemischen Blick auf die Förderung von Innovationsprozessen in Unternehmen. Aus der Perspektive von Unternehmen stellen spezifische Förderprogramme nur eine von mehreren Möglichkeiten da, ihre Innovationsprozesse zu realisieren. Es gibt für sie meist eine gewisse Auswahl an Fördermöglichkeiten auf regionaler, nationaler und europäischer Ebene. Und natürlich können Innovationsprojekte auch mit eigenen Mitteln realisiert werden.

Solche Ansätze und Diskussionen finden in der deutschen Evaluationswirklichkeit kaum statt. Da praktisch ausschließlich Einzelprogramm-Evaluationen von den Programmverantwortlichen in den Ministerien initiiert werden, sind solche Fragestellungen wenig präsent. Übergreifende Innovationsstudien werden praktisch nicht beauftragt. Die Expertenkommission Forschung und Innovation (EFI), die quasi als einzige übergreifende Innovationsstudien beauftragt, hat eine andere Perspektive.

Ich könnte mir aber vorstellen, dass die Situation in Österreich etwas besser aussieht, da Organisationen wie die FFG oder auch die anderen Akteure der fteval eine etwas breitere Perspektive auf das Gesamtsystem haben und entsprechende Studien auch bisweilen beauftragen.