Konferenzbericht openevaluation2016 in Wien

Über 250 Teilnehmerinnen und Teilnehmer aus 34 Ländern, alle Kontinente sind vertreten: Eine beeindruckend große und internationale Gruppe an Interessierten an FTI-Evaluation. Die Organisatoren der Konferenz haben ausgezeichnete Arbeit bei der Auswahl, insbesondere aber der Zusammenstellung der Sessions geleistet: Immer war eine klare Verbindungslinie zwischen den verschiedenen Vorträgen erkennbar und außerdem blieb genug Zeit für Diskussionen (dies allerdings zu Lasten der Pausenkommunikation). Welche Highlights bleiben auch nach 14 Tagen noch Erinnerung? 
 

In zwei Key Notes ging es um die Messung von Impact und wie eine Annäherung versucht werden kann, der Multikausalität, Verästelung, Latenz, Interdependenz, dem Zufall oder gar dem Glück von Forschung und Innovation auf dem Weg zu sozio-ökonomischer Veränderung gerecht zu werden. Im Research Excellence Framework (REF) in Großbritannien wurden knapp 7.000 Fallstudien gesammelt und ausgewertet, wo und wie die Ergebnisse von Forschungsgruppen Impact gezeigt haben. Allein wegen der Grafiken (z.B. Seite 31 oder 39) ist es lohnend, einen Blick in einen der Berichte zu werfen. In Frankreich wird für das Nationale Agrarökonomische Forschungsinstitut (INRA) der Weg beschritten, die Fallstudien, die Impact beschreiben, explizit losgelöst von einzelnen Projekten zu betrachten und auf Zeitachsen ihre Entstehungsverläufe nachzuzeichnen. Beiden Ansätzen ist gemeinsam, dass sie zeigen, dass Impact in der Regel nicht auf einzelne Projekte oder einzelne Personen zurückgeführt werden kann, sondern es zum Beispiel eher Gruppen von Forschenden sind, die Veränderungen anstoßen und weiterverfolgen. 

Von den Einzelpräsentationen bleibt mir der exzellente Vortrag eines Doktoranden in Erinnerung, der statistisch virtuos untersucht, welche Zusammenhänge zwischen Öko-Innovationen und externer Regulierung bestehen. Ebenfalls sehr interessant in seiner übersichtlichen Darstellung  – und  damit als Raster für Evaluationen verwendbar – waren die Ergebnisse zu einer Analyse unterschiedlicher Auswahlverfahren, die bei verschiedenen europäischen Projektträgern verwendet werden. Alle haben ihre spezifischen Vor- und Nachteile und müssen passend zum Programm und zur Forschungscommunity gewählt werden. Hier bleibt zu hoffen, dass in einem weiteren Projekt untersucht wird, wie sich die unterschiedlichen Auswahlprozesse auf die Zielerreichung und Wirksamkeit der Förderung auswirken. Sehr bereichernd empfand ich ebenfalls den Beitrag eines Kollegen der Chinese Academy of Sciences, der den Evaluationsansatz für diese Forschungseinrichtungen vorstellte und auf das Dilemma hinwies zwischen der Spezialisierung der Forschungsinstitute (um Doppelungen zu sparen und damit Ressourcen effizient einzusetzen) bei gleichzeitiger Konvergenz von Technologien, die eher ein interdisziplinäres und damit Institute übergreifendes Herangehen erfordern würden. Nicht zuletzt stellte TEKES vor, wie sich Vorstellungen von Wirkungsmodellen von recht einfachen, eher linearen Input-Output-Outcome-Impact-Beziehungen weiter entwickelt haben zu Modellen, die die Komplexität einfangen wollen ohne die logische Struktur aufzugeben. Diese Herangehensweise führt in Finnland dazu, dass Impact und seine Evaluierung bereits zu Beginn von Forschungsprojekten mit bedacht werden.

Am zweiten Konferenztag wurde mit der SIPER EvaluationInteractive STI Evaluation Database eine Webseite offiziell live geschaltet, auf der Evaluationsberichte systematisiert und öffentlich zugänglich gemacht werden. Damit ist endlich ein weiterer Schritt zu mehr Transparenz zu Vorgehen und Ergebnissen von FTI-Evaluationen geleistet. Noch sehr wenige deutschsprachige Einträge waren zu verzeichnen - hier ist es auch an der DeGEval, zu einer stärkeren Präsenz beizutragen. 

Am Ende der Konferenz waren durchaus einige kritische Stimmen zu hören. Die Ergebnisse seien nicht konkret genug gewesen, insbesondere Politikerinnen und Politiker bzw. Akteure in politischen Prozessen hätten nicht genug aus der Konferenz mitnehmen können. Zwei Jahre Abstand für internationale Konferenzen in diesem speziellen Feld seien zu kurz – es wären keine neuen Trends erkennbar oder gar anzustoßen gewesen. Der Wunsch nach Öffnung und Verbindung mit anderen Akteuren, die ebenfalls evaluieren und Politik beraten, aber noch nicht mit der Evaluationscommunity verbunden sind (Ökonomen, Auditoren, etc.) wurde geäußert. Dass viele Teilnehmerinnen und Teilnehmer zum ersten Mal in Wien dabei waren, zeigt aus meiner Sicht, dass das Interesse an FTI-Evaluation hoch ist – qualitativ hochwertige Möglichkeiten des Austausches sind daher weiterhin von hoher Bedeutung.