Evaluationsüberblick 2016

Liebe Interessierte am AK FTI,
bevor sich das Jahr 2016 endgültig seinem Ende zuneigt, möchten wir Ihnen eine erste kurze Übersicht zu aktuell abgeschlossenen Evaluationen in Deutschland und Österreich sowie zu neu begonnen Evaluationen in beiden Ländern zukommen lassen. Die Übersicht ist sicherlich noch nicht vollständig, wenn Sie also ergänzende Informationen haben, würden wir uns über eine kurze Rückmeldung freuen. Wir werden dann Anfang des Jahres ein Update erstellen und über den Verteiler des AK sowie unseren Evaluationsblog http://fti-eval.blogspot.de/ weiterleiten. Natürlich finden Sie weiter praktisch alle Berichte für Österreich auf der Seite der fteval.
Wir wünschen Ihnen fröhliche Weihnachten und einen guten Start in das Jahr 2017
Ihre Sprecherinnen und Sprecher des AK FTI

Jan Wessels / Iris Fischl / Marianne Kulicke

 

 
2016 abgeschlossene Evaluationen

• go-cluster (InterVal, 2/2016)
• Innovative, regionale Wachstumskerne (iit, 3/2016)
• ForMat (FhG-IMW, 3/2016)
• High-Tech Gründerfonds II (technopolis, 8/2016)
• Förderlinie Soziale Innovationen für Lebensqualität im Alter SILQUA-FH (FhG ISI, 9/2016)
• Exportinitiative Erneuerbare Energien (iit, 10/2016) 
• „INVEST – Zuschuss für Wagniskapital“ (ZEW, 6/2016)
• Zwischenevaluation von EXIST - Existenzgründungen aus der Wissenschaft (FhG ISI, 9/2016)
• Evaluierung aws-Garantien (KMU Forschung Austria) .. noch nicht veröffentlicht
• Die Wirkung von Innovationsaktivitäten geförderter österreichischer Unternehmen auf die Belegschaft (WIFO, 5/2016)
• Evaluation of the START Programme and the Wittgenstein Award (FhG-ISI / KMU Forschung Austria, 4/2016)
• Evaluation report on the impact of the ERC starting grant programme (iFQ / TU Dortmund / Universität Bielefeld, 12/2015)
• Evaluierung der österreichischen Beteiligung am Ambient Assisted Living Joint Programme (AAL JP 2008 – 2013) (technopolis Austria, 1/2016)
• Evaluierung des Institute of Science and Technology Austria (Internationales unabhängiges Evaulierungskomitee, 4/2016)
• Gender in Forschungsinhalten - Review der FEMtech Forschungsprojekte 2008-2014 (IHS, 8/2016)
• Programmevaluierung Haus der Zukunft 1999 – 2013 (Pöchhacker Innovation Consulting GmbH, 7/2016)
• Wirkungsmonitoring der FFG Förderung 2015 (KMU Forschung Austria, 2/2016)

 2016 neu ausgeschriebene / begonnene Evaluationen

• BMBF: Nationalen Forschungsstrategie BioÖkonomie 2030 (durch FhG ISI), Ausschreibung 7/2015
• BMWi: Luftfahrtausrüster-Programm, Ausschreibung 1/2016
• BMBF: Rahmenprogramm Gesundheitsforschung, Ausschreibung 6/2016
• BMAS: Innovationsbüro Fachkräfte für die Region, Ausschreibung 2/2016
• BMEL: Programm zur Innovationsförderung, Ausschreibung 2/2016
• BMWi: Forschungsprogramm "Maritime Technologien der nächsten Generation", Ausschreibung 5/2016
• BMWi: „Neue Fahrzeug- und Systemtechnologien“, Ausschreibung 8/2016
• BMBF: Rahmenprogramm "Forschung für die zivile Sicherheit", Ausschreibung 10/2016
• Robert Bosch Stiftung GmbH: Evaluation der Robert Bosch Juniorprofessur „ nachhaltige Nutzung natürlicher Ressourcen“ (durch FhG ISI), Ausschreibung 2/2016
• BMWFW (AT): Kombinierte Programmevaluierung der Christian Doppler Labors und Josef Ressel Zentren 2016 (durch IWI), Ausschreibung 4/2016
• EUREKA Brussels: "Impact Assessment of EUREKA Network Projects and Clusters projects" (durch Technopolis), Ausschreibung 1/2016
• BMWFW (AT): "Evaluierung der Innovationsscheck-Programme" (durch convelop), Ausschreibung 4/2016
• FFG: "Kurz-Assessment der Programmlinie KLIPHA (Klinische Studien für KMU)" (durch inspire research), Ausschreibung 10/2016
• BMWFW & bmvit (AT): Evaluierung der Förderungsgesellschaften AWS und FFG, Ausschreibung 10/2015 bzw. 2/2016
• FFG: Evaluierung der FFG-Indikatoren (durch KMU Forschung Austria, AIT), Ausschreibung1/2016
• FFG: "Förderungs- und Finanzierungskonditionen für schnellwachsende und forschungsintensive Unternehmen in Österreich" (durch KMU Forschung Austria, WIFO), Ausschreibung 6/2016
•  BMF: Evaluierung der Forschungsprämie gem. § 108c EstG (durch KMU Forschung Austria, WPZ Research), Ausschreibung 6/2016
• Wissenschaftsfond (FWF): Evaluierung des internationalen Programmportfolios des FWF (Grundlagenforschungsförderungsfonds) (durch Zentrum für Soziale Innovation (ZSI), Manchester University, DZHW und Digital Science), Ausschreibung 5/16

Konferenzbericht openevaluation2016 in Wien

Über 250 Teilnehmerinnen und Teilnehmer aus 34 Ländern, alle Kontinente sind vertreten: Eine beeindruckend große und internationale Gruppe an Interessierten an FTI-Evaluation. Die Organisatoren der Konferenz haben ausgezeichnete Arbeit bei der Auswahl, insbesondere aber der Zusammenstellung der Sessions geleistet: Immer war eine klare Verbindungslinie zwischen den verschiedenen Vorträgen erkennbar und außerdem blieb genug Zeit für Diskussionen (dies allerdings zu Lasten der Pausenkommunikation). Welche Highlights bleiben auch nach 14 Tagen noch Erinnerung? 
 

In zwei Key Notes ging es um die Messung von Impact und wie eine Annäherung versucht werden kann, der Multikausalität, Verästelung, Latenz, Interdependenz, dem Zufall oder gar dem Glück von Forschung und Innovation auf dem Weg zu sozio-ökonomischer Veränderung gerecht zu werden. Im Research Excellence Framework (REF) in Großbritannien wurden knapp 7.000 Fallstudien gesammelt und ausgewertet, wo und wie die Ergebnisse von Forschungsgruppen Impact gezeigt haben. Allein wegen der Grafiken (z.B. Seite 31 oder 39) ist es lohnend, einen Blick in einen der Berichte zu werfen. In Frankreich wird für das Nationale Agrarökonomische Forschungsinstitut (INRA) der Weg beschritten, die Fallstudien, die Impact beschreiben, explizit losgelöst von einzelnen Projekten zu betrachten und auf Zeitachsen ihre Entstehungsverläufe nachzuzeichnen. Beiden Ansätzen ist gemeinsam, dass sie zeigen, dass Impact in der Regel nicht auf einzelne Projekte oder einzelne Personen zurückgeführt werden kann, sondern es zum Beispiel eher Gruppen von Forschenden sind, die Veränderungen anstoßen und weiterverfolgen. 

Von den Einzelpräsentationen bleibt mir der exzellente Vortrag eines Doktoranden in Erinnerung, der statistisch virtuos untersucht, welche Zusammenhänge zwischen Öko-Innovationen und externer Regulierung bestehen. Ebenfalls sehr interessant in seiner übersichtlichen Darstellung  – und  damit als Raster für Evaluationen verwendbar – waren die Ergebnisse zu einer Analyse unterschiedlicher Auswahlverfahren, die bei verschiedenen europäischen Projektträgern verwendet werden. Alle haben ihre spezifischen Vor- und Nachteile und müssen passend zum Programm und zur Forschungscommunity gewählt werden. Hier bleibt zu hoffen, dass in einem weiteren Projekt untersucht wird, wie sich die unterschiedlichen Auswahlprozesse auf die Zielerreichung und Wirksamkeit der Förderung auswirken. Sehr bereichernd empfand ich ebenfalls den Beitrag eines Kollegen der Chinese Academy of Sciences, der den Evaluationsansatz für diese Forschungseinrichtungen vorstellte und auf das Dilemma hinwies zwischen der Spezialisierung der Forschungsinstitute (um Doppelungen zu sparen und damit Ressourcen effizient einzusetzen) bei gleichzeitiger Konvergenz von Technologien, die eher ein interdisziplinäres und damit Institute übergreifendes Herangehen erfordern würden. Nicht zuletzt stellte TEKES vor, wie sich Vorstellungen von Wirkungsmodellen von recht einfachen, eher linearen Input-Output-Outcome-Impact-Beziehungen weiter entwickelt haben zu Modellen, die die Komplexität einfangen wollen ohne die logische Struktur aufzugeben. Diese Herangehensweise führt in Finnland dazu, dass Impact und seine Evaluierung bereits zu Beginn von Forschungsprojekten mit bedacht werden.

Am zweiten Konferenztag wurde mit der SIPER EvaluationInteractive STI Evaluation Database eine Webseite offiziell live geschaltet, auf der Evaluationsberichte systematisiert und öffentlich zugänglich gemacht werden. Damit ist endlich ein weiterer Schritt zu mehr Transparenz zu Vorgehen und Ergebnissen von FTI-Evaluationen geleistet. Noch sehr wenige deutschsprachige Einträge waren zu verzeichnen - hier ist es auch an der DeGEval, zu einer stärkeren Präsenz beizutragen. 

Am Ende der Konferenz waren durchaus einige kritische Stimmen zu hören. Die Ergebnisse seien nicht konkret genug gewesen, insbesondere Politikerinnen und Politiker bzw. Akteure in politischen Prozessen hätten nicht genug aus der Konferenz mitnehmen können. Zwei Jahre Abstand für internationale Konferenzen in diesem speziellen Feld seien zu kurz – es wären keine neuen Trends erkennbar oder gar anzustoßen gewesen. Der Wunsch nach Öffnung und Verbindung mit anderen Akteuren, die ebenfalls evaluieren und Politik beraten, aber noch nicht mit der Evaluationscommunity verbunden sind (Ökonomen, Auditoren, etc.) wurde geäußert. Dass viele Teilnehmerinnen und Teilnehmer zum ersten Mal in Wien dabei waren, zeigt aus meiner Sicht, dass das Interesse an FTI-Evaluation hoch ist – qualitativ hochwertige Möglichkeiten des Austausches sind daher weiterhin von hoher Bedeutung.

Konferenz: Open Evaluation 2016 - 24./25. November, Tech Gate, Wien

Die Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung und die Partner der University of Manchester und der University of Paris Est laden ein zur Konferenz "Open Evaluation 2016":

Wo: Tech Gate Vienna, Donau-City-Straße 1, A-1220 Wien
Wann: 24 - 25 November 2016, Wien

Konferenzhomepage www.openevaluation2016.eu

AK FTI der DeGEval: Frühjahrstreffen 2017 in WIEN – SAVE THE DATE & Einholung potenzieller Beiträge

Das diesjährige Frühjahrstreffen des DeGEval FTI-Arbeitskreises wird am 19. Mai 2017 in Wien in den Räumen des Austria Wirtschaftsservice (aws) [Walcherstrasse 11A, 1020 Wien] stattfinden.

Die DeGEval feiert 2017 ihr 20jähriges Jubiläum und stellt ihre Jahrestagung daher unter das Motto „Zukunft der Evaluation“. Das Frühjahrstreffen 2017 des AK FTI greift dieses Thema auf und richtet seinen Fokus auf den aktuellen Rand des Evaluationsgeschehens im Politikfeld FTI.

Das Treffen widmet sich somit aktuellen Entwicklungen im Politikfeld FTI und Konsequenzen für Evaluationsansätze und –methoden.

Folgende Fragestellungen stehen dabei voraussichtlich im Vordergrund:

• Zu welchen gesellschaftlichen Herausforderungen will die FTI-Politik in Österreich und Deutschland in den letzten Jahren verstärkt Beiträge leisten (Stichwort Missionsorientierung)?

• Mit welchen neuen oder angepassten Förderformaten haben die Fördergeber darauf reagiert?

• Welche Anforderungen und Erwartungen ergeben sich aus der Wirkungsorientierte Folgenabschätzung (WFA) in Österreich und dem deutlichen gestiegenen Stellenwert von Wirkungskontrollen zu Fördermaßnahmen in Deutschland für externe Evaluationen?

• Wie begegnen EvaluatorInnen diesen Anforderungen mit ihren Evaluationsansätzen und –methoden? Welche neue methodische Zugänge gibt es? Und was heißt das für die Zukunft der Evaluation im Politikfeld FTI?

Das Programm ist noch offen und der AK freut uns daher über Vorschläge und Beiträge in Form von Berichten über aktuelle / kürzlich abgeschlossene Evaluationen, die die oben genannten Fragestellungen betreffen. Ebenso sind Beiträge dazu von Auftraggebern / Agenturen sehr willkommen.

Für eine bessere Programmplanung bitten wir um eine entsprechende Rückmeldung bis Mitte Dezember an Iris Fischl (i.fischl@kmuforschung.ac.at).

Eine offizielle Einladung wird ausgesendet, sobald ein erster Programmentwurf fertiggestellt ist.