Vorschau auf die DeGEval-Jahrestagung 2016 in Salzburg

Seid Ende Juni ist das vorläufige Programm der Jahrestagung 2016 auf der Seite der DeGEval veröffentlicht, die vom 22. bis 23 September in Salzburg stattfindet. Der besondere Reiz der Jahrestagung liegt ja immer darin, dass Evaluationspraktiker aus ganz unterschiedlichen Politikbereichen zusammenkommen und über ihre Erfahrungen berichten. Querschnittsthemen und übergreifende Fragen stehen eher im Mittelpunkt als bei den Frühjahrstreffen der Arbeitskreise. Im Programm der diesjährigen Jahrestagung finden sich einige spannende Sessions, die explizit von mehreren Arbeitskreisen gemeinsam konzipiert wurden.

Für die Interessierten am Arbeitskreis Forschungs-, Technologie- und Innovationspolitik möchte ich an dieser Stelle trotzdem vor allen Dingen auf jene Vorträge eingehen, die "unserem" Politikfeld besonders nah sind.

Donnerstag zwischen 8:30 und 10:00 treffen sich zunächst traditionell die Arbeitskreise, auch der AK FTI lädt Sie ganz herzlich ein, um über zukünftige Themen und Arbeitsschwerpunkte zu diskutieren.

Am Nachmittag des ersten Tages finden sich in der Session C3 zwei Vorträge zur Indikatorik. Jan Wessels und Sonja Kind (VDI/VDE-IT) berichten über ein aktuelle Projekt zur Identifizierung von Kernindikatoren, Peter Kaufmann (KMU Austria) berichtet über ein Modell zur Abschätzung sozialer Wirkungen missionsorientierter Forschungsförderprogramme am Beispiel der Personen- und Gütermobilität. In Session C6 (Blitzvorträge berichtet Laurenz Wolf (KMU Austria) über ein Wirkungsmonitoring innovationstreibender Unternehmen in Österreich.

Am Vormittag des zweiten Tages widmet sich die Session E6 mit drei Beiträgen Nutzung und Nützlichkeit von FTI-Evaluationen in Österreich.

Es verspricht also wieder eine interessante Jahrestagung zu werden, für alle, die an den Themen unseres Arbeitskreises interessiert sind, aber auch für alle, die etwas über den Tellerrand hinausschauen wollen.

Wer vergibt Evaluationsstudien?

Vergangene Woche veröffentlichte die SPD-Fraktion des Deutschen Bundestages ein neues Positionspapier. Es geht dabei vor allem um die Förderung des innovativen Mittelstandes, aber ein paar kleine Absätze waren auch dem Thema Evaluation gewidmet. Und hier wird die spannende Frage angeschnitten, wer eigentlich Evaluationen ausschreibt. Das Papier spricht sich dafür aus, dass dies nicht der jeweils zuständige für eine Fördermaßnahme, also zum Beispiel ein Förderreferat tut, sondern eine externe, unabhängige Institutionen wie die Expertenkommission Forschung und Innovation (EFI). Ich finde dies aus zwei Gründen kritisch zu hinterfragen.

Natürlich würde eine externe Vergabe zu mehr Unabhängigkeit, zu weniger Möglichkeiten einer interessengeleiteten Einflussnahme führen. Gleichzeitig aber würde sich so der Prozess der Evaluierung von dem gesamten Zyklus der Maßnahmengestaltung, Umsetzung, Bewertung und Neugestaltung abkoppeln. Timing ist schon heute eine entscheidende Faktor, um bei einer Evaluation erstens an möglichst aussagekräftige Daten zu kommen und andererseits zu gewährleisten, dass die Empfehlungen am Ende auch wieder in den policy cycle einfließen.

Ein paar Sätze weiter fordert das SPD-Papier, dass die Evaluatoren möglichst eng mit den Programmgestaltern zusammenarbeiten sollten, und dies in einem längeren Prozess. Die spricht aus meiner Sicht eher dafür, auch die Verantwortung für die Evaluationsausschreibung weiterhin bei den Programmverantwortlichen zu belassen. Vertrauen als wichtige Voraussetzung für eine gute Zusammenarbeit während der Evaluation und für die Nutzung der Evaluationsergebnisse lässt sich so meiner Einschätzung nach besser aufbauen. Aber sicher, man erkauft sich diese enge Interaktion mit einem Potenzial an Einflussnahme.

Ich finde den Vorschlag des SPD Papiers noch aus einem zweiten Grund kritisch. Aus meiner Sicht wäre EFI nicht der richtige Akteur für eine externe Ausschreibung von Evaluationen.

Die Kommission hat sich zwar in den letzten Jahren sehr um das Thema Evaluation bemüht, sie hat wiederholt in ihrem Gutachten gefordert, die Evaluationskultur in Deutschland zu stärken, regelmäßig alle Fördermaßnahmen zu evaluieren, den Zugang zu Evaluationsberichten zu verbessern, diese vergleichend auszuwerten, die Kompetenzen von Evaluatoren und Evaluationsausschreibenden zu verbessern und so weiter und so fort.

Gleichzeitig hat die Kommission im Moment allerdings nicht die Kapazitäten, um auf breiterer Basis Evaluationsstudien auszuschreiben. Sie ist meine Einschätzung nach auch nicht dicht genug am Fördergeschäft, um hier eine sinnvolle Auswahl der zu evaluierenden Maßnahmen vorzunehmen.

Viel spannender fände ich es, wenn EFI die Verantwortung für querschnittliche, vergleichende Evaluationen übernehmen könnte. Im vergangenen Jahr gab es bereits eine solche Untersuchung zur Clusterförderung. Im Auftrag der Expertenkommission hatte technopolis eine Metaevaluation vorhandener Studien zu Cluster- und Netzwerk-Maßnahmen durchgeführt. Allerdings zeigt dieses Beispiel auch, dass im Moment die Ressourcen bei EFI für solche Studien sehr knapp sind. Aus meiner Sicht war die technopolis-Studie ziemlich spannend, aber letztlich zu schmal angelegt.

Aber grundsätzlich hat der Ansatz Potential. Bislang gibt es in Deutschland keinen Akteur, der für solche querschnittliche Themen steht. Vergleichende Politikfeldevaluationen, Systemevaluationen oder Metaevaluationen könnten so entstehen, die bislang in Deutschland fast komplett fehlen.

Warum Evaluationsstudien andernorts breiter sind

Bereits auf dem Frühjahrstreffen des AK FTI hatte ich über Projektträger in anderen europäischen Ländern und ihre Evaluationsstudien berichtet. Ich habe in den letzten Monaten an einigen internationalen Workshops teilgenommen, auf denen Projektträger über ihre Erfahrungen bei impact assessment und Programmevaluation berichtet haben. Zum einen waren dies Veranstaltungen des europäischen Projektträger-Netzwerks TAFTIE, zum anderen Veranstaltungen der Europäischen Kommission zum gegenseitigen Lernen der Mitgliedstaaten im Bereich Innovationspolitik (mutual learning exercise).

Aufgefallen ist mir, dass Evaluationsstudien in diesen Ländern konzeptionell zum Teil deutlich anders aufgestellt sind als in Deutschland. Während hierzulande der Untersuchungsfokus ausschließlich auf einem einzigen Programm liegt und dieses in der Regel auch noch nicht beendet ist, wenn die Evaluation erfolgt, sind die Perspektiven in anderen Ländern deutlich breiter. Da werden zum Beispiel mehrere Programme in Hinblick auf die Wirkung auf eine spezifische Zielgruppe miteinander verglichen. Auch wird der Erfolg der geförderten Projekte mit deutlichen zeitlichen Abstand gemessen. Auf den genannten Veranstaltungen wurden eine Reihe interessanter Studien vorgestellt, die aber in der Regel leider nicht frei veröffentlicht sind. Gute Beispiele lassen sich aber zum Beispiel in diesem Reader von DASTI, der dänischen Innovationsagentur finden, oder auch in dieser TEKES-Publikation.

Interessant fand ich auch die Diskussion um einen stärker systemischen Blick auf die Förderung von Innovationsprozessen in Unternehmen. Aus der Perspektive von Unternehmen stellen spezifische Förderprogramme nur eine von mehreren Möglichkeiten da, ihre Innovationsprozesse zu realisieren. Es gibt für sie meist eine gewisse Auswahl an Fördermöglichkeiten auf regionaler, nationaler und europäischer Ebene. Und natürlich können Innovationsprojekte auch mit eigenen Mitteln realisiert werden.

Solche Ansätze und Diskussionen finden in der deutschen Evaluationswirklichkeit kaum statt. Da praktisch ausschließlich Einzelprogramm-Evaluationen von den Programmverantwortlichen in den Ministerien initiiert werden, sind solche Fragestellungen wenig präsent. Übergreifende Innovationsstudien werden praktisch nicht beauftragt. Die Expertenkommission Forschung und Innovation (EFI), die quasi als einzige übergreifende Innovationsstudien beauftragt, hat eine andere Perspektive.

Ich könnte mir aber vorstellen, dass die Situation in Österreich etwas besser aussieht, da Organisationen wie die FFG oder auch die anderen Akteure der fteval eine etwas breitere Perspektive auf das Gesamtsystem haben und entsprechende Studien auch bisweilen beauftragen.

Call for Papers „fteval Journals for Research and Technology Policy Evaluation“ Nr. 42

Der Call for Papers für die 42. Ausgabe des „fteval Journals for Research and Technology Policy Evaluation“ ist geöffnet.

Die österreichische Plattform für Forschungs- und Technologiepolitik (fteval) wird die 42. Ausgabe des "fteval Journal for Research and Technology Policy Evaluation" im Herbst 2016 veröffentlichen. 

Dazu ist ab sofort ein themenoffener Call for Papers ausgeschrieben. Eingeladen sind insbesondere wissenschaftliche Artikel und praxisorientierte Papers im Kontext der Forschungs-, Technologie- und Innovationspolitikevaluierung als Beiträge.

Bitte schicken Sie Ihre Artikel bis 31. Juli 2016 an office@fteval.at

Nähere Informationen entnehmen Sie bitte dem Call.

41. Ausgabe des „fteval Journals for Research and Technology Policy Evaluation“ wurde veröffentlicht

Die 41.Ausgabe des "fteval Journal for Research and Technology Policy Evaluation" legt den thematischen Fokus auf die Evaluation von intermediären Organisationen. Da diese Organisationen einen wertenvollen Beitrag zur Interaktion zwischen verschiedenen Akteursgruppen einnehmen und dadurch die Risiken eines Markt- oder Systemversagens mitigieren, werden sie in die Analyse von Forschungs- und Innovationssystemen miteinbezogen. Die Ausgabe beinhaltet die folgenden Artikel:

• Katharina Warta and Stefan Philipp: "Was bringt die Plattform fteval und wozu hat sie es gebracht? - Rückblick und Ergebnisse einer Mitgliederbefragung"
• Frederica Rossi et al.: "Evaluating the performance of innovation intermediaries: insights from the experience of Tuscany’s innovation poles"
• Michael Rothgang and Bernhard Lageman: "Evaluating Cluster Initiatives: Agency, Functionality, Performance"
• Rupert Pichler: "Agencification revisited - A case for the evaluation of FFG as an agency"
• Grit Laudel and Michael Strassnig: "A regional funding organisation for basic research? Unconventional missions and their evaluation"
• Barbara Good: "Zwischenevaluierung der vom BMWF beauftragten regionalen Kontaktstellen"
• Caroline Manahl and Susanne Dobner:  “Evaluierung von “Young Science“ – Einem Projekt an der Schnittstelle zwischen Schule und Wissenschaft"
• Alfred Radauer and Tobias Dudenbostel: "When two intermediaries and one funding ministry meet for a common goal: The case of the federal Austrian initiative “EVOLVE“ for the creative industries"
• Biegelbauer Peter and Palfinger Thomas: "Auswahlverfahren von Forschungsförderungsorganisationen im internationalen Vergleich"
• Jan Wessels, Christiane Kerlen and Sonja Kind: “”Evaluation vs. educated guess” Projektträger als unterschätzte Quelle für die Bewertung von Förderprogrammen”

Die aktuelle Ausgabe des Journals, die die Tätigkeiten intermediärer Akteure in den Mittelpunkt stellte, finden Sie auf der Website zum freien Download.

Konferenz: Open Evaluation 2016 - 24./25. November, Tech Gate, Wien

Die Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung und die Partner der University of Manchester und der University of Paris Est laden ein zur Konferenz "Open Evaluation 2016":

Wo: Tech Gate Vienna, Donau-City-Straße 1, A-1220 Wien
Wann: 24 - 25 November 2016, Wien

Die größte europäische Konferenz zum Thema Evaluation von Forschungs-, Technologie- und Innovationspolitiken wird Wissenschafter und Wissenschafterinnen, Evaluatoren und Evaluatorinnen, Forschungsleiter und Forschungsleiterinnen, Forschungsförderorganisationen, öffentliche Behörden und FTI-Entscheidungsträger und Entscheidungsträgerinnen zusammenbringen, um die gegenwärtigen Entwicklungen und Herausforderungen der FTI-Politik und deren Auswirkungen auf die Evaluationspraxis und –theorie zu diskutieren.

THEMEN:

1. Open evaluation – Changing the role of evaluation of RTI policy to incorporate new values, RRI and new forms of science
2. Social innovation, societal impact, societal challenges
3. Evaluation approaches for policies and programmes in social sciences and humanities (SSH)
4. Challenges and new approaches to evaluate European RTI policies and programmes
5. New evaluation approaches – data, methods, indicators
6. RTI policy evaluation in the policy-making process

Eine genaue Beschreibung der Themen, alle relevanten Daten sowie Informationen zur Registrierung finden Sie auf der Konferenzhomepage www.openevaluation2016.eu.

Rückschau Frühjahrstreffen 2016

Autor: Jan Wessels

Unsere Frühjahrstreffen im AK FTI haben meist ein wenig etwas von Klassentreffen. Während auf den Sessions des AK bei den Jahrestagungen ein ziemlich buntes Publikum vorherrscht und bisweilen auch der ein oder andere zufällige Gast dabei ist, der keine andere spannende Veranstaltung im Programm gefunden hat, kommt auf den Frühjahrstreffen meist der "harte Kern" des AK zusammen.
Ein wenig anders setzte sich das diesjährige Publikum zusammen, was sicherlich auch dem Thema "Projektträger und Evaluation"  geschuldet war. Projektträger-Vertreter sind schon seit einiger Zeit aktiver in der DeGEval vertreten, darum hatten wir auch das Thema gewählt. Wir wollten dazu mehrere Dimensionen diskutieren: zum einen sollte die zunehmend aktive Rolle der Projektträger (PTs) bei der Umsetzung externer Evaluationen - von der Ausschreibung über die Bereitstellung von Monitoringdaten bis zur Nutzung der Ergebnisse für eine Programmoptimierung - thematisiert werden, zum anderen die Option, dass PTS selbst zu Evaluatoren werden.

Zunächst starteten wir aber mit einem Blick über den Tellerrand, um jenseits unserer deutschen und österreichischen Gewohnheiten noch einmal unbeschwert die ganze Bandbreite der Möglichkeiten in den Blick zu nehmen. Beispiele aus dem europäischen Projektträger-Netzwerk TAFTIE wie TEKES,  DASTI oder CDTI zeigen, dass PTs sehr aktiv selbst die Evaluation ihrer Maßnahmen in die Hand nehmen können.
Die beiden Referenten des Vormittags kamen aus Österreich und machten gleich die volle Bandbreite der gelebten Evaluationspraxis deutlich. Während sich  Sabine Mayer von der FFG  für externe Evaluationen aussprach, schilderte Norbert Knoll die Vorzüge interner Evaluationen bei der AWS. Diese würden nämlich weit häufiger in der internen Arbeit mit den Kollegen weiter genutzt und diskutiert als externe Evaluationen, die schnell in der Schublade verschwänden.
Unser nachmittäglicher "deutscher" Block führte dann zunächst zwischen diese beiden Extreme; Gesa Koglin schilderte den Umgang eines deutschen PT (PT Jülich) mit externen Evaluationen, aber auch mit der Herausforderung eines systematischeren Monitorings der eigenen Programme.

Michael Astor  von Prognos schließlich berichtete von einer Studie für das BMWi, in der die Grundlage für ein systematisches Evaluierungssystem in einem neuen und dynamischen Technologiefeld gelegt werden sollte - natürlich potenziell auch genutzt durch den zuständigen PT.

Unser Frühjahrstreffen konnte die Frage nicht klären, ob auch PTs in Zukunft die Aufgaben von Evaluatoren übernehmen sollten oder ob die Zusammenarbeit zwischen beiden Akteuren sonst auf eine andere Ebene gehört. Vielleicht liegt die Zukunft ja in intelligent gemischten Teams aus Evaluatoren und Projektträgern.

Das Programm und die Folien zu den Vorträgen sind übrigens bereits auf der Homepage der DeGEval hier abgelegt, eine ausführlichere Dokumentation des Treffens ist für die nächste Ausgabe der ZfEval geplant.