Konferenz: Open Evaluation 2016 - 24./25. November, Tech Gate, Wien

Die Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung und die Partner der University of Manchester und der University of Paris Est laden ein zur Konferenz "Open Evaluation 2016":

Wo: Tech Gate Vienna, Donau-City-Straße 1, A-1220 Wien
Wann: 24 - 25 November 2016, Wien

Konferenzhomepage www.openevaluation2016.eu

AK FTI der DeGEval: Frühjahrstreffen 2017 in WIEN – SAVE THE DATE & Einholung potenzieller Beiträge

Das diesjährige Frühjahrstreffen des DeGEval FTI-Arbeitskreises wird am 19. Mai 2017 in Wien in den Räumen des Austria Wirtschaftsservice (aws) [Walcherstrasse 11A, 1020 Wien] stattfinden.

Die DeGEval feiert 2017 ihr 20jähriges Jubiläum und stellt ihre Jahrestagung daher unter das Motto „Zukunft der Evaluation“. Das Frühjahrstreffen 2017 des AK FTI greift dieses Thema auf und richtet seinen Fokus auf den aktuellen Rand des Evaluationsgeschehens im Politikfeld FTI.

Das Treffen widmet sich somit aktuellen Entwicklungen im Politikfeld FTI und Konsequenzen für Evaluationsansätze und –methoden.

Folgende Fragestellungen stehen dabei voraussichtlich im Vordergrund:

• Zu welchen gesellschaftlichen Herausforderungen will die FTI-Politik in Österreich und Deutschland in den letzten Jahren verstärkt Beiträge leisten (Stichwort Missionsorientierung)?

• Mit welchen neuen oder angepassten Förderformaten haben die Fördergeber darauf reagiert?

• Welche Anforderungen und Erwartungen ergeben sich aus der Wirkungsorientierte Folgenabschätzung (WFA) in Österreich und dem deutlichen gestiegenen Stellenwert von Wirkungskontrollen zu Fördermaßnahmen in Deutschland für externe Evaluationen?

• Wie begegnen EvaluatorInnen diesen Anforderungen mit ihren Evaluationsansätzen und –methoden? Welche neue methodische Zugänge gibt es? Und was heißt das für die Zukunft der Evaluation im Politikfeld FTI?

Das Programm ist noch offen und der AK freut uns daher über Vorschläge und Beiträge in Form von Berichten über aktuelle / kürzlich abgeschlossene Evaluationen, die die oben genannten Fragestellungen betreffen. Ebenso sind Beiträge dazu von Auftraggebern / Agenturen sehr willkommen.

Für eine bessere Programmplanung bitten wir um eine entsprechende Rückmeldung bis Mitte Dezember an Iris Fischl (i.fischl@kmuforschung.ac.at).

Eine offizielle Einladung wird ausgesendet, sobald ein erster Programmentwurf fertiggestellt ist.

42. Ausgabe des „fteval Journals for Research and Technology Policy Evaluation“ wurde veröffentlicht

Die 42. Ausgabe des "fteval Journal for Research and Technology Policy Evaluation" beinhaltet folgende spannende Artikel:

• Prozessmerkmale und institutionelle Rahmenbedingungen einer nützlichen Evaluationspraxis im österreichischen FTI-Bereich, Günther Landsteiner und Johannes Gadner
• Die Vermessenheit der Vermessung: Überlegungen zur universitären Governance in den Geistes- und Sozialwissenschaften, Günther R. Burkert, David F. J. Campbell und Thorsten D. Barth
• Everyone’s happy? The case for expectation management in commissioned evaluation projects, Anke Reinhardt and Anton Geyer
• Launching careers and breaking new ground: Results from the evaluation of the Austrian Science Fund’s FWF start & Wittgenstein programmes, Sarah Seus, Susanne Bührer-Topcu, Niclas Meyer, Eva Heckl, Mario Mandl and Klaus Zinöcker
• WIFAS - Ein Modell zur Abschätzung sozialer Wirkungen missionsorientierter Forschungsförderprogramme am Beispiel der Personen- und Gütermobilität, Peter Kaufmann, Laurenz Wolf, Alex Schubert und Alexander Neumann
• Book review: Mark Zachary Taylor - The Politics of Innovation, Stefan Philipp
• Evaluation with sound judgment: Conference on “Evaluation of research funding: Review, insight, outlook”, Anke Reinhardt, Uta Sass and Richard Heidler

Die aktuelle Ausgabe steht hier zum Download zur Verfügung.

Der Ruf nach mehr Professionalisierung

Jahrestagung der ees, 2. Tag: Veronica Gaffey, die über Jahre die Evaluationsabteilung im „Directorate General for Regional and Urban Policy“ der Europäischen Kommission geleitet hat,  betont in ihrer Key Note, dass die Nachfrage von Politikerinnen und Politikern nach fundierten Informationen („robust evidence“) – also auch durch Evaluationen generierte Informationen – so groß wie noch nie sei. Die EU hat in viele Programme die Pflicht zur Evaluation der Maßnahmen angelegt, bis 2020 sind jetzt schon 1600 Impact-Evaluationen geplant. Veronica Gaffey warnt eindringlich, dass sich Evaluation als sich herausbildende Profession an einem Scheidepunkt befinde: Insbesondere vor dem Hintergrund der Post-truth-Society, der aktuellen Abneigung gegenüber ExpertInnen, müsse es jetzt gelingen, die Qualität von Evaluationen sicherzustellen. Schon wenige schlechte Evaluationen könnten die gesamte Evaluationscommunity diskreditieren.

Sie plädiert für die Einführung von Peer Review Prozessen, um die Professionalisierung voranzutreiben. Die britische UKES hat dieses System der systematischen Reflexion der eigenen Kompetenzen und Entwicklungsbedarfe im Frühjahr 2016 erfolgreich pilotiert und die ees bereitet ihre Pilotphase zu einem Verfahren des Peer Review vor, dass in enger Abstimmung mit der UKES entwickelt wurde. Ich habe selbst an dem Piloten der UKES teilgenommen und wertvolle Impulse für eine eigene Situationsbestimmung mitnehmen können. Mit der Teilnahme bestätige ich, dass ich gewillt bin, meine eigene berufliche Praxis zu reflektieren und mir selbst Ziele zu setzen, an welchen Stellen ich mich weiterentwickeln will. Dieses Verfahren sagt nichts über das Wissen oder die Kompetenzen des Teilnehmenden aus. Allein die Bereitschaft zur Reflektion wird gewürdigt. 

Die DeGEval hat sich anlässlich ihrer Jahrestagung 2014 zurückhaltend zur Frage von Professionalisierungsverfahren positioniert. Wir sollten meines Erachtens die praktische Umsetzung in Großbritannien weiter eng verfolgen, die mit einigen organisatorisch-administrativen Problemen verbunden sein wird, wenn es denn überhaupt eine ausreichende Nachfrage gibt. Aber wir sollten mit eigenen Ideen nicht warten. Sonst laufen wir Gefahr, dass uns von außen ein Verfahren „aufgedrängt“ wird.

Jahrestagung der EES: Tag 3

Der dritte Tag der europäischen Evaluationskonferenz war abfahrtsbedingt - zumindest für mich - deutlich kürzer. Dennoch hat die Zeit gereicht, um noch einmal zwei weitere, sehr interessante Sessions zu besuchen.

In der einen Session ging es um die Rolle von Theorie in der Evaluationspraxis. Eine Vortragenden legt den Fokus ihrer Ausführungen darauf, dass Evaluationen, die mit einem theoretischen Ansatz starten, durchaus in Schwierigkeiten geraten können. Sie nannte mindestens drei Faktoren: beim sogenannten "contribution bias" schauen die Evaluatoren möglicherweise nur noch darauf, inwieweit die empirischen Daten ihre theoretische Vorannahmen tatsächlich stützen. Beim "conservation bias" wiederum spielt der psychologische Effekt eine Rolle, dass alte Befunde nur ungern über Bord geworfen werden. Beim
"attribution bias" schließlich geht es darum, dass Personen und Institutionen gerne ihren  Einfluss auf Entwicklungen überschätzen. Generell können Theorien also ein zu einfaches Bild einer komplexen Wirklichkeit zeichnen.

Die Gegenrede zu dieser Grundthese hielt Frans Leeuws in einem gewohnt launigen Beitrag. Er mutmaßte, dass viele Komplexitätserwartungen nicht aus der wahren Komplexität der Dinge heraus geboren werden, sondern ganz andere Ursachen haben. In nicht wenigen Fällen handelt es sich also seiner Meinung nach um konstruierte Komplexität, die viele Ursachen haben kann. Es kann zum Beispiel darum gehen, sich selbst unersetzlich zu machen (und den eigenen Preis zu erhöhen) oder seine eigene soziale Wichtigkeit zu steigern. Leeuws riet daher, zunächst einmal immer nach dem Nutzen einer Komplexitätsbehauptung für den Akteur, den policy maker bzw. den Evaluator zu suchen. Häufig ließen sich auch in scheinbar einmaligen, komplexen Konstellationen übergreifende Mechanismen oder Prinzipien finden, die dann doch den Einsatz theoretischer Annahmen rechtfertigten.

Meine zweite Session verließ dann wieder die Höhen theoretischer Diskussionen und stieg hinab in die Niederungen der praktischen Evaluationsarbeit. Die Europäische Kommission hatte eine Reihe von Studien im Bereich der Strukturfonds vergeben, die die Wirkung der Förderung auf Unternehmen untersuchen sollte. Zwei dieser Studien wurden in dieser Session vorgestellt.

In beiden Projekten ging es darum, das Modell einer Programmtheorien an empirischen Daten zu prüfen und somit die Wirkung der Maßnahme zu belegen. Da es auch in diesem Fällen schwierig war, eine kausale Verknüpfung zwischen Ursache (der Maßnahme) und Wirkung  (z.B. dem Firmenwachstum) mit letzter Gewissheit empirisch zu beweisen, verlegten sich die Präsentatoren auf den Nachweis eines Beitrags, also eine contribution analysis (nach Mayne). Ihre Modell untersuchten sie kausale Faktoren, Voraussetzungen (preconditions) und Beiträge (contributions) in einem Wirkmodell, außerdem externe und indirekte Effekte. Der methodisches Zugang war vor allem fallstudienbasiert, wobei wohl  insbesondere viele Mini-Fallstudien durchgeführt wurden. Die zweite Studie präsentierte ein ähnliches Vorgehen, wobei hier tatsächlich auch gerechnet wurde. Man verfolgte nach eigenen Angaben einen sogenannten "realist evaluation approach" nach Pawson und Tilley (den ich erst einmal nachgoogeln musste und hier gefunden habe: http://betterevaluation.org/en/approach/realist_evaluation).

Insgesamt hatte ich am Ende drei Tage Konferenz mit viel Stoff zum Nachdenken (und dem Bedarf nach viel Erholung).

Jahrestagung der EES: Tag 2

Auch der zweite Tag der europäischen Evaluationskonferenz war wieder sehr dicht gepackt, mit bis zu 20 nebeneinander laufenden Parallelsession. Entsprechend gering war zum Teil auch der Zulauf, sodass manchmal mehr Präsentator als Zuhörer in einem Raum waren. Gleichwohl waren die Diskussionen in diesen kleinen Gruppen bisweilen intensiver als in gut gefüllten Vortragssälen. Und Anregendes gab es genug zu hören.

Gut gefallen hat mir zum Beispiel der Beitrag über ein Evaluationskonzept, das Startup-Inkubatoren in den Fokus nimmt. Die Herausforderung ist dabei wie so oft, kausale Zusammenhänge zwischen der Intervention und der später gemessenen Wirkung herzustellen. Der Präsentator betonte daher, dass es nicht um "attribution", sondern nur um "contribution" gehen können, also um den Beitrag, die eine Intervention zu einer gemessenen Wirkung voraussichtlich leisten kann. Zum Einsatz kam in diesem Fall die qualitative comparative analysis Technik.

In einer weiteren Session wurde ein Evaluationsansatz vorgestellt, der die Konzeptionsphase von der eigentlichen Evaluation abtrennt. In Großbritannien scheinen zunehmend Projekte ausgeschrieben zu werden, die zunächst einmal potentiell zu evaluierende Maßnahmen oder Politikfelder daraufhin untersuchen, welche Voraussetzungen für die spätere Evaluation vorhanden sein müssen. Sind zum Beispiel Zugänge zu notwendigen Daten gesichert, werden entsprechende Prozesse auch gemonitort, gibt es eine Programmtheorie, die Wirkvermutungen widerspiegelt? Am Ende steht ein Evaluationsdesign, das auch Angaben zu den am besten geeigneten methodischen Zugängen macht. Die eigentliche Evaluation wird dann erneut ausgeschrieben, und der Auftragnehmer der Vorstudie kann sich natürlich wieder bewerben. Nach Angaben des Präsentators werden mittlerweile 10% aller Evaluationen in Großbritannien entsprechend vorbereitet. Zwei seiner Beispiele betrafen Evaluation im Bereich FTI, eine eine Gründungsförderungsmaßnahme, eine andere ein Luftfahrtforschungsprogramm. Der Vorteil gegenüber einer integrierten Evaluation sei, dass diese Vorstudien relativ früh erfolgten, dass keine sehr lang laufenden Evaluationsprojekte ausgeschrieben werden müssten und dass der / die Programmverantwortliche eventuell einen neuen Auftragnehmer auswählen können, falls er/sie mit den Auftragnehmern der Vorstudie unzufrieden ist.

Ich selbst hatte heute auch zwei aktive Beiträge, den einen zu einem Ansatz der Analyse von spezifischen Technologie-Wertschöpfungsketten, die gerade bei der Technologieförderung beeinflusst werden sollen. Zusammen mit meiner Kollegin Christiane Kerlen haben wir ausgeführt, wie ein relativ erschöpfendes Mapping spezifischer Wertschöpfungsketten als Ausgangsdaten genutzt werden kann, um dann den Beitrag eines konkreten Programms zur Stärkung der selben zu argumentieren.

In einem zweiten Beitrag mit meiner Kollegin Sonja Kind haben wir beschrieben, wie die Nutzung unterschiedlicher methodischer Zugänge, in unserem Fall eines Online-Survey und qualitativer Fallstudien, zu widersprüchlichen Teilergebnisse führen kann, die dann erst in einer weiteren Interpretationsschleife, unter Zuhilfenahme von Experteneinschätzungen und Diskussionen mit dem Programmverantwortlichen, in einer final Interpretation des Endbericht münden.

Jahrestagung der EES: 1. Tag

Nach der DeGEval-Konferenz in der letzten Woche startete heute die europäische Evaluationskonferenz in Maastricht. Die EES-Konferenz ist mit 600 Teilnehmern deutlich größer, entsprechend groß war auch die Herausforderung, im Konferenzprogramm die richtigen Sessions auszuwählen.

Schon der Auftakt war anders als in Salzburg. Es gab keine Keynote. In der Eröffnungssession wurde stattdessen die Simulation eines Evaluationsauftrags durch ein Panel von bekannten Evaluatoren diskutiert. Thema dieses fiktiven Auftrags war die Integration von Flüchtlingen in Armenien. Ich fand dies ein charmantes Design, um etwas grundsätzlicher typische Herausforderungen von Evaluationen zu diskutieren. Die Panel-Teilnehmer reagierten ganz unterschiedlich auf die Ausgangsfragestellung. Zwei von ihnen setzten auf Evidenz durch Sekundäranalyse. Im Sinne von "what works" (siehe hierzu auch die entsprechenden Institutionen in UK und den USA) plädieren sie z. B. dafür, erst mal zu sammeln, was es schon an Erkenntnissen gibt, oder mit Experten oder Institutionen zu reden, die zu dem Thema schon gearbeitet haben.

Elliot Stern, ebenfalls auf dem Panel, sprach sich als Anwalt der Politikberatung dafür aus, die Fallstudien eher als strategische Problemstellung zu behandeln und das Design der Evaluation entsprechend zukunftsgerichtet zu halten.

Tatsächlich war die ganze Fragestellung dieser hypothetischen Evaluationsaufgabe eher untypisch, weil sie nicht ein bestehendes Programm oder eine bereits umgesetzte Politikstrategie adressierte. Andererseits machte sie deutlich, wie nahe Evaluationen und in die Zukunft gerichtete Politikberatung eigentlich sind. Die Rekonstruktion von Programmtheorien und Modellen ist ja nichts anderes, als der Blick zurück auf die Strategieentwicklung der Vergangenheit zu werfen. Möglicherweise sollten Handlungsempfehlungen von Evaluationen stärker auch die Strategieentwicklung selbst in den Blick nehmen.

Am kontrovers in ganz Europa diskutierten Thema Flüchtlinge wurde auch ein anderer  Aspekt von Evaluationen deutlich. Evaluationen müssen in solchen Fällen Politik erklären, sie müssen deuten, framen, Geschichten erzählen. Die harten Fakten werden bei solch einem emotional diskutierten Thema nicht unbedingt überzeugen.

Eine weitere Session beschäftigte sich mit der Institutionalisierung von Evaluationskulturen in unterschiedlichen Ländern und der Rolle, die Evaluationsgesellschaften dabei spielen.

Mich hat dabei am meisten das Beispiel der Niederlande beeindruckt. Seit ein paar Jahren gibt es dort so genannte policy reviews, worunter Metaevaluation in ganzer Politikfelder zu verstehen sind, die auf Einzelevaluationen spezifischer Maßnahmen aufbauen und alle 7 Jahre erstellt werden sollten. Die Initiative hierzu ging vom Finanzministerium aus. Zuschnitt und Fokus solcher Politikfeldevaluation bleibt offen und in der Entscheidung des zuständigen Ressorts. Allerdings müssen die Ressorts in den Budgetverhandlungen jeweils einen Evaluationsplan für die nächsten 3 Jahre angeben. Den neuen Ansatz der policy Review es gibt es seit ein paar Jahren, heute sind es schon 20-25 pro Jahr. Ähnliches könnte man sich auch für Deutschland wünschen, zum Beispiel für die KMU-Förderung oder die Förderung im Bereich Elektromobilität.

Eine weitere Session des heutigen Tages stand im Zeichen einer begleitenden Programmevaluation in der Region Limburg, in der Maastricht liegt. Es geht um eine stärkere Unterstützung der Universitäten und ihrer Kooperationen untereinander und mit Unternehmen in den nächsten zehn Jahren. Ziel dieser Maßnahme ist es, das gesamte Innovationssystem der Regionen zu stärken und auf ganz unterschiedlichen Dimensionen Effekte zu erzielen. Entsprechend ambitiös ist auch das Evaluationskonzept, das diese Impacts mit einem sehr breiten Set an Indikatoren messen möchte und auch vor der Herausforderung steht, kausale Effekte in komplexen Systemen nachweisen zu können. Beeindruckend ist aber, dass schon jetzt Monitoringdaten gesammelt werden, und dies mit der Perspektive, erst in einigen Jahren (2024) die eigentliche Evaluation vorzunehmen.