Mittwoch, 25. April 2018

Austrian EU Council Presidency conference on 'Impact of R&I Policy at the Crossroads of policy design, implementation evaluation'- Call for papers - Deadline prolonged to 10 June 2018

The largest conference in Europe dedicated to R&I policy evaluation invites submissions of extended abstracts and posters in four focal thematic areas. Contributions do not need to refer to only one thematic area but can be cross-cutting.

We explicitly encourage academic as well as policy and practice-based submissions. Thus, contributions from policy-makers, R&II councils, R&I funding agencies, policy experts, intermediary organisations and academics are highly appreciated! Papers and posters from other policy fields which deal with mission-orientation and impact evaluation are welcomed. The conference also encourages contributions with a view on European perspectives.

The extended abstracts and posters will be peer reviewed by the Scientific Committee. The selected abstracts are invited to make a presentation in the conference. They are also invited to submit a full paper which will be printed in a special conference proceedings issue of the ‘Journal for Research and Technology Policy Evaluation’. The submission of a full paper, however, is not mandatory and does not affect the presentation.

Please find more information here: https://www.impactevaluation.eu/call_for_papers/

Timetable for the call for extended abstracts and posters:
8 March 2018: Publication of the call for extended abstracts and posters
10 June 2018: Submission deadline
30 June 2018: Selection deadline and invitation of full papers and posters

Themes
1) The nature of impact-oriented R&I policy
2) Design, implementation and support of impact-oriented R&I policies
3) Leading-edge concepts, tools and methods to assess societal impact of R&I policy
4) Effects of and policy learning from impact evaluation

Please find more information about the themes on the conference website here.
Contact:
Austrian Platform for Research and Technology Policy Evaluation
Ms. Doris Kaiserreiner (kaiserreiner@fteval.at)
Mr. Klaus Schuch (schuch@zsi.at)
Please find more information under www.impactevaluation.eu

Mittwoch, 11. Oktober 2017

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 4

Im Block C der Jahrestagung von besonderem Interesse war die Session zu "Chancen und Grenzen interner und externer Evaluierungen aus Sicht von Politik, Verwaltung und Forschung". Hier präsentierten Rupert Pichler und Mario Steyer (beide BMVIT) die Wechselwirkung von Evaluation und wirkungsorientierter Haushaltführung in Österreich. Diese wurde ab 2009 im Zuge des neuen österreichischen Bundeshaushaltsgesetzes eingeführt. Sie verlangt von allen Ressorts die Formulierung von Zielen und Indikatoren auf unterschiedlichen Ebenen für ihre jeweiligen Politikbereiche. Damit wird die Philosophie von Evaluation - die Überprüfung von politischem Handeln auf der Grundlage definierter Ziele und ihrer Zielerreichung - erstmals auf breiter Front in alle Politikbereiche getragen. Für den Bereich FTI ist dieser Ansatz nicht neu, das Politikfeld zeichnet sich insbesondere in Österreich durch eine etablierte Kultur der Evaluierung aus, allerdings bislang eher auf der Ebene von Einzelmaßnahmen und Programmen. Gleichzeitig besitzt das Politikfeld seit langem auch übergeordnete Zielindikatoren, z.B. in Hinblick auf die FuE-Intensität oder das Ranking im Europäischen Innovationsanzeiger (European Innovation Scoreboard).


Damit stellt sich die Frage, welche Konsequenzen die wirkungsorientierte Haushaltführung für die Evaluationspraxis in der Forschungs-, Technologie- und Innovationspolitik hat? Ist Evaluation überhaupt noch notwendig? Die Referenten bejahten dies mit Nachdruck. Letztlich bleibt die wirkungsorientierte Haushaltsführung auf einer sehr aggregierten Ebene, sie ist zudem mit einer Reihe von Herausforderungen konfrontiert. So sind Zielkonflikte auf unterschiedlichen Ebenen kaum zu bearbeiten, weil die Logik top down von widerspruchsfreien Zielhierarchien ausgeht. Auch werden z.B. nichtintendierte Effekte anders als bei klassischen Evaluationen nicht in den Fokus genommen. Schließlich scheint auch die Frage der Kausalität, also der Zurechenbarkeit politischer Interventionen zu gemessenen Effekten, auf der aggregierten Ebene kaum möglich. Evaluationen sind hier das deutlich  mächtigere Werkzeug, die Umsetzung der wirkungsorientierten Haushaltsführung wirkt ein wenig wie "citizen science für Beamte". Pichler und Steyer hatten bereits in der Frühjahrstagung des AK FTI in Wien einen Vortrag zum Thema gehalten, ihre Ausführungen lassen sich zudem in der aktuellen Ausgabe der Zeitschrift für Evaluation (2/2017) in einem ausführlichen und lesenswerten Artikel nachlesen.


Ein weiterer Beitrag der Session von Markus Schwab und Georg Spiel aus dem Bereich der Gesundheitspolitik stellte ein Praxisbeispiel einer parallelen internen Selbstevaluation und einer externen Evaluation vor. Das Setting dürfte in dieser Form eher selten vorkommen, es bietet aber die Gelegenheit, die Vor- und Nachteile beider Varianten gegenüberzustellen. Während die interne Selbstevaluation im gezeigten Fall durch breites Kontextwissen deutlich stärker in die Tiefe der Materie eintauchen konnte, bot die externe Evaluation durch ihre Außenperspektive einen Vergleich mit ähnlichen Organisationen und Prozessen. Den Vorwurf fehlenden Detailwissens zum Untersuchungsgegenstand dürften viele Evaluatorinnen und Evaluatoren übrigens aus ihrer Praxis kennen. Ebenso aus der Praxis bekannt ist die Problematik, wie viel Offenheit Gesprächspartner gegenüber externen Evaluatoren zeigen. Im geschilderten Fall waren die Mitarbeiterinnen und Mitarbeiter gegenüber den internen Evaluatoren offener, die externen Evaluatoren zeichneten sich hingegen durch weniger Betriebsblindheit und "übervorsichtigen" Fragen aus. Dies könnte je nach Organisation und Rolle interner Evaluatoren aber auch genau gegenteilig sein, Offenheit gegenüber unabhängigen Dritten ist ebenfalls eine gängige Erfahrung externer Evaluationen, die mitunter genau ihre Stärke ausmacht. Schließlich thematisierten die Referenten die Frage, inwiefern die Beauftragung externer Evaluationen die Ressourcen für ebenfalls notwendige interne Evaluations- und Monitoringprozesse schmälert. Diese Ressourcenfrage stellt sich aktuell im Feld FTI - zumindest in Deutschland - auch, wenn z.B. Projektträger z.B. als Ergebnis von externen Evaluationen neue Monitoringsaufgaben übernehmen sollen, diese aber nicht mit entsprechenden Ressourcen hinterlegt sind.

Montag, 2. Oktober 2017

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 3

Ein weiterer Schwerpunkt der Tagung war die Nutzung von ex-ante Ansätzen in der Evaluation. Im Bereich der Technologie-  und Innovationspolitik kommen solche Ansätze hier in der Regel nur gemeinsam mit ex-post Evaluationen vor, um den Übergang von einem Programm in das Nachfolgeprogramm zu gestalten. Der erste Beitrag der Session B3 "ex-ante Evaluation: Wann gelingt der Blick in die Zukunft" von Stefan Silvestrini berichtete von einer ex ante Evaluation im Bereich der Entwicklungszusammenarbeit.

Aus seiner Sicht ist eine wesentliche Funktion solche ex-ante Evaluationen, potentielle Wirkungen zu einem frühen Zeitpunkt abzuschätzen, für die weitere Programmumsetzung ein Monitoringsystem zu entwickeln und die Steuerungsfähigkeit bei der Programmumsetzung insgesamt zu erhöhen. Um ein besseres Gefühl für die spätere Umsetzung zu bekommen, werden z.b. Wirkmodelle eingesetzt, Szenarios entwickelt oder eben Indikatoren definiert, um bestimmte, antizipierte Entwicklungspfade nachzuverfolgen. Letztlich dienen ex ante Evaluationen auch dazu, spätere begleitende oder ex post Evaluationen vorzubereiten. Silvestrini machte auch deutlich, dass ex-ante Evaluationen nur sehr selten nachgefragt werden, weil der Aufwand doch nicht unerheblich und der Mehrwert für potentielle Auftraggeber scheinbar oft nicht ersichtlich ist. Auch bekommen Evaluatoren kaum eine Rückmeldung darüber, inwieweit die Ergebnisse einer ex ante Evaluation in der Praxis tatsächlich für die Steuerung nutzbar waren bzw. inwiefern die Szenarien auch tatsächlich eingetreten sind. Aber dies ist eine Erfahrung, die für Evaluationen generell gilt.

In der Diskussion wurden eine Reihe alternativer Ansätze angesprochen, die statt ext ante Evaluation zum Einsatz kommen. So gehen viele Programmverantwortliche davon aus dass ihr Erfahrungswissen eine implizite Abschätzung potentielle Wirkungen bereits ausreichend zulässt, zudem nutzen Pogrammverantwortliche für das Design von neuen Fördermaßnahmen in der Regel Standardverfahren und sind an neuen Konzepte nur mäßig interessiert. Schließlich ersetzen gezielte Studien zu Ausgangssituationen und Szenarien echte ex ante Evaluationen. Angesprochen wurde in der Diskussion auch risk assessment als eine mögliche Philosophie aus dem Bereich der Technikfolgenabschätzung, um Funktionen einer ex-ante Evaluation zu übernehmen.

Nicht diskutiert, aber häufige Praxis im Bereich der Forschungs- Technologie- und Innovationspolitik sind Pilotphasen, die gewissermaßen experimentell neue Ansätze erproben und mit Evaluationen dieser Phase auch systematisch auswerten. Aufbauend auf den Ergebnissen solche Pilotphasen werden dann größer skalierte Maßnahmen konzipiert. Eine interessante Alternative wurde im vergangenen Jahr auf der European Evaluation Society Konferenz berichtet, nämlich das Vorgehen in Großbritannien, kleinere Evaluations-Machbarkeitsstudien auszuschreiben, um die spätere Evaluierbarkeit neuer Maßnahmen frühzeitig zu überprüfen und entsprechende Indikatoren zu definieren.

Fazit dieser Session, in der darüber hinaus von Lennart Bentfeldt-Huthmann über die Erfahrungen einer internen Evaluation der verschiedenen Maßnahmen der GIZ zu Flucht- und Migrationsvorhaben berichtet wurde: ex-ante Evaluationen sind ein möglicher von vielen Ansätzen, um die Planung neuer Fördermaßnahmen systematisch vorzubereiten, Indikatoren zu entwickeln und Wirkmodelle zu erstellen. Ex-ante Evaluationen werden heutzutage nur wenig genutzt, im Moment ist nicht absehbar, dass sich dies entscheidend ändern wird.

Sonntag, 1. Oktober 2017

fteval Journal Nr. 43 (Rückblick auf die Open Evaluation Conference 2016)

Unter folgendem link ist das fteval-Journal Nr. 43 zu finden, dass zahlreiche Kurzfassungen der Beiträge zur Konferenz Open Evaluation 2016 in Wien enthält.

Das nächste Journal wird eine Auswahl an "Full Papers" enthalten.

SAVE the DATE: fteval Konferenz in Wien: 5. & 6. November 2018


fteval Konferenz 2018: RTI Policy in Service of Society: Impact at the Crossroads of Design, Implementation and Evaluation
The Austrian Platform for Research and Technology Policy Evaluation together with Manchester Institute of Innovation Research and IFRIS - Institut Francilien Recherche Innovation Société, Paris are organising the next international RTI Policy Evaluation Conference in Vienna under the auspices of the Austrian EU Council Presidency. Impact orientation and impact generation through RTI policy interventions has become a dominant narrative in research and innovation policy-making. This, however, also opens up several challenges and tensions which are related to
1) the uncertain relationship between research and innovation
2) the limits of impact orientation on RTI policy
3) the changing nature of innovation itself and
4) the often weak links of RTI policy making and delivery to other policy areas and civil society.
the conference will gather RTI policy makers, RTI programme authorities, academics, evaluators and research managers to debate these tensions and their effects on evaluation theory and practice.
Veranstaltungsdatum: 5. und 6. November 2018
Veranstaltungsort: Wien

Freitag, 29. September 2017

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 2

Die Zukunft der Evaluation, das ist möglicherweise auch die Nutzung ganz neue Datenquellen und eine andere Form der Dateninterpretation. Entsprechend drehten sich einige Sessions der Jahrestagung 2017 auch um das Thema neue Datenquellen und Big Data.

In der Session A2 "Big Data: große Datenmengen - großes Potenzial für die Evaluation" erläuterte Christoph Müller zunächst die Nutzung lernende Algorithmen im Evaluationskontext und ging insbesondere auf die Technik der sogenannten "boosted regression trees" ein. Im Kern erlaubt dieser Ansatz, mittlere bis große Datenmengen neu zu analysieren und Nachteile klassischer Regressionsanalysen zu überwinden. Es ging allerdings nicht um sehr große Datensätze, das Beispiel von Christoph Müller umfasste etwa 120 Beobachtungen.

Der zweite Beitrag der Session von Judith Hoffmann fokussierte auf die Potenziale von Big Data Mining für zukunftsbezogene Fragestellungen, also ganz konkret für sogenannte Foresight-Prozesse. Diese Potenziale wurden allerdings weniger anhand von konkreten Evaluationsbeispielen erläutert, es handelte sich vielmehr um eine Studie, die über Experteninterviews solche Potenziale identifizieren soll. Selbige Experten äußerten sich wohl eher skeptisch, inwieweit heute schon Big Data Analyse für Foresight-Prozesse genutzt werden kann.

Der letzte Beitrag von Wolfgang Meyer zu "Kollateralschäden beim Schrotflintenschießen oder Big Brother - Big Data - Big Trouble" war eine erfrischende Polemik, die die Teilnehmer dieser Nachmittags-Session wieder aus ihrem Nachmittagsschlaf zurück in die Wirklichkeit holte. Insgesamt blieb dieser Beitrag allerdings doch zumeist auf der Ebene allgemeiner, normativer Fragen zur Vorliebe von Technologiekonzerne, ihre Nutzer ungefragt große Datensätze erzeugen zu lassen, die dann für kommerzielle Zwecke oder potentiell auch für eine unlauterer Überwachung dieser Nutzer eingesetzt werden (können).

Mit der Realität der Nutzung neuer Datenquellen im Bereich der Evaluation hat dies aus meiner Sicht jedoch wenig zu tun. Vielmehr zeigen sich hier die bekannten, prinzipiellen Ängste vor einer Nutzung von Daten, die in Deutschland häufig Zugänge zu Datensätzen verbauen, die anderenorts schon Wirklichkeit sind. Können in den nordischen Ländern Unternehmensregisterdaten regelmässig für die Bildung von Vergleichsgruppen genutzt werden, um die Evaluation von Technologieförderprogrammen zu verbessern, so ist dies in Deutschland häufig nur sehr eingeschränkt möglich.

Die Session war in diesem Sinne ein recht gutes Abbild der aktuellen Situation bei der Nutzung von Big Data Ansätze für die Evaluation. Im Detail stehen interessante neue Algorithmen zur Verfügung, in der Praxis werden aber eher bekannte Datensätze genutzt, neue Datenquellen oder wirklich große Datenmengen spielen eigentlich kaum eine Rolle. Dazu kommen weiterhin große Ängste vor einem Missbrauch solcher Techniken.

Freitag, 22. September 2017

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 1

Gerader hat die DeGEval in Mainz ihr 20-jähriges Jubiläum gefeiert. Die diesjährige Jahrestagung stand unter dem Motto "Zukunft". Und ja, alle Sessions, die ich besucht habe, standen tatsächlich mehr oder weniger unter diesem Motto und beschäftigten sich mit aktuellen Trends und zukünftigen Entwicklung in der Evaluation. Nachfolgend eine kleine, ganz persönliche Nachlese, zunächst zum Treffen des Arbeitskreises.

Wie jedes Jahr treffen sich am Morgen des ersten Tages die Arbeitskreise, und wie jedes Jahr ist das für alle, die erst anreisen müssen, ein sehr früher Termin. Entsprechend klein ist in der Regel der Kreis derer, die hier zusammenkommen. Mit einem harten Kern von 10 Personen haben wir im AK FTI diskutiert. Zunächst wurden die drei Sprecher, Iris Fischl, Marianne Kulicke und ich selbst, für die nächsten zwei Jahre in ihrem Amt bestätigt. Anschließend gaben wir einen kleinen Rückblick zur Frühjahrstagung 2017, wir haben ja auch in diesem Blog schon ein wenig darüber berichtet. Im Mittelpunkt unserer Diskussion aber stand die Diskussion über die Frühjahrstagung 2018 und eine mögliche AK-Session auf der nächsten Jahrestagung.

Ein Erfolgsfaktor der vergangenen Frühjahrstagungen, und auch für die nächste Frühjahrstagung angestrebt, ist eine möglichst aktive Beteiligung der Auftraggeber von Evaluation. Was sind aktuelle interne Entwicklungen bei den Auftraggebern, wo sind neue Erwartungen an Evaluatoren? Interessant wäre auch ein Update dazu, wie Projektträger sich auf eine aktivere Rolle bei der Umsetzung von Evaluationen und Programmmonitoring vorbereiten. 

Ein möglicher inhaltlicher Schwerpunkt betrifft die Umsetzung von Evaluation und die Nutzung von Handlungsempfehlungen. Handlungsempfehlungen sind ein kritischer Bereich von Evaluationen, da sie relativ zielgenau auch die Umsetzbarkeit und die Rahmenbedingungen berücksichtigen müssen. Nicht selten sind sie eher der Schwachpunkte einer sonst qualitativ hochwertigen Evaluation. Es gibt deshalb sogar manchmal Auftraggeber, die am liebsten gar keine Handlungsempfehlungen wünschen, sondern nur eine Bewertung das Programmerfolgs und der Wirkmechanismen. Anderen wiederum sind die üblichen Handlungsempfehlungen noch zu wenig konkret, sie würden sich sehr detaillierte Roadmaps für eine Umsetzung der Handlungsempfehlungen wünschen. Dieses Spannungsverhältnis könnte Thema einer interessanten Diskussion auf dem nächsten Frühjahrstreffen werden. Sonst ist ein üblicher Schwerpunkt auf jeden Fall die Präsentation aktueller Evaluation aus Deutschland und Österreich.

Das nächste Frühjahrstreffen wird voraussichtlich in Berlin stattfinden, Marianne Kulicke übernimmt die Vorbereitung. Wenn Sie Anregungen oder Wünsche haben, so wenden Sie sich am besten direkt an Frau Kulicke.

In diesem Jahr hat der Arbeitskreis keine eigene Session auf der Jahrestagung organisiert, für das nächste Jahr finden wir wieder eine Session des Arbeitskreises wünschenswert. Im Idealfall mit einem Thema, das ein bisschen über den Tellerrand unseres Themenfeldes hinausreicht, vielleicht sogar in Kooperation mit einem anderen Arbeitskreis. Bislang gibt es aber keine konkreten Planungen dafür.

Der letzte Diskussionspunkt betraf unsere erneute geplante Übersicht über gerade abgeschlossene oder neu begonnene Evaluationen Deutschland und Österreich. Im vergangenen Jahr hatten wir einen sprechend Übersicht mit Hilfe der Interessierten unserer Mailingliste zusammengestellt, diese Übung wollen wir auch dieses Jahr wiederholen, wir freuen uns über jeden Beitrag von Ihnen. Einen ersten Entwurf werden wir gegen Ende des Jahres über die Mailingliste versenden, den können Sie dann um weitere Evaluationen ergänzen. Unsere österreichischen Kollegen haben in diesem Zusammenhang darauf hingewiesen, dass die Sammlung von Evaluationen in Österreich gerade überarbeitet und in ein echtes Repositorium mit verschiedenen Suchkriterien verwandelt wurde.