Rückblick auf die DeGEval-Jahrestagung 2017. Teil 4

Im Block C der Jahrestagung von besonderem Interesse war die Session zu "Chancen und Grenzen interner und externer Evaluierungen aus Sicht von Politik, Verwaltung und Forschung". Hier präsentierten Rupert Pichler und Mario Steyer (beide BMVIT) die Wechselwirkung von Evaluation und wirkungsorientierter Haushaltführung in Österreich. Diese wurde ab 2009 im Zuge des neuen österreichischen Bundeshaushaltsgesetzes eingeführt. Sie verlangt von allen Ressorts die Formulierung von Zielen und Indikatoren auf unterschiedlichen Ebenen für ihre jeweiligen Politikbereiche. Damit wird die Philosophie von Evaluation - die Überprüfung von politischem Handeln auf der Grundlage definierter Ziele und ihrer Zielerreichung - erstmals auf breiter Front in alle Politikbereiche getragen. Für den Bereich FTI ist dieser Ansatz nicht neu, das Politikfeld zeichnet sich insbesondere in Österreich durch eine etablierte Kultur der Evaluierung aus, allerdings bislang eher auf der Ebene von Einzelmaßnahmen und Programmen. Gleichzeitig besitzt das Politikfeld seit langem auch übergeordnete Zielindikatoren, z.B. in Hinblick auf die FuE-Intensität oder das Ranking im Europäischen Innovationsanzeiger (European Innovation Scoreboard).


Damit stellt sich die Frage, welche Konsequenzen die wirkungsorientierte Haushaltführung für die Evaluationspraxis in der Forschungs-, Technologie- und Innovationspolitik hat? Ist Evaluation überhaupt noch notwendig? Die Referenten bejahten dies mit Nachdruck. Letztlich bleibt die wirkungsorientierte Haushaltsführung auf einer sehr aggregierten Ebene, sie ist zudem mit einer Reihe von Herausforderungen konfrontiert. So sind Zielkonflikte auf unterschiedlichen Ebenen kaum zu bearbeiten, weil die Logik top down von widerspruchsfreien Zielhierarchien ausgeht. Auch werden z.B. nichtintendierte Effekte anders als bei klassischen Evaluationen nicht in den Fokus genommen. Schließlich scheint auch die Frage der Kausalität, also der Zurechenbarkeit politischer Interventionen zu gemessenen Effekten, auf der aggregierten Ebene kaum möglich. Evaluationen sind hier das deutlich  mächtigere Werkzeug, die Umsetzung der wirkungsorientierten Haushaltsführung wirkt ein wenig wie "citizen science für Beamte". Pichler und Steyer hatten bereits in der Frühjahrstagung des AK FTI in Wien einen Vortrag zum Thema gehalten, ihre Ausführungen lassen sich zudem in der aktuellen Ausgabe der Zeitschrift für Evaluation (2/2017) in einem ausführlichen und lesenswerten Artikel nachlesen.


Ein weiterer Beitrag der Session von Markus Schwab und Georg Spiel aus dem Bereich der Gesundheitspolitik stellte ein Praxisbeispiel einer parallelen internen Selbstevaluation und einer externen Evaluation vor. Das Setting dürfte in dieser Form eher selten vorkommen, es bietet aber die Gelegenheit, die Vor- und Nachteile beider Varianten gegenüberzustellen. Während die interne Selbstevaluation im gezeigten Fall durch breites Kontextwissen deutlich stärker in die Tiefe der Materie eintauchen konnte, bot die externe Evaluation durch ihre Außenperspektive einen Vergleich mit ähnlichen Organisationen und Prozessen. Den Vorwurf fehlenden Detailwissens zum Untersuchungsgegenstand dürften viele Evaluatorinnen und Evaluatoren übrigens aus ihrer Praxis kennen. Ebenso aus der Praxis bekannt ist die Problematik, wie viel Offenheit Gesprächspartner gegenüber externen Evaluatoren zeigen. Im geschilderten Fall waren die Mitarbeiterinnen und Mitarbeiter gegenüber den internen Evaluatoren offener, die externen Evaluatoren zeichneten sich hingegen durch weniger Betriebsblindheit und "übervorsichtigen" Fragen aus. Dies könnte je nach Organisation und Rolle interner Evaluatoren aber auch genau gegenteilig sein, Offenheit gegenüber unabhängigen Dritten ist ebenfalls eine gängige Erfahrung externer Evaluationen, die mitunter genau ihre Stärke ausmacht. Schließlich thematisierten die Referenten die Frage, inwiefern die Beauftragung externer Evaluationen die Ressourcen für ebenfalls notwendige interne Evaluations- und Monitoringprozesse schmälert. Diese Ressourcenfrage stellt sich aktuell im Feld FTI - zumindest in Deutschland - auch, wenn z.B. Projektträger z.B. als Ergebnis von externen Evaluationen neue Monitoringsaufgaben übernehmen sollen, diese aber nicht mit entsprechenden Ressourcen hinterlegt sind.

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 3

Ein weiterer Schwerpunkt der Tagung war die Nutzung von ex-ante Ansätzen in der Evaluation. Im Bereich der Technologie-  und Innovationspolitik kommen solche Ansätze hier in der Regel nur gemeinsam mit ex-post Evaluationen vor, um den Übergang von einem Programm in das Nachfolgeprogramm zu gestalten. Der erste Beitrag der Session B3 "ex-ante Evaluation: Wann gelingt der Blick in die Zukunft" von Stefan Silvestrini berichtete von einer ex ante Evaluation im Bereich der Entwicklungszusammenarbeit.

Aus seiner Sicht ist eine wesentliche Funktion solche ex-ante Evaluationen, potentielle Wirkungen zu einem frühen Zeitpunkt abzuschätzen, für die weitere Programmumsetzung ein Monitoringsystem zu entwickeln und die Steuerungsfähigkeit bei der Programmumsetzung insgesamt zu erhöhen. Um ein besseres Gefühl für die spätere Umsetzung zu bekommen, werden z.b. Wirkmodelle eingesetzt, Szenarios entwickelt oder eben Indikatoren definiert, um bestimmte, antizipierte Entwicklungspfade nachzuverfolgen. Letztlich dienen ex ante Evaluationen auch dazu, spätere begleitende oder ex post Evaluationen vorzubereiten. Silvestrini machte auch deutlich, dass ex-ante Evaluationen nur sehr selten nachgefragt werden, weil der Aufwand doch nicht unerheblich und der Mehrwert für potentielle Auftraggeber scheinbar oft nicht ersichtlich ist. Auch bekommen Evaluatoren kaum eine Rückmeldung darüber, inwieweit die Ergebnisse einer ex ante Evaluation in der Praxis tatsächlich für die Steuerung nutzbar waren bzw. inwiefern die Szenarien auch tatsächlich eingetreten sind. Aber dies ist eine Erfahrung, die für Evaluationen generell gilt.

In der Diskussion wurden eine Reihe alternativer Ansätze angesprochen, die statt ext ante Evaluation zum Einsatz kommen. So gehen viele Programmverantwortliche davon aus dass ihr Erfahrungswissen eine implizite Abschätzung potentielle Wirkungen bereits ausreichend zulässt, zudem nutzen Pogrammverantwortliche für das Design von neuen Fördermaßnahmen in der Regel Standardverfahren und sind an neuen Konzepte nur mäßig interessiert. Schließlich ersetzen gezielte Studien zu Ausgangssituationen und Szenarien echte ex ante Evaluationen. Angesprochen wurde in der Diskussion auch risk assessment als eine mögliche Philosophie aus dem Bereich der Technikfolgenabschätzung, um Funktionen einer ex-ante Evaluation zu übernehmen.

Nicht diskutiert, aber häufige Praxis im Bereich der Forschungs- Technologie- und Innovationspolitik sind Pilotphasen, die gewissermaßen experimentell neue Ansätze erproben und mit Evaluationen dieser Phase auch systematisch auswerten. Aufbauend auf den Ergebnissen solche Pilotphasen werden dann größer skalierte Maßnahmen konzipiert. Eine interessante Alternative wurde im vergangenen Jahr auf der European Evaluation Society Konferenz berichtet, nämlich das Vorgehen in Großbritannien, kleinere Evaluations-Machbarkeitsstudien auszuschreiben, um die spätere Evaluierbarkeit neuer Maßnahmen frühzeitig zu überprüfen und entsprechende Indikatoren zu definieren.

Fazit dieser Session, in der darüber hinaus von Lennart Bentfeldt-Huthmann über die Erfahrungen einer internen Evaluation der verschiedenen Maßnahmen der GIZ zu Flucht- und Migrationsvorhaben berichtet wurde: ex-ante Evaluationen sind ein möglicher von vielen Ansätzen, um die Planung neuer Fördermaßnahmen systematisch vorzubereiten, Indikatoren zu entwickeln und Wirkmodelle zu erstellen. Ex-ante Evaluationen werden heutzutage nur wenig genutzt, im Moment ist nicht absehbar, dass sich dies entscheidend ändern wird.

fteval Journal Nr. 43 (Rückblick auf die Open Evaluation Conference 2016)

Unter folgendem link ist das fteval-Journal Nr. 43 zu finden, dass zahlreiche Kurzfassungen der Beiträge zur Konferenz Open Evaluation 2016 in Wien enthält.

Das nächste Journal wird eine Auswahl an "Full Papers" enthalten.

SAVE the DATE: fteval Konferenz in Wien: 5. & 6. November 2018

fteval Konferenz 2018: RTI Policy in Service of Society: Impact at the Crossroads of Design, Implementation and Evaluation
The Austrian Platform for Research and Technology Policy Evaluation together with Manchester Institute of Innovation Research and IFRIS - Institut Francilien Recherche Innovation Société, Paris are organising the next international RTI Policy Evaluation Conference in Vienna under the auspices of the Austrian EU Council Presidency. Impact orientation and impact generation through RTI policy interventions has become a dominant narrative in research and innovation policy-making. This, however, also opens up several challenges and tensions which are related to
1) the uncertain relationship between research and innovation
2) the limits of impact orientation on RTI policy
3) the changing nature of innovation itself and
4) the often weak links of RTI policy making and delivery to other policy areas and civil society.
the conference will gather RTI policy makers, RTI programme authorities, academics, evaluators and research managers to debate these tensions and their effects on evaluation theory and practice.
Veranstaltungsdatum: 5. und 6. November 2018
Veranstaltungsort: Wien