Rückblick auf die DeGEval-Jahrestagung 2017. Teil 4

Im Block C der Jahrestagung von besonderem Interesse war die Session zu "Chancen und Grenzen interner und externer Evaluierungen aus Sicht von Politik, Verwaltung und Forschung". Hier präsentierten Rupert Pichler und Mario Steyer (beide BMVIT) die Wechselwirkung von Evaluation und wirkungsorientierter Haushaltführung in Österreich. Diese wurde ab 2009 im Zuge des neuen österreichischen Bundeshaushaltsgesetzes eingeführt. Sie verlangt von allen Ressorts die Formulierung von Zielen und Indikatoren auf unterschiedlichen Ebenen für ihre jeweiligen Politikbereiche. Damit wird die Philosophie von Evaluation - die Überprüfung von politischem Handeln auf der Grundlage definierter Ziele und ihrer Zielerreichung - erstmals auf breiter Front in alle Politikbereiche getragen. Für den Bereich FTI ist dieser Ansatz nicht neu, das Politikfeld zeichnet sich insbesondere in Österreich durch eine etablierte Kultur der Evaluierung aus, allerdings bislang eher auf der Ebene von Einzelmaßnahmen und Programmen. Gleichzeitig besitzt das Politikfeld seit langem auch übergeordnete Zielindikatoren, z.B. in Hinblick auf die FuE-Intensität oder das Ranking im Europäischen Innovationsanzeiger (European Innovation Scoreboard).


Damit stellt sich die Frage, welche Konsequenzen die wirkungsorientierte Haushaltführung für die Evaluationspraxis in der Forschungs-, Technologie- und Innovationspolitik hat? Ist Evaluation überhaupt noch notwendig? Die Referenten bejahten dies mit Nachdruck. Letztlich bleibt die wirkungsorientierte Haushaltsführung auf einer sehr aggregierten Ebene, sie ist zudem mit einer Reihe von Herausforderungen konfrontiert. So sind Zielkonflikte auf unterschiedlichen Ebenen kaum zu bearbeiten, weil die Logik top down von widerspruchsfreien Zielhierarchien ausgeht. Auch werden z.B. nichtintendierte Effekte anders als bei klassischen Evaluationen nicht in den Fokus genommen. Schließlich scheint auch die Frage der Kausalität, also der Zurechenbarkeit politischer Interventionen zu gemessenen Effekten, auf der aggregierten Ebene kaum möglich. Evaluationen sind hier das deutlich  mächtigere Werkzeug, die Umsetzung der wirkungsorientierten Haushaltsführung wirkt ein wenig wie "citizen science für Beamte". Pichler und Steyer hatten bereits in der Frühjahrstagung des AK FTI in Wien einen Vortrag zum Thema gehalten, ihre Ausführungen lassen sich zudem in der aktuellen Ausgabe der Zeitschrift für Evaluation (2/2017) in einem ausführlichen und lesenswerten Artikel nachlesen.


Ein weiterer Beitrag der Session von Markus Schwab und Georg Spiel aus dem Bereich der Gesundheitspolitik stellte ein Praxisbeispiel einer parallelen internen Selbstevaluation und einer externen Evaluation vor. Das Setting dürfte in dieser Form eher selten vorkommen, es bietet aber die Gelegenheit, die Vor- und Nachteile beider Varianten gegenüberzustellen. Während die interne Selbstevaluation im gezeigten Fall durch breites Kontextwissen deutlich stärker in die Tiefe der Materie eintauchen konnte, bot die externe Evaluation durch ihre Außenperspektive einen Vergleich mit ähnlichen Organisationen und Prozessen. Den Vorwurf fehlenden Detailwissens zum Untersuchungsgegenstand dürften viele Evaluatorinnen und Evaluatoren übrigens aus ihrer Praxis kennen. Ebenso aus der Praxis bekannt ist die Problematik, wie viel Offenheit Gesprächspartner gegenüber externen Evaluatoren zeigen. Im geschilderten Fall waren die Mitarbeiterinnen und Mitarbeiter gegenüber den internen Evaluatoren offener, die externen Evaluatoren zeichneten sich hingegen durch weniger Betriebsblindheit und "übervorsichtigen" Fragen aus. Dies könnte je nach Organisation und Rolle interner Evaluatoren aber auch genau gegenteilig sein, Offenheit gegenüber unabhängigen Dritten ist ebenfalls eine gängige Erfahrung externer Evaluationen, die mitunter genau ihre Stärke ausmacht. Schließlich thematisierten die Referenten die Frage, inwiefern die Beauftragung externer Evaluationen die Ressourcen für ebenfalls notwendige interne Evaluations- und Monitoringprozesse schmälert. Diese Ressourcenfrage stellt sich aktuell im Feld FTI - zumindest in Deutschland - auch, wenn z.B. Projektträger z.B. als Ergebnis von externen Evaluationen neue Monitoringsaufgaben übernehmen sollen, diese aber nicht mit entsprechenden Ressourcen hinterlegt sind.

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 3

Ein weiterer Schwerpunkt der Tagung war die Nutzung von ex-ante Ansätzen in der Evaluation. Im Bereich der Technologie-  und Innovationspolitik kommen solche Ansätze hier in der Regel nur gemeinsam mit ex-post Evaluationen vor, um den Übergang von einem Programm in das Nachfolgeprogramm zu gestalten. Der erste Beitrag der Session B3 "ex-ante Evaluation: Wann gelingt der Blick in die Zukunft" von Stefan Silvestrini berichtete von einer ex ante Evaluation im Bereich der Entwicklungszusammenarbeit.

Aus seiner Sicht ist eine wesentliche Funktion solche ex-ante Evaluationen, potentielle Wirkungen zu einem frühen Zeitpunkt abzuschätzen, für die weitere Programmumsetzung ein Monitoringsystem zu entwickeln und die Steuerungsfähigkeit bei der Programmumsetzung insgesamt zu erhöhen. Um ein besseres Gefühl für die spätere Umsetzung zu bekommen, werden z.b. Wirkmodelle eingesetzt, Szenarios entwickelt oder eben Indikatoren definiert, um bestimmte, antizipierte Entwicklungspfade nachzuverfolgen. Letztlich dienen ex ante Evaluationen auch dazu, spätere begleitende oder ex post Evaluationen vorzubereiten. Silvestrini machte auch deutlich, dass ex-ante Evaluationen nur sehr selten nachgefragt werden, weil der Aufwand doch nicht unerheblich und der Mehrwert für potentielle Auftraggeber scheinbar oft nicht ersichtlich ist. Auch bekommen Evaluatoren kaum eine Rückmeldung darüber, inwieweit die Ergebnisse einer ex ante Evaluation in der Praxis tatsächlich für die Steuerung nutzbar waren bzw. inwiefern die Szenarien auch tatsächlich eingetreten sind. Aber dies ist eine Erfahrung, die für Evaluationen generell gilt.

In der Diskussion wurden eine Reihe alternativer Ansätze angesprochen, die statt ext ante Evaluation zum Einsatz kommen. So gehen viele Programmverantwortliche davon aus dass ihr Erfahrungswissen eine implizite Abschätzung potentielle Wirkungen bereits ausreichend zulässt, zudem nutzen Pogrammverantwortliche für das Design von neuen Fördermaßnahmen in der Regel Standardverfahren und sind an neuen Konzepte nur mäßig interessiert. Schließlich ersetzen gezielte Studien zu Ausgangssituationen und Szenarien echte ex ante Evaluationen. Angesprochen wurde in der Diskussion auch risk assessment als eine mögliche Philosophie aus dem Bereich der Technikfolgenabschätzung, um Funktionen einer ex-ante Evaluation zu übernehmen.

Nicht diskutiert, aber häufige Praxis im Bereich der Forschungs- Technologie- und Innovationspolitik sind Pilotphasen, die gewissermaßen experimentell neue Ansätze erproben und mit Evaluationen dieser Phase auch systematisch auswerten. Aufbauend auf den Ergebnissen solche Pilotphasen werden dann größer skalierte Maßnahmen konzipiert. Eine interessante Alternative wurde im vergangenen Jahr auf der European Evaluation Society Konferenz berichtet, nämlich das Vorgehen in Großbritannien, kleinere Evaluations-Machbarkeitsstudien auszuschreiben, um die spätere Evaluierbarkeit neuer Maßnahmen frühzeitig zu überprüfen und entsprechende Indikatoren zu definieren.

Fazit dieser Session, in der darüber hinaus von Lennart Bentfeldt-Huthmann über die Erfahrungen einer internen Evaluation der verschiedenen Maßnahmen der GIZ zu Flucht- und Migrationsvorhaben berichtet wurde: ex-ante Evaluationen sind ein möglicher von vielen Ansätzen, um die Planung neuer Fördermaßnahmen systematisch vorzubereiten, Indikatoren zu entwickeln und Wirkmodelle zu erstellen. Ex-ante Evaluationen werden heutzutage nur wenig genutzt, im Moment ist nicht absehbar, dass sich dies entscheidend ändern wird.

fteval Journal Nr. 43 (Rückblick auf die Open Evaluation Conference 2016)

Unter folgendem link ist das fteval-Journal Nr. 43 zu finden, dass zahlreiche Kurzfassungen der Beiträge zur Konferenz Open Evaluation 2016 in Wien enthält.

Das nächste Journal wird eine Auswahl an "Full Papers" enthalten.

SAVE the DATE: fteval Konferenz in Wien: 5. & 6. November 2018

fteval Konferenz 2018: RTI Policy in Service of Society: Impact at the Crossroads of Design, Implementation and Evaluation
The Austrian Platform for Research and Technology Policy Evaluation together with Manchester Institute of Innovation Research and IFRIS - Institut Francilien Recherche Innovation Société, Paris are organising the next international RTI Policy Evaluation Conference in Vienna under the auspices of the Austrian EU Council Presidency. Impact orientation and impact generation through RTI policy interventions has become a dominant narrative in research and innovation policy-making. This, however, also opens up several challenges and tensions which are related to
1) the uncertain relationship between research and innovation
2) the limits of impact orientation on RTI policy
3) the changing nature of innovation itself and
4) the often weak links of RTI policy making and delivery to other policy areas and civil society.
the conference will gather RTI policy makers, RTI programme authorities, academics, evaluators and research managers to debate these tensions and their effects on evaluation theory and practice.
Veranstaltungsdatum: 5. und 6. November 2018
Veranstaltungsort: Wien

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 2

Die Zukunft der Evaluation, das ist möglicherweise auch die Nutzung ganz neue Datenquellen und eine andere Form der Dateninterpretation. Entsprechend drehten sich einige Sessions der Jahrestagung 2017 auch um das Thema neue Datenquellen und Big Data.

In der Session A2 "Big Data: große Datenmengen - großes Potenzial für die Evaluation" erläuterte Christoph Müller zunächst die Nutzung lernende Algorithmen im Evaluationskontext und ging insbesondere auf die Technik der sogenannten "boosted regression trees" ein. Im Kern erlaubt dieser Ansatz, mittlere bis große Datenmengen neu zu analysieren und Nachteile klassischer Regressionsanalysen zu überwinden. Es ging allerdings nicht um sehr große Datensätze, das Beispiel von Christoph Müller umfasste etwa 120 Beobachtungen.

Der zweite Beitrag der Session von Judith Hoffmann fokussierte auf die Potenziale von Big Data Mining für zukunftsbezogene Fragestellungen, also ganz konkret für sogenannte Foresight-Prozesse. Diese Potenziale wurden allerdings weniger anhand von konkreten Evaluationsbeispielen erläutert, es handelte sich vielmehr um eine Studie, die über Experteninterviews solche Potenziale identifizieren soll. Selbige Experten äußerten sich wohl eher skeptisch, inwieweit heute schon Big Data Analyse für Foresight-Prozesse genutzt werden kann.

Der letzte Beitrag von Wolfgang Meyer zu "Kollateralschäden beim Schrotflintenschießen oder Big Brother - Big Data - Big Trouble" war eine erfrischende Polemik, die die Teilnehmer dieser Nachmittags-Session wieder aus ihrem Nachmittagsschlaf zurück in die Wirklichkeit holte. Insgesamt blieb dieser Beitrag allerdings doch zumeist auf der Ebene allgemeiner, normativer Fragen zur Vorliebe von Technologiekonzerne, ihre Nutzer ungefragt große Datensätze erzeugen zu lassen, die dann für kommerzielle Zwecke oder potentiell auch für eine unlauterer Überwachung dieser Nutzer eingesetzt werden (können).

Mit der Realität der Nutzung neuer Datenquellen im Bereich der Evaluation hat dies aus meiner Sicht jedoch wenig zu tun. Vielmehr zeigen sich hier die bekannten, prinzipiellen Ängste vor einer Nutzung von Daten, die in Deutschland häufig Zugänge zu Datensätzen verbauen, die anderenorts schon Wirklichkeit sind. Können in den nordischen Ländern Unternehmensregisterdaten regelmässig für die Bildung von Vergleichsgruppen genutzt werden, um die Evaluation von Technologieförderprogrammen zu verbessern, so ist dies in Deutschland häufig nur sehr eingeschränkt möglich.

Die Session war in diesem Sinne ein recht gutes Abbild der aktuellen Situation bei der Nutzung von Big Data Ansätze für die Evaluation. Im Detail stehen interessante neue Algorithmen zur Verfügung, in der Praxis werden aber eher bekannte Datensätze genutzt, neue Datenquellen oder wirklich große Datenmengen spielen eigentlich kaum eine Rolle. Dazu kommen weiterhin große Ängste vor einem Missbrauch solcher Techniken.

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 1

Gerader hat die DeGEval in Mainz ihr 20-jähriges Jubiläum gefeiert. Die diesjährige Jahrestagung stand unter dem Motto "Zukunft". Und ja, alle Sessions, die ich besucht habe, standen tatsächlich mehr oder weniger unter diesem Motto und beschäftigten sich mit aktuellen Trends und zukünftigen Entwicklung in der Evaluation. Nachfolgend eine kleine, ganz persönliche Nachlese, zunächst zum Treffen des Arbeitskreises.

Wie jedes Jahr treffen sich am Morgen des ersten Tages die Arbeitskreise, und wie jedes Jahr ist das für alle, die erst anreisen müssen, ein sehr früher Termin. Entsprechend klein ist in der Regel der Kreis derer, die hier zusammenkommen. Mit einem harten Kern von 10 Personen haben wir im AK FTI diskutiert. Zunächst wurden die drei Sprecher, Iris Fischl, Marianne Kulicke und ich selbst, für die nächsten zwei Jahre in ihrem Amt bestätigt. Anschließend gaben wir einen kleinen Rückblick zur Frühjahrstagung 2017, wir haben ja auch in diesem Blog schon ein wenig darüber berichtet. Im Mittelpunkt unserer Diskussion aber stand die Diskussion über die Frühjahrstagung 2018 und eine mögliche AK-Session auf der nächsten Jahrestagung.

Ein Erfolgsfaktor der vergangenen Frühjahrstagungen, und auch für die nächste Frühjahrstagung angestrebt, ist eine möglichst aktive Beteiligung der Auftraggeber von Evaluation. Was sind aktuelle interne Entwicklungen bei den Auftraggebern, wo sind neue Erwartungen an Evaluatoren? Interessant wäre auch ein Update dazu, wie Projektträger sich auf eine aktivere Rolle bei der Umsetzung von Evaluationen und Programmmonitoring vorbereiten. 

Ein möglicher inhaltlicher Schwerpunkt betrifft die Umsetzung von Evaluation und die Nutzung von Handlungsempfehlungen. Handlungsempfehlungen sind ein kritischer Bereich von Evaluationen, da sie relativ zielgenau auch die Umsetzbarkeit und die Rahmenbedingungen berücksichtigen müssen. Nicht selten sind sie eher der Schwachpunkte einer sonst qualitativ hochwertigen Evaluation. Es gibt deshalb sogar manchmal Auftraggeber, die am liebsten gar keine Handlungsempfehlungen wünschen, sondern nur eine Bewertung das Programmerfolgs und der Wirkmechanismen. Anderen wiederum sind die üblichen Handlungsempfehlungen noch zu wenig konkret, sie würden sich sehr detaillierte Roadmaps für eine Umsetzung der Handlungsempfehlungen wünschen. Dieses Spannungsverhältnis könnte Thema einer interessanten Diskussion auf dem nächsten Frühjahrstreffen werden. Sonst ist ein üblicher Schwerpunkt auf jeden Fall die Präsentation aktueller Evaluation aus Deutschland und Österreich.

Das nächste Frühjahrstreffen wird voraussichtlich in Berlin stattfinden, Marianne Kulicke übernimmt die Vorbereitung. Wenn Sie Anregungen oder Wünsche haben, so wenden Sie sich am besten direkt an Frau Kulicke.

In diesem Jahr hat der Arbeitskreis keine eigene Session auf der Jahrestagung organisiert, für das nächste Jahr finden wir wieder eine Session des Arbeitskreises wünschenswert. Im Idealfall mit einem Thema, das ein bisschen über den Tellerrand unseres Themenfeldes hinausreicht, vielleicht sogar in Kooperation mit einem anderen Arbeitskreis. Bislang gibt es aber keine konkreten Planungen dafür.

Der letzte Diskussionspunkt betraf unsere erneute geplante Übersicht über gerade abgeschlossene oder neu begonnene Evaluationen Deutschland und Österreich. Im vergangenen Jahr hatten wir einen sprechend Übersicht mit Hilfe der Interessierten unserer Mailingliste zusammengestellt, diese Übung wollen wir auch dieses Jahr wiederholen, wir freuen uns über jeden Beitrag von Ihnen. Einen ersten Entwurf werden wir gegen Ende des Jahres über die Mailingliste versenden, den können Sie dann um weitere Evaluationen ergänzen. Unsere österreichischen Kollegen haben in diesem Zusammenhang darauf hingewiesen, dass die Sammlung von Evaluationen in Österreich gerade überarbeitet und in ein echtes Repositorium mit verschiedenen Suchkriterien verwandelt wurde.

Evaluations-Repositorium

Kürzlich war ich auf einem EU-Workshop zum Thema impact assessment, auf dem Paul Cunningham von der Universität Manchester kurz Aktuelles zum Projekt SIPER vorstellte. SIPER ist eine Evaluationsdatenbank zu Evaluationsberichten aus allen Ländern der OECD (und perspektivisch auch weitere Länder), die dort nicht nur als Dokumente gespeichert, sondern auch nach bestimmten Kriterien kategorisiert und damit durchsuchbar werden. SIPER ist Teil des größeren EU-Projekts RISIS, "research infrastructure for research and innovation policy studies". Die Universität Manchester hat sich in den letzten Jahren einen Namen gemacht mit solchen Repositorien. Besonders beeindruckend fand ich die Sammlung an Erfahrungen zur Innovationspolitik, dass compendium of evidence on innovation policy. In gewisser Weise hatte SIPER auch ein Vorläufer, nämlich das EU-Projekt INNO-Appraisal, an dem unter anderem das Fraunhofer-ISI  teilnahm und das bis 2010 lief. Auch hier wurde eine Datenbank zu Evaluation in den Mitgliedstaaten erstellt, aber mit Auslaufen des Projektes dann nicht fortgeführt.

Zurück zu SIPER. Die Datenbank ging erst kürzlich online und befindet sich noch deutlich im Aufbaustatus. Das zeigt sich z.b. beim Blick auf Evaluation aus Deutschland. Bislang sind für den Zeitraum 2001 bis 2014 nur 15 Evaluation aufgenommen worden. Das ist garantiert nur ein Bruchteil der Evaluation, die in diesem Zeitraum durchgeführt und auch veröffentlicht wurden. Hier zeigt sich aus meiner Sicht eine mögliche Schwäche des Projekts. Partner aus Deutschland sind nicht Teil des Projektteams, und so scheint die Suche nach Evaluationen zum Teil abhängig davon zu sein, wie viele Beiträge dezentral zu geliefert werden. Es ist nämlich ausdrücklich erwünscht, dass jeder, der Evaluationen beauftragt oder durchführt, seine Berichte entsprechend weiterleitet. Vielleicht sind ja noch viele Evaluation in der Pipeline und warten darauf, in die Datenbank eingepflegt zu werden. Meine Befürchtung ist aber eher, dass hier bislang zu wenig und unsystematisch zugeliefert wurde. Damit enttäuscht sich leider auch meine Hoffnung, hier endlich ein Repositorium zu Evaluation in Deutschland zu finden.

Während Österreich mit der FTEval ein vorbildliches Beispiel gibt, dass der Aufbau einer nationalen Evaluationsdatenbank machbar und mit erheblichem Mehrwert verbunden ist, tut sich Deutschland weiterhin schwer. Eine Zeit lang versuchte die Expertenkommission Forschung und Innovation - EFI, die Diskussion mit einer eigenen Sammlung voranzubringen. Schaut man heute auf die Website von EFI, so sieht man, dass dieser Zusammenstellung wieder vom Netz genommen wurde.

Im Arbeitskreis FTI der DGEval haben wir letztes Jahr einen neuen Anlauf unternommen, zumindest aktuell abgeschlossen und neu begonnene Evaluationen des laufenden Jahres zusammenzustellen. Diesen Versuch wollen wir in diesem Jahr wiederholen, und so sollten wir eigentlich Stück für Stück zu einem eigenen Repositorium auch für Deutschland kommen. Wir werden Ende des Jahres wieder einen Aufruf an alle Mitglieder unserer Mailingliste schicken, uns Informationen zu aktuell abgeschlossenen oder begonnenen Evaluation in zu schicken. Wenn Sie schon jetzt solche Informationen haben, können Sie uns diese aber auch vorab zukommen lassen.

Und denken Sie auch an die britischen Kollegen! Das Projekt SIPER verdient es, unterstützt zu werden. Vielleicht sehen wir nächstes Jahr nicht 15 Uhr, sondern 50 Evaluationsberichte aus Deutschland dort eingestellt.

Ausblick auf die DeGEval-Jahrestagung 2017

In zwei Wochen findet in Mainz die jährliche Tagung der DeGEval statt, diesmal unter dem Motto "Zukunft der Evaluation". Der besondere Reiz der Jahrestagung besteht wie immer darin, dass Expertinnen und Experten aus ganz unterschiedlichen Anwendungsfelder in der Evaluation zusammenkommen. Eine Reihe von Sessions sind entsprechend interdisziplinär besetzt und widmen sich Querschnittsthemen. Aber auch im Bereich der Evaluation von Forschungs-, Technologie- und Innovationspolitik gibt es spannende Sessions. Hier meine ganz persönliche Auswahl:

Gleich nach Tagungseröffnung, Keynote und Mittagspause mit Posterführung folgt in Block A die Session zu Big Data (A2). Judith Hoffmann stellt darin z.b. Ergebnisse aus einem Projekt zur Potenzialeinschätzung von Big Data Mining für Foresight und Wissenschaftskommunikation vor. Es geht also um ex-ante Evaluation, und die Kurzbeschreibung verspricht einen kleinen Blick in die Glaskugel. In einem weiteren Beitrag von Christoph Müller wird vorgestellt, wie durch maschinelles Lernen Zusammenhänge zwischen Variablen nicht ex-ante postuliert, sondern erst im Verlauf der Datenanalyse generiert werden. Der letzte Beitrag dieser Session von Wolfgang Mayer schließlich setzt sich kritisch mit den Versprechungen und tatsächlichen Anwendungsmöglichkeiten von Big Data auseinander.

Eine weitere spannende Session im FTI-Bereich könnte am Freitag früh ab 9 Uhr starten. Sie setzt sich mit Chancen und Grenzen interner und externer Evaluierungen aus Sicht von Politik, Verwaltung und Forschung auseinander (C1). Rupert Pichler und Mario Steyer stellen beispielsweise das System der wirkungsorientierten Haushaltsführung in Österreich und seine Wechselwirkung zu internen und externen Evaluierungen im Bereich FTI vor. Was hat es für Effekte für Evaluierungen, wenn ganze Politikbereiche Überziele und Indikatoren zur Zielerreichung definieren?

Kurz vor Ende der Jahrestagung, im Block D, verspricht die Session des AK Wirtschaft (D3) auch auf der Schlussgeraden noch interessante Einblicke. Es geht dabei um Methoden der strategischen Vorausschau in Unternehmen, insbesondere auch in Hinblick auf Innovations- und Strategieprozesse. Angekündigte ist dabei auch eine aktive Teilnahme aller Sessionbeteiligten, Evaluation zum Anfassen sozusagen.

Und dann sind da noch ganz viele andere Sessions, Diskussionsrunden und Vorträge. Und natürlich die Pausengespräche, die ja manchmal fast das Wichtigste bei so einer Veranstaltung sind. In diesem Sinne allen Teilnehmerinnen und Teilnehmer schon jetzt viel Vergnügen. Und vielleicht kommen Sie ja zum Treffen des AK FTI am Donnerstagmorgen um 9:30. Wir werden dort z.B. über mögliche Themen unseres Frühjahrstreffen im Jahr 2018 diskutieren.

Frühjahrstreffen 2017 des Arbeitskreises Forschungs-, Technologie- und Innovationspolitik in der DeGEval. Erste Eindrücke aus deutscher Perspektive

Gestern, am 19.Mai 2017, fand das diesjährige Frühjahrstreffen des AK FTI der DeGEval statt. Wir haben uns dieses Jahr in Wien getroffen, entsprechend war auch das Programm deutlich österreichisch geprägt, genauso wie die Teilnehmer. Aber es waren auch ein paar deutsche Teilnehmer dabei, und für die waren die Präsentationen möglicherweise sogar noch interessanter als für ihre österreichischen Kollegen, die einiges doch schon gekannt haben dürften. Gerade im Kontrast zur deutschen Evaluationswirklichkeit hatten viele Beiträge ihren besonderen Reiz.

So berichtete Brigitte Ecker (WPZ Research) von der gerade abgeschlossenen Evaluation der österreichischen steuerlichen F&E Förderung. In Deutschland wird das Thema gerade mal wieder heiß diskutiert, und mein Tipp ist schon, dass wir nach der Bundestagswahl eine solche steuerliche Förderung sehen werden. Brigitte Ecker legte den Schwerpunkt ihres Vortrags allerdings weniger auf die inhaltlichen Ergebnisse, sondern vielmehr auf die methodischen Herausforderungen. Und die waren beträchtlich, da die eigentlich interessanten Datensätze kaum miteinander verknüpft werden konnten. Unterm Strich kommt die Evaluation aber durchaus zu dem Ergebnis, dass sich eine steuerliche FuE-Förderung auf das Innovationsverhalten der Unternehmen auswirkt, in diesem Sinne interpretierten die österreichischen Auftraggeber wohl auch die Evaluationsergebnisse als Auftrag, die Förderung weiter auszubauen. Aber aufgepasst, in der deutschen Diskussion wird ja insbesondere ein Effekt für kleine und nur unregelmäßig innovierende KMU erwartet. Und hier scheinen die österreichischen Ergebnisse eine solche Erwartungen nicht unbedingt zu bestätigen. Es lohnt also die Lektüre des Evaluationsberichts.

Sascha Ruhland (KMU Forschung Austria) präsentierte eine Evaluation der Garantieinstrumente der AWS. Der Schwerpunkt lag auf der methodischen Herausforderung eines Kontrollgruppenansatzes, der sich auf einen ​sogenannten propensity score match Ansatz stützte. Der Beitrag zeigte, wie aufwendig und damit kostspielig so ein Vorgehen letztlich ist. Möglich war es in diesem Fall auch nur, weil die Evaluationseinrichtung (KMU Forschung Austria) Zugang auf einen langjährigen und breiten Datensatz hatte, der für die Auswahl der Kontrollgruppe herangezogen werden konnte. Deutlich ergiebiger war nach Einschätzung des Referenten allerdings der Zugang über Befragung und Interviews, weil nur hier die Wirkungszusammenhänge aufgearbeitet werden konnten. Für die in deutschen Evaluationsausschreibungen mittlerweile fast standardmäßig enthaltene Forderung nach Kontrollgruppen ansetzen ist dies eine interessante Praxiserfahrung gewesen.

Einen in Deutschland eher unbekannten Sachverhalt schilderte der Beitrag von Rupert Pichler und Mario Steyer (BMVIT) zur wirkungsorientierten Haushaltsführung. Über alle Ressorts hinweg muss in Österreich seit ein paar Jahren ein auf verschiedenen Hierarchieebenen gegliedertes System an Zielformulierungen und Indikatoren zur Überprüfung der Zielerreichung formuliert werden. Die Formulierung von Oberzielen der Innovationspolitik ist für das Politikfeld nicht wirklich neu, man denke nur an das 3% Ziel in Deutschland. Möglicherweise ist das in anderen Ressorts anders, daher ist auch die wirkungsorientierte Haushaltsführung vielleicht eine gute Idee, um für konkrete Zielformulierungen zu sensibilisieren. Für die Frühjahrstagung interessierte uns insbesondere, ob dieses übergreifend installierte System Rückwirkungen auf die Evaluationspraxis im Politikfeld hat. Um es kurz zu machen: Hat sie im Moment noch nicht. Während Monitoringdaten, die z.b. die FFG in ihrem Wirkungsmonitoring erheben lässt, auch in das Indikatorensystem der wirkungsorientierten Haushaltsführung einfließen (können), sind Evaluationsergebnisse von klassischen Maßnahmenevaluation in vollkommen losgelöst von diesem System. Hier läuft alles wie bisher.

Ein Vortrags-Block des Frühjahrstreffen widmete sich sogenannten missionsorientierten Programmen und ihrer Evaluation. Die übergreifende Frage war, ob es Unterschiede zu klassischen Programmen z.b. der Technologieförderung gibt. Ein wesentliches Problem solcher missionsorientierten Programme ist, das zeigte sehr schön der Beitrag von Marianne Kulicke (FhG ISI), dass Ziele relativ vage formuliert und kaum in Indikatoren zu operationalisieren sind. Die Ziele haben außerdem einen sehr langfristigen Charakter, sodass sie in Hinblick auf die Zielerreichung kaum evaluierbar sind. Und was auch fehlt, ist häufig ein Wirkmodell, wie klassische F&E Förderung eigentlich zur Erreichung solcher übergeordneten, gesellschaftlichen Ziele beitragen soll.

Friedemann Call vom Projektträger DLR präsentierte eine Evaluation aus Baden-Württemberg zu Maßnahmen im Bereich der Klimaanpassung. Interessant war z.b., dass hier eine ganze Reihe von Maßnahmen schon seit längerer Zeit gefördert werden, während eine übergreifende Strategie auf Landesebene erst nachträglich beschlossen wurde. Entsprechend schwierig war es, hier wieder den Bezug zwischen übergreifender politischer Zielsetzung im Bereich gesellschaftliche Herausforderungen und konkreter Projektförderung zu operationalisieren.

Der letzte Beitrag von Norbert Knoll (AWS) beschäftigte sich mit den Folgen der Digitalisierung auf das Fördergeschäft. Im Moment geht es hier vor allen Dingen um eine Prozessoptimierung und Effizienzsteigerung. Inwiefern hier mittelfristig auch neue Monitoringdaten erzeugt werden, die langfristig bestimmte Evaluationsinhalte versetzen, konnten wir in der Diskussion nur anreißen.

In der abschließenden Diskussion brachten die deutschen Teilnehmer zunächst einmal den Eindruck ein, dass vieles in Österreich doch anders läuft, vermutlich auch bedingt durch die etwas zentralen Strukturen, die sich aus den beiden Agenturen FFG und AWS ergeben. Andererseits ist dann die Evaluationspraxis, sind die Evaluationsberichte in Österreich gar nicht so viel anders als die in Deutschland.

PROGRAMM zum Frühjahrstreffen des AK FTI der DeGEval 2017 in Wien

Veranstaltungsort:

Austria Wirtschaftsservice (aws), 1020 Wien, Walcherstrasse 11A

Ansprechpartner und Anmeldung: 

Mag. Iris Fischl / KMU Forschung Austria, i.fischl@kmuforschung.ac.at

 

AGENDA

Einführung und Überblick
09:30	Einführung in die Veranstaltung Überblick über aktuelle Entwicklungen der FTI-Evaluation in Österreich	Iris Fischl (KMU Forschung Austria)
09:45	Überblick über aktuelle Entwicklungen der FTI-Evaluation in Deutschland	Jan Wessels (iit) / Marianne Kulicke (Fraunhofer ISI)
Praxisberichte: alternative Förderinstrumente
10:00	Evaluation des aws-Garantie-Instrumentariums	Sascha Ruhland (KMU Forschung Austria)
10:30	Evaluation der Forschungsprämie gem. § 108c EstG	Brigitte Ecker (WPZ Research)
11:00 - 11:15 Kaffeepause
Praxisberichte: missionsorientierte Maßnahmen
11:15	Evaluation im DLR Projektträger am Beispiel einer Maßnahme im Bereich Klimaanpassung	Friedemann Call (DLR)
11:45	Evaluation der Nationalen Forschungsstrategie BioÖkonomie 2030	Marianne Kulicke (ISI Fraunhofer)
12:15 - 13:15 Mittagspause
Praxisberichte: Wirkungsorientierte Folgenabschätzung, Wirkungsindikatoren
13:15	Wirkungsorientierte Folgenabschätzung in Ministerien (Auftraggeber) – aktuelle Einsichten	Rupert Pichler / Mario Steyer (BMVIT)
13:45	Indikatoren zur Erfassung der Wirkungen von Förderungen der FFG	Michael Dinges (AIT) Sabine Mayer / Henrike Hügelsberger  (FFG)
14:15	Was bedeutet Innovationsförderung 4.0 für Evaluierung 4.0? Chancen der Digitalisierung von Förderungsdienstleistungen für die Evaluation von Innovationsförderungen.	Norbert Knoll (AWS)
14:45-15:00 Kaffeepause
Abschlussdiskussion mit Blick auf die Zukunft
15:00	·         Erkenntnisse des Tages mit Blick auf die Zukunft der FTI-Eval	·         Abschlussdiskussion
16:15	Ausblick, Allfälliges, Ende der Veranstaltung