Rückblick auf die DeGEval-Jahrestagung 2019

Vom 12. bis 13. September fand die diesjährige Jahrestagung der DegGEval in Bonn statt. Thema der Tagung war "Nachhaltigkeit und Evaluation". In Zeiten intensiver öffentlicher Diskussion um den Klimawandel sicher ein aktuell gut gewähltes Thema. Für die Evaluationscommunity jedoch durchaus eine Herausforderung. So schilderten es zumindest die Organisatoren der Tagung: die Zahl der Einreichungen für Vorträge war doch deutlich geringer als in den vergangenen Jahren. Dies gilt auch für das Themenfeld Forschungs-, Technologie- und Innovationspolitik. Auch hier gab es nicht gerade viele Beiträge auf der diesjährigen Tagung.

Durch die Tagung zog sich ein doppelter Definitionsversuch von Nachhaltigkeit. Zum einen wurde Nachhaltigkeit verstanden als Dauerhaftigkeit der Wirkungen von Interventionen. Zum anderen wurde Nachhaltigkeit systemisch gefasst, als Wirkung in mindestens drei Dimensionen, nämlich einer ökonomischen, einer ökologischen und einer sozialen Dimension.

Mit diesem Verständnis sollte man meinen, dass Nachhaltigkeit auch im Politikfeld FTI eine nicht unerhebliche Rolle spielt und im Beobachtungsfokus von Evaluationen liegen sollte. Gerade die Dauerhaftigkeit von Veränderungen, die durch Maßnahmen der Innovationspolitik induziert werden, liegt ja durchaus im Interesse der politisch Handelnden. Die Innovationsfähigkeit auch mittelfristig zu steigern, neue Technologien dauerhaft in Märkte einzuführen und damit ganze Branchen zu verändern, all dies sind sicherlich auch Intentionen der Innovationspolitik.

Und tatsächlich prüfen Evaluationen in unserem Politikfeld zumindest die Voraussetzungen einer Aufdauerstellung der erreichten Veränderungen. Das typische Dilemma unsere Evaluationen, ein sehr früher Zeitpunkt der Analyse, der eine echte Messung von Veränderungen eigentlich nicht zulässt, führt jedoch dazu, dass wir faktisch nur sehr wenig darüber wissen, wie dauerhaft die beobachteten oder prognostizierten Veränderungen wirklich sind. Es gibt interessante Evaluationsergebnisse aus Großbritannien, die zeigen, dass z.B. die Veränderung des Innovationsverhaltens von KMU, die Innovationsgutscheine in Anspruch nehmen, von sehr begrenzter Dauer sein kann und zum Teil innerhalb von wenigen Jahren nicht mehr messbar ist. Spannend wäre sicher eine Untersuchung, wie lange die Halbwertszeit der Wirkung von FTI-Maßnahmen in Deutschland ist.

Die zweite Definition von Nachhaltigkeit, also die Wirkung in mindestens drei Dimensionen, einer ökonomischen, einer ökologischen und einer sozialen, wird in Evaluationen unseres Politikfeldes in der Regel eher weniger adressiert. Mit der klassischen Argumentationslogik für Innovationspolitik, nämlich der Hoffnung, dass sie ein wesentlicher Treiber für Wachstum und Wohlstand ist, ist die Dimension der ökonomischen Wirkung sehr präsent in Evaluationen. Entsprechend werden Umsatzveränderungen, Neueinstellungen und Stärkung der Wettbewerbsfähigkeit wo möglich immer gerne untersucht.

Zumindest für Technologiefelder, die explizit auch auf die Bereiche Energie und Mobilität zielen, sind ökologische Wirkungen ein weiter Zielbereich. Fördermaßnahmen der Elektromobilität, der erneuerbaren Energien oder der Materialeffizienz adressieren immer auch ökologische Wirkungen. Allerdings gilt auch hier, dass die Wirkungsvermutungen in der Regel durch Plausibilitätsannahmen ex-ante überprüft werden, das z.B. eine Wirkungsmodellierung Hinweise darauf gibt, ob entsprechende Wirkungen in der Zukunft wahrscheinlich sind. Echte Messungen der Wirkungen in dieser ökologischen Dimension finden in der Regel nicht statt. Es wird heute z. B.  nicht gemessen, ob die CO2-Belastung tatsächlich durch Förderung von Technologieentwicklung im Bereich der Elektromobilität zurückgegangen ist. auch das hat natürlich damit zu tun, dass die erwarteten Wirkungen zu einem deutlich späteren Zeitpunkt stattfinden und von vielen weiteren Faktoren beeinflusst werden, dass also der Zeitpunkt der Messung und die Kausalität kaum lösbare Probleme darstellen.

Die soziale Dimension schließlich ist deutlich unterbelichtet in unseren Evaluationen. Möglicherweise spielt noch eine Rolle, ob spätere Nutzer eines neuen Produktes oder einer neuen Dienstleistung auch entsprechende Komfort-Vorteile genießen, oder ob die regionalen wirtschaftlichen Auswirkungen der Intervention zu einer Steigerung von Wohlstand, Lebensqualität und Attraktivität der Regionen führen. Viele soziale Dimensionen sind aber weiterhin eher nicht im Fokus. Die Auswirkungen auf Genderaspekte werden in deutschen FTI-Evaluationen in der Regel nicht in den Blick genommen. Gleiches gilt für die Auswirkungen auf soziale Ungleichheit oder Partizipationsmöglichkeiten.

Mit der Veränderung der Innovationspolitik selbst könnte sich dies aber in naher Zukunft ändern. Mit der Missionsorientierung rücken  ganzheitliche Ansätze stärker in den Mittelpunkt der Innovationspolitik, partizipative Ansätze werden vermehrt realisiert. Missionsorientierung bedeutet auch, das komplexere Interventionen geplant werden, dass der Blick sich auf das Zusammenwirken unterschiedliche Maßnahmen richtet. In diesem Sinne könnte der systemische Gedanke des Nachhaltigkeitskonzepts auch stärker in der Konzeption von innovationspolitischen Maßnahmen ebenso wie in der Evaluation derselben seinen Niederschlag finden.

Innovationspolitik erhält durch diese Umorientierung einen stärker transformativen Charakter, und hier ist es kaum denkbar dass eine der drei Dimensionen Wirtschaft, Ökologie und Gesellschaft nicht berücksichtigt wird. Allerdings braucht es dann auch andere Evaluationsansätze: Querschnittliche Evaluationen, die sich auf viele unterschiedlichen Maßnahmen richten; Längsschnittanalysen, die deutlich längere Zeithorizonte umfassen. qualitative Tiefenuntersuchungen, die auch soziale Dimensionen stärker in den Blick nehmen.

ich bin mit einem gehörigen Maß an Skepsis auf die diesjährige Tagung gefahren. Das Konzept der Nachhaltigkeit hatte in meiner bisherigen Evaluationspraxis keine Rolle gespielt. Ich bin durchaus angeregt aus Bonn zurückgekehrt. Ich glaube nicht, dass die Dimension der Nachhaltigkeit in naher Zukunft zu einer bestimmenden im Politikfeld FTI werden wird. Aber ich glaube doch, dass einige Anregungen nützlich und sinnvoll wären. Und ich glaube auch, dass sich das Politikfeld insgesamt verändern wird. Nicht nur im Hinblick auf Evaluation.

Rückblick auf die DeGEval-Jahrestagung 2018

Manche Jahrestagungen von wissenschaftlichen Fachgesellschaften schaffen es ja durchaus in die überregionalen Medien, heute z.b. erschienen ein Beitrag in der Süddeutschen Zeitung zum Deutschen Historikertag. Diese Aufmerksamkeit ist der Jahrestagung der DeGEval bislang nicht vergönnt gewesen. Nun ist die DeGEval sicher nicht mit den deutschen Historikern zu vergleichen, sie ist ungleich weniger im Fächerkanon deutscher Universitäten verankert, auch der breiten Bevölkerung bis das Thema Evaluation vermutlich relativ unbekannt und auch egal. Andererseits ist die Tätigkeit von Evaluatorinnen und Evaluatoren möglicherweise deutlich praxisrelevante als die der deutschen Historikerinnen und Historiker. Grund genug, einen kurzen Rückblick auf die diesjährige Tagung unserer Fachgesellschaft zugeben und aus der Perspektive der Forschungs-, Technologie- und Innovationspolitik auf einigen der besonders relevanten Sessions zu schauen.

Das Motto der diesjährigen Jahrestagung der DeGEval war Wirkungsorientierung und Evaluation. Einerseits scheint dies fast schon eine überflüssige Differenzierung zu sein. Geht es nicht in allen Evaluation auch um Wirkung? Andererseits ist die Messung von Wirkung sicher eine der großen Herausforderungen der Evaluation. Gerade im Bereich von Technologie- und Innovationspolitik (aber nicht nur hier) ist die Wirkung nicht einfach zu messen. Zu viele unterschiedliche Faktoren beeinflussen, interne wie externe. Es geht also meist eher um die Zuschreibung als um die kausale Verknüpfung von Ursache und Wirkung, um Contribution statt Attribution. Auch ist der zeitliche Abstand zwischen Intervention und messbarer Wirkung meist zu lange für reale Evaluationen.

Wie auch in der Vergangenheit zahlten die Vorträge der Tagung allerdings auch dieses Jahr unterschiedlich klar auf das Oberthema ein. Natürlich ging es fast immer irgendwie um Wirkung, aber die spezifischen Herausforderung der Wirkungsanalyse wurden in den meisten Vorträgen nicht wirklich in den Mittelpunkt gerückt.

Hier nun einige Eindrücke von den Sessions, die ich selbst besucht habe:

Session A4 - Analyse komplexer Wirkungsketten von Gleichstellungsmaßnahmen im Innovationssystem

Die Session konzentrierte sich ausschließlich auf eine Zwischenbilanz des europäischen Projektes EFFORTI (“evaluation framework for promoting gender equality in Research and Innovation”). Ziel des Projektes ist es im Wesentlichen, eine Toolbox für Verantwortliche von genderorientierte Maßnahmen im Bereich FTI sowie für Evaluatorinnen und Evaluatoren in diesem Feld zu erarbeiten. Dabei stützt sich das Projekt auf das Konzept der Theorie-basierten Wirkungsanalyse, also die Modellierung von Wirkungsvermutungen und Einflussfaktoren und die Prüfung anhand geeigneter Indikatoren, inwieweit diese Wirkungsvermutung plausibel bzw. durch Daten bestätigt werden können.

Im zweiten Teil der Session wurden zwei Fallbeispiele präsentiert, die das Projektteam erarbeitet hat. Die eine Fallstudie richtete sich auf ein Programm zur Förderung von innovativen Unternehmensgründungen durch Frauen, die andere zielte auf FEMTech, ein Förderprogramm in Österreich, das Projekte fördert die Gender-Dimensionen in die Produkt- und Technologieentwicklung einbeziehen. Beide Fallstudien dienten vor allen Dingen als Trainingsmaterial, um Indikatoren und Zugänge für die Toolbox zusammenzutragen und auf ihre Nutzbarkeit zu prüfen. Einige der untersuchten Beispielen scheinen auch zuvor schon evaluiert worden zu sein, auch waren die Ressourcen für die Fallstudien selbst deutlich kleiner als die für “echte” Evaluation. Aufgrund der Präsentationen wurde nicht deutlich, ob in den Fallstudien tatsächlich neue Erhebungsinstrumente oder Indikatoren genutzt werden. Im Mittelpunkt stand der Zugang über das Wirkmodell. Dies ist für den Bereich FTI eine relativ verbreitete Praxis in Evaluationen. Grundsätzlich lässt sich fragen, ob der Ansatz der EU-Kommission, in solchen Projekten Toolboxen und Leitfäden zu erarbeiten, die dann hinterher in der Evaluationspraxis bzw Förderpraxis genutzt werden, tatsächlich Wirkung entfalten.

Session C1 - Wirkungsorientierte Instrumente im Kontext von Haushalten

In der Session wurden insgesamt drei Vorträge präsentiert. Zwei davon stellten deutsche bzw. österreichische Ansätze der wirkungsorientierten Haushaltssteuerung vor. Während der deutsche Vortrag, der sich auf sogenannte “Spending Reviews” konzentrierte (das BMF hat das Konzept auf seiner Internetseite sehr gut dokumentiert und sowohl Berichte der bisher schon durchgeführten spending reviews als auch Hintergrundartikel eingestellt), ein stark dialogorientiertes, sehr selektives Verfahren der Diskussion von Zielen, Zielerreichung und Konsequenzen für die Steuerung von Politikfeldern beschrieb, präsentierten die österreichischen Kollegen die Praxis der wirkungsorientierten Haushaltsführung und ihr Spannungsverhältnis zur langjährig gelebten Praxis der Evaluation von Einzelfördermaßnahmen.

In beiden Kontexten sind klassische Evaluationen eher eine von mehreren Quellen für die Bewertung von Zielerreichungen. Interessant ist die Betrachtung der Schnittstelle zwischen der Welt der Evaluation und und der Welt der politischen Bewertung von Politikfeldern, ihrer Ziele und der “Performanz”. Hier zeigten insbesondere die österreichischen Kollegen die manchmal doch größere Begriffsverwirrung, die zwischen Controlling, Monitoring und Evaluation, Wirkung und Zielerreichung aufscheint. Letztlich macht das österreichische Beispiel deutlich, wo die Grenzen eines stark auf KPI (key performance indicators) basierten Steuerungsansatzes liegen. Angesprochen wurde z.b. ein möglicherweise zu geringes Ambitionsniveau bei der Formulierung von Zielen. Ebenso thematisiert wurde, dass die Fokussierung auf wenige Indikatoren dazu führen kann, dass unterkomplexe Perspektiven gewählt werden, die wenig Raum für Lernerfahrung bieten. Der deutsche Vortrag zu den “Spending Reviews” veranschaulichte zwar sehr gut, wie der Prozess im Moment organisiert wird und wo auch die Vorteile eines stark diskursiven Ansatzes liegen. Allerdings konnte im Rahmen der Session nicht am konkreten Beispiel diskutiert werden, welche Indikatoren denn im Einzelfall für die Bewertung eines Politikfeldes herangezogen werden, wie mit unterschiedlichen Interpretationen und daraus resultierende konfligierenden Einschätzungen umgegangen wird und in welchem Verhältnis eine solche breitere Perspektive zu Einzelevaluation steht.

Der letzte der drei Vorträge kam aus dem Politikfeld Entwicklungszusammenarbeit. Die Vortragenden der GIZ stellten eine interne Studie vor, die die Nutzung von “experimental design” -Ansätzen untersuchte und dabei zu dem interessanten Schluss kam, dass auftraggeberseitig solche neuen Evaluationsansätze wenig nachgefragt werden, sondern dass die Initiative für diese Ansätze vielmehr bottom-up von einzelnen Verantwortlichen sowie Forschenden ausgeht.

D4: Wirkungszusammenhänge und Wirkungsmessungen in technologieaffinen Projekten und Maßnahmen

in dieser Session wurde zunächst eine kleine Studie für das BMWi aus dem letzten Jahr vorgestellt, in der es um die Analyse von Trends in der technologieoffenen Förderung ging. Der Fokus der Präsentation lag auf methodischen Fragen. In der Studie wurden zwei Ansätze gewählt, einerseits die Befragung von Gutachtern in den beiden untersuchten Programmen, andererseits eine auf "Text Mining"  angelegte quantitative Analyse von Projektbeschreibungen. Die beiden Programme, es handelt sich um das Zentrale Innovationsprogramm Mittelstand - ZIM sowie die industrielle Gemeinschaftsforschung - IGF, sind zusammengenommen die größten innovationspolitischen Fördermaßnahmen für den deutschen Mittelstand. Sie erreichen also in der Breite kleine und mittelständische Unternehmen und müssten geeignet sein, um Technologietrends in dieser Zielgruppe frühzeitig zu identifizieren. Tatsächlich war es über die Gutachterbefragung möglich, relativ differenziert Trends zu beschreiben, allerdings war die zeitliche Einordnung nicht einfach, außerdem bewegten sich die Trends auf sehr unterschiedlicher Ebene. Während einerseits übergreifende Paradigmen wie Industrie 4.0 benannt wurden, ging es andererseits um sehr konkrete Einzellösungen. Das "Text Mining" wiederum war in der Lage, die Gesamtmenge von 5.000 Projektbeschreibungen automatisiert in thematische Cluster zuordnen und lieferte darüber hinaus Hinweise auf die Entstehung neuer Trends. Es zeigte sich allerdings auch, dass hier methodisch  noch einiges zu entwickeln ist, bevor tatsächlich Trends und Trendverläufen gesichert beschrieben werden können.

Ein zweiter Vortrag bezog sich auf die Nutzung von sogenannten “technology readiness level” (TRL) -Skalen, um die standardisierte Einordnung von Projekten entlang des Forschungs- und Entwicklungszyklus vorzunehmen. Die Vortragenden beschrieben auf Grundlage mehrerer Evaluationsbeispiele die Herausforderungen, die sich dabei stellen. So ist es z.B. nicht immer eindeutig, ob in Verbundprojekten das TRL auf Teilvorhaben oder auf die Verbundebene selbst bezogen wird. Auch scheinen immer wieder Befragte Schwierigkeiten mit dem Verständnis von TRL allgemein zu haben. In manchen Branchen wie der Luftfahrtindustrie wird dieses System seit langem genutzt, in anderen Branchen ist es noch weitgehend unbekannt oder eignet sich auch nur sehr bedingt. Dies wäre z.b. für den Bereich Software anzunehmen. Auf der anderen Seite bietet ein standardisiertes Verfahren die Chance, über Programme hinweg Daten zu vergleichen und so zu einer querschnittliche Perspektive von Evaluationen beizutragen.

Ein dritter Vortrag aus Österreich stellte eine konkrete Evaluation in den Mittelpunkt, nämlich die Evaluation des Programms BRIDGE. Der Charme dieses Vortrags lag darin, dass aus Auftraggeber- wie Auftragnehmersicht die Entwicklung des Evaluationsdesigns und seine Umsetzung diskutiert wurde, und zwar in einem sehr lebendigen Dialog. So Bude rekonstruiert, wie die Erwartungen auf Auftraggeberseite, kausale Verbindungen von Ursache und Wirkung tatsächlich messbar zu machen, von Auftragnehmerseite zum Teil enttäuscht werden musste. Andere Absprachen betrafen die Machbarkeit konkreter methodischer Zugänge.

Insgesamt hat die DeGEval-Tagung wieder spannende Einblicke in die Evaluationspraxis des Politikfelds FTI ermöglicht. Die nächste Gelegenheit wird sich im November ergeben, wenn in Wien die Konferenz "Impact of Research and Innovation Policy at the Crossroads of Policy Design, Implementation and Evaluation".

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 4

Im Block C der Jahrestagung von besonderem Interesse war die Session zu "Chancen und Grenzen interner und externer Evaluierungen aus Sicht von Politik, Verwaltung und Forschung". Hier präsentierten Rupert Pichler und Mario Steyer (beide BMVIT) die Wechselwirkung von Evaluation und wirkungsorientierter Haushaltführung in Österreich. Diese wurde ab 2009 im Zuge des neuen österreichischen Bundeshaushaltsgesetzes eingeführt. Sie verlangt von allen Ressorts die Formulierung von Zielen und Indikatoren auf unterschiedlichen Ebenen für ihre jeweiligen Politikbereiche. Damit wird die Philosophie von Evaluation - die Überprüfung von politischem Handeln auf der Grundlage definierter Ziele und ihrer Zielerreichung - erstmals auf breiter Front in alle Politikbereiche getragen. Für den Bereich FTI ist dieser Ansatz nicht neu, das Politikfeld zeichnet sich insbesondere in Österreich durch eine etablierte Kultur der Evaluierung aus, allerdings bislang eher auf der Ebene von Einzelmaßnahmen und Programmen. Gleichzeitig besitzt das Politikfeld seit langem auch übergeordnete Zielindikatoren, z.B. in Hinblick auf die FuE-Intensität oder das Ranking im Europäischen Innovationsanzeiger (European Innovation Scoreboard).


Damit stellt sich die Frage, welche Konsequenzen die wirkungsorientierte Haushaltführung für die Evaluationspraxis in der Forschungs-, Technologie- und Innovationspolitik hat? Ist Evaluation überhaupt noch notwendig? Die Referenten bejahten dies mit Nachdruck. Letztlich bleibt die wirkungsorientierte Haushaltsführung auf einer sehr aggregierten Ebene, sie ist zudem mit einer Reihe von Herausforderungen konfrontiert. So sind Zielkonflikte auf unterschiedlichen Ebenen kaum zu bearbeiten, weil die Logik top down von widerspruchsfreien Zielhierarchien ausgeht. Auch werden z.B. nichtintendierte Effekte anders als bei klassischen Evaluationen nicht in den Fokus genommen. Schließlich scheint auch die Frage der Kausalität, also der Zurechenbarkeit politischer Interventionen zu gemessenen Effekten, auf der aggregierten Ebene kaum möglich. Evaluationen sind hier das deutlich  mächtigere Werkzeug, die Umsetzung der wirkungsorientierten Haushaltsführung wirkt ein wenig wie "citizen science für Beamte". Pichler und Steyer hatten bereits in der Frühjahrstagung des AK FTI in Wien einen Vortrag zum Thema gehalten, ihre Ausführungen lassen sich zudem in der aktuellen Ausgabe der Zeitschrift für Evaluation (2/2017) in einem ausführlichen und lesenswerten Artikel nachlesen.


Ein weiterer Beitrag der Session von Markus Schwab und Georg Spiel aus dem Bereich der Gesundheitspolitik stellte ein Praxisbeispiel einer parallelen internen Selbstevaluation und einer externen Evaluation vor. Das Setting dürfte in dieser Form eher selten vorkommen, es bietet aber die Gelegenheit, die Vor- und Nachteile beider Varianten gegenüberzustellen. Während die interne Selbstevaluation im gezeigten Fall durch breites Kontextwissen deutlich stärker in die Tiefe der Materie eintauchen konnte, bot die externe Evaluation durch ihre Außenperspektive einen Vergleich mit ähnlichen Organisationen und Prozessen. Den Vorwurf fehlenden Detailwissens zum Untersuchungsgegenstand dürften viele Evaluatorinnen und Evaluatoren übrigens aus ihrer Praxis kennen. Ebenso aus der Praxis bekannt ist die Problematik, wie viel Offenheit Gesprächspartner gegenüber externen Evaluatoren zeigen. Im geschilderten Fall waren die Mitarbeiterinnen und Mitarbeiter gegenüber den internen Evaluatoren offener, die externen Evaluatoren zeichneten sich hingegen durch weniger Betriebsblindheit und "übervorsichtigen" Fragen aus. Dies könnte je nach Organisation und Rolle interner Evaluatoren aber auch genau gegenteilig sein, Offenheit gegenüber unabhängigen Dritten ist ebenfalls eine gängige Erfahrung externer Evaluationen, die mitunter genau ihre Stärke ausmacht. Schließlich thematisierten die Referenten die Frage, inwiefern die Beauftragung externer Evaluationen die Ressourcen für ebenfalls notwendige interne Evaluations- und Monitoringprozesse schmälert. Diese Ressourcenfrage stellt sich aktuell im Feld FTI - zumindest in Deutschland - auch, wenn z.B. Projektträger z.B. als Ergebnis von externen Evaluationen neue Monitoringsaufgaben übernehmen sollen, diese aber nicht mit entsprechenden Ressourcen hinterlegt sind.

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 3

Ein weiterer Schwerpunkt der Tagung war die Nutzung von ex-ante Ansätzen in der Evaluation. Im Bereich der Technologie-  und Innovationspolitik kommen solche Ansätze hier in der Regel nur gemeinsam mit ex-post Evaluationen vor, um den Übergang von einem Programm in das Nachfolgeprogramm zu gestalten. Der erste Beitrag der Session B3 "ex-ante Evaluation: Wann gelingt der Blick in die Zukunft" von Stefan Silvestrini berichtete von einer ex ante Evaluation im Bereich der Entwicklungszusammenarbeit.

Aus seiner Sicht ist eine wesentliche Funktion solche ex-ante Evaluationen, potentielle Wirkungen zu einem frühen Zeitpunkt abzuschätzen, für die weitere Programmumsetzung ein Monitoringsystem zu entwickeln und die Steuerungsfähigkeit bei der Programmumsetzung insgesamt zu erhöhen. Um ein besseres Gefühl für die spätere Umsetzung zu bekommen, werden z.b. Wirkmodelle eingesetzt, Szenarios entwickelt oder eben Indikatoren definiert, um bestimmte, antizipierte Entwicklungspfade nachzuverfolgen. Letztlich dienen ex ante Evaluationen auch dazu, spätere begleitende oder ex post Evaluationen vorzubereiten. Silvestrini machte auch deutlich, dass ex-ante Evaluationen nur sehr selten nachgefragt werden, weil der Aufwand doch nicht unerheblich und der Mehrwert für potentielle Auftraggeber scheinbar oft nicht ersichtlich ist. Auch bekommen Evaluatoren kaum eine Rückmeldung darüber, inwieweit die Ergebnisse einer ex ante Evaluation in der Praxis tatsächlich für die Steuerung nutzbar waren bzw. inwiefern die Szenarien auch tatsächlich eingetreten sind. Aber dies ist eine Erfahrung, die für Evaluationen generell gilt.

In der Diskussion wurden eine Reihe alternativer Ansätze angesprochen, die statt ext ante Evaluation zum Einsatz kommen. So gehen viele Programmverantwortliche davon aus dass ihr Erfahrungswissen eine implizite Abschätzung potentielle Wirkungen bereits ausreichend zulässt, zudem nutzen Pogrammverantwortliche für das Design von neuen Fördermaßnahmen in der Regel Standardverfahren und sind an neuen Konzepte nur mäßig interessiert. Schließlich ersetzen gezielte Studien zu Ausgangssituationen und Szenarien echte ex ante Evaluationen. Angesprochen wurde in der Diskussion auch risk assessment als eine mögliche Philosophie aus dem Bereich der Technikfolgenabschätzung, um Funktionen einer ex-ante Evaluation zu übernehmen.

Nicht diskutiert, aber häufige Praxis im Bereich der Forschungs- Technologie- und Innovationspolitik sind Pilotphasen, die gewissermaßen experimentell neue Ansätze erproben und mit Evaluationen dieser Phase auch systematisch auswerten. Aufbauend auf den Ergebnissen solche Pilotphasen werden dann größer skalierte Maßnahmen konzipiert. Eine interessante Alternative wurde im vergangenen Jahr auf der European Evaluation Society Konferenz berichtet, nämlich das Vorgehen in Großbritannien, kleinere Evaluations-Machbarkeitsstudien auszuschreiben, um die spätere Evaluierbarkeit neuer Maßnahmen frühzeitig zu überprüfen und entsprechende Indikatoren zu definieren.

Fazit dieser Session, in der darüber hinaus von Lennart Bentfeldt-Huthmann über die Erfahrungen einer internen Evaluation der verschiedenen Maßnahmen der GIZ zu Flucht- und Migrationsvorhaben berichtet wurde: ex-ante Evaluationen sind ein möglicher von vielen Ansätzen, um die Planung neuer Fördermaßnahmen systematisch vorzubereiten, Indikatoren zu entwickeln und Wirkmodelle zu erstellen. Ex-ante Evaluationen werden heutzutage nur wenig genutzt, im Moment ist nicht absehbar, dass sich dies entscheidend ändern wird.

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 2

Die Zukunft der Evaluation, das ist möglicherweise auch die Nutzung ganz neue Datenquellen und eine andere Form der Dateninterpretation. Entsprechend drehten sich einige Sessions der Jahrestagung 2017 auch um das Thema neue Datenquellen und Big Data.

In der Session A2 "Big Data: große Datenmengen - großes Potenzial für die Evaluation" erläuterte Christoph Müller zunächst die Nutzung lernende Algorithmen im Evaluationskontext und ging insbesondere auf die Technik der sogenannten "boosted regression trees" ein. Im Kern erlaubt dieser Ansatz, mittlere bis große Datenmengen neu zu analysieren und Nachteile klassischer Regressionsanalysen zu überwinden. Es ging allerdings nicht um sehr große Datensätze, das Beispiel von Christoph Müller umfasste etwa 120 Beobachtungen.

Der zweite Beitrag der Session von Judith Hoffmann fokussierte auf die Potenziale von Big Data Mining für zukunftsbezogene Fragestellungen, also ganz konkret für sogenannte Foresight-Prozesse. Diese Potenziale wurden allerdings weniger anhand von konkreten Evaluationsbeispielen erläutert, es handelte sich vielmehr um eine Studie, die über Experteninterviews solche Potenziale identifizieren soll. Selbige Experten äußerten sich wohl eher skeptisch, inwieweit heute schon Big Data Analyse für Foresight-Prozesse genutzt werden kann.

Der letzte Beitrag von Wolfgang Meyer zu "Kollateralschäden beim Schrotflintenschießen oder Big Brother - Big Data - Big Trouble" war eine erfrischende Polemik, die die Teilnehmer dieser Nachmittags-Session wieder aus ihrem Nachmittagsschlaf zurück in die Wirklichkeit holte. Insgesamt blieb dieser Beitrag allerdings doch zumeist auf der Ebene allgemeiner, normativer Fragen zur Vorliebe von Technologiekonzerne, ihre Nutzer ungefragt große Datensätze erzeugen zu lassen, die dann für kommerzielle Zwecke oder potentiell auch für eine unlauterer Überwachung dieser Nutzer eingesetzt werden (können).

Mit der Realität der Nutzung neuer Datenquellen im Bereich der Evaluation hat dies aus meiner Sicht jedoch wenig zu tun. Vielmehr zeigen sich hier die bekannten, prinzipiellen Ängste vor einer Nutzung von Daten, die in Deutschland häufig Zugänge zu Datensätzen verbauen, die anderenorts schon Wirklichkeit sind. Können in den nordischen Ländern Unternehmensregisterdaten regelmässig für die Bildung von Vergleichsgruppen genutzt werden, um die Evaluation von Technologieförderprogrammen zu verbessern, so ist dies in Deutschland häufig nur sehr eingeschränkt möglich.

Die Session war in diesem Sinne ein recht gutes Abbild der aktuellen Situation bei der Nutzung von Big Data Ansätze für die Evaluation. Im Detail stehen interessante neue Algorithmen zur Verfügung, in der Praxis werden aber eher bekannte Datensätze genutzt, neue Datenquellen oder wirklich große Datenmengen spielen eigentlich kaum eine Rolle. Dazu kommen weiterhin große Ängste vor einem Missbrauch solcher Techniken.

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 1

Gerader hat die DeGEval in Mainz ihr 20-jähriges Jubiläum gefeiert. Die diesjährige Jahrestagung stand unter dem Motto "Zukunft". Und ja, alle Sessions, die ich besucht habe, standen tatsächlich mehr oder weniger unter diesem Motto und beschäftigten sich mit aktuellen Trends und zukünftigen Entwicklung in der Evaluation. Nachfolgend eine kleine, ganz persönliche Nachlese, zunächst zum Treffen des Arbeitskreises.

Wie jedes Jahr treffen sich am Morgen des ersten Tages die Arbeitskreise, und wie jedes Jahr ist das für alle, die erst anreisen müssen, ein sehr früher Termin. Entsprechend klein ist in der Regel der Kreis derer, die hier zusammenkommen. Mit einem harten Kern von 10 Personen haben wir im AK FTI diskutiert. Zunächst wurden die drei Sprecher, Iris Fischl, Marianne Kulicke und ich selbst, für die nächsten zwei Jahre in ihrem Amt bestätigt. Anschließend gaben wir einen kleinen Rückblick zur Frühjahrstagung 2017, wir haben ja auch in diesem Blog schon ein wenig darüber berichtet. Im Mittelpunkt unserer Diskussion aber stand die Diskussion über die Frühjahrstagung 2018 und eine mögliche AK-Session auf der nächsten Jahrestagung.

Ein Erfolgsfaktor der vergangenen Frühjahrstagungen, und auch für die nächste Frühjahrstagung angestrebt, ist eine möglichst aktive Beteiligung der Auftraggeber von Evaluation. Was sind aktuelle interne Entwicklungen bei den Auftraggebern, wo sind neue Erwartungen an Evaluatoren? Interessant wäre auch ein Update dazu, wie Projektträger sich auf eine aktivere Rolle bei der Umsetzung von Evaluationen und Programmmonitoring vorbereiten. 

Ein möglicher inhaltlicher Schwerpunkt betrifft die Umsetzung von Evaluation und die Nutzung von Handlungsempfehlungen. Handlungsempfehlungen sind ein kritischer Bereich von Evaluationen, da sie relativ zielgenau auch die Umsetzbarkeit und die Rahmenbedingungen berücksichtigen müssen. Nicht selten sind sie eher der Schwachpunkte einer sonst qualitativ hochwertigen Evaluation. Es gibt deshalb sogar manchmal Auftraggeber, die am liebsten gar keine Handlungsempfehlungen wünschen, sondern nur eine Bewertung das Programmerfolgs und der Wirkmechanismen. Anderen wiederum sind die üblichen Handlungsempfehlungen noch zu wenig konkret, sie würden sich sehr detaillierte Roadmaps für eine Umsetzung der Handlungsempfehlungen wünschen. Dieses Spannungsverhältnis könnte Thema einer interessanten Diskussion auf dem nächsten Frühjahrstreffen werden. Sonst ist ein üblicher Schwerpunkt auf jeden Fall die Präsentation aktueller Evaluation aus Deutschland und Österreich.

Das nächste Frühjahrstreffen wird voraussichtlich in Berlin stattfinden, Marianne Kulicke übernimmt die Vorbereitung. Wenn Sie Anregungen oder Wünsche haben, so wenden Sie sich am besten direkt an Frau Kulicke.

In diesem Jahr hat der Arbeitskreis keine eigene Session auf der Jahrestagung organisiert, für das nächste Jahr finden wir wieder eine Session des Arbeitskreises wünschenswert. Im Idealfall mit einem Thema, das ein bisschen über den Tellerrand unseres Themenfeldes hinausreicht, vielleicht sogar in Kooperation mit einem anderen Arbeitskreis. Bislang gibt es aber keine konkreten Planungen dafür.

Der letzte Diskussionspunkt betraf unsere erneute geplante Übersicht über gerade abgeschlossene oder neu begonnene Evaluationen Deutschland und Österreich. Im vergangenen Jahr hatten wir einen sprechend Übersicht mit Hilfe der Interessierten unserer Mailingliste zusammengestellt, diese Übung wollen wir auch dieses Jahr wiederholen, wir freuen uns über jeden Beitrag von Ihnen. Einen ersten Entwurf werden wir gegen Ende des Jahres über die Mailingliste versenden, den können Sie dann um weitere Evaluationen ergänzen. Unsere österreichischen Kollegen haben in diesem Zusammenhang darauf hingewiesen, dass die Sammlung von Evaluationen in Österreich gerade überarbeitet und in ein echtes Repositorium mit verschiedenen Suchkriterien verwandelt wurde.

Frühjahrstreffen 2017 des Arbeitskreises Forschungs-, Technologie- und Innovationspolitik in der DeGEval. Erste Eindrücke aus deutscher Perspektive

Gestern, am 19.Mai 2017, fand das diesjährige Frühjahrstreffen des AK FTI der DeGEval statt. Wir haben uns dieses Jahr in Wien getroffen, entsprechend war auch das Programm deutlich österreichisch geprägt, genauso wie die Teilnehmer. Aber es waren auch ein paar deutsche Teilnehmer dabei, und für die waren die Präsentationen möglicherweise sogar noch interessanter als für ihre österreichischen Kollegen, die einiges doch schon gekannt haben dürften. Gerade im Kontrast zur deutschen Evaluationswirklichkeit hatten viele Beiträge ihren besonderen Reiz.

So berichtete Brigitte Ecker (WPZ Research) von der gerade abgeschlossenen Evaluation der österreichischen steuerlichen F&E Förderung. In Deutschland wird das Thema gerade mal wieder heiß diskutiert, und mein Tipp ist schon, dass wir nach der Bundestagswahl eine solche steuerliche Förderung sehen werden. Brigitte Ecker legte den Schwerpunkt ihres Vortrags allerdings weniger auf die inhaltlichen Ergebnisse, sondern vielmehr auf die methodischen Herausforderungen. Und die waren beträchtlich, da die eigentlich interessanten Datensätze kaum miteinander verknüpft werden konnten. Unterm Strich kommt die Evaluation aber durchaus zu dem Ergebnis, dass sich eine steuerliche FuE-Förderung auf das Innovationsverhalten der Unternehmen auswirkt, in diesem Sinne interpretierten die österreichischen Auftraggeber wohl auch die Evaluationsergebnisse als Auftrag, die Förderung weiter auszubauen. Aber aufgepasst, in der deutschen Diskussion wird ja insbesondere ein Effekt für kleine und nur unregelmäßig innovierende KMU erwartet. Und hier scheinen die österreichischen Ergebnisse eine solche Erwartungen nicht unbedingt zu bestätigen. Es lohnt also die Lektüre des Evaluationsberichts.

Sascha Ruhland (KMU Forschung Austria) präsentierte eine Evaluation der Garantieinstrumente der AWS. Der Schwerpunkt lag auf der methodischen Herausforderung eines Kontrollgruppenansatzes, der sich auf einen ​sogenannten propensity score match Ansatz stützte. Der Beitrag zeigte, wie aufwendig und damit kostspielig so ein Vorgehen letztlich ist. Möglich war es in diesem Fall auch nur, weil die Evaluationseinrichtung (KMU Forschung Austria) Zugang auf einen langjährigen und breiten Datensatz hatte, der für die Auswahl der Kontrollgruppe herangezogen werden konnte. Deutlich ergiebiger war nach Einschätzung des Referenten allerdings der Zugang über Befragung und Interviews, weil nur hier die Wirkungszusammenhänge aufgearbeitet werden konnten. Für die in deutschen Evaluationsausschreibungen mittlerweile fast standardmäßig enthaltene Forderung nach Kontrollgruppen ansetzen ist dies eine interessante Praxiserfahrung gewesen.

Einen in Deutschland eher unbekannten Sachverhalt schilderte der Beitrag von Rupert Pichler und Mario Steyer (BMVIT) zur wirkungsorientierten Haushaltsführung. Über alle Ressorts hinweg muss in Österreich seit ein paar Jahren ein auf verschiedenen Hierarchieebenen gegliedertes System an Zielformulierungen und Indikatoren zur Überprüfung der Zielerreichung formuliert werden. Die Formulierung von Oberzielen der Innovationspolitik ist für das Politikfeld nicht wirklich neu, man denke nur an das 3% Ziel in Deutschland. Möglicherweise ist das in anderen Ressorts anders, daher ist auch die wirkungsorientierte Haushaltsführung vielleicht eine gute Idee, um für konkrete Zielformulierungen zu sensibilisieren. Für die Frühjahrstagung interessierte uns insbesondere, ob dieses übergreifend installierte System Rückwirkungen auf die Evaluationspraxis im Politikfeld hat. Um es kurz zu machen: Hat sie im Moment noch nicht. Während Monitoringdaten, die z.b. die FFG in ihrem Wirkungsmonitoring erheben lässt, auch in das Indikatorensystem der wirkungsorientierten Haushaltsführung einfließen (können), sind Evaluationsergebnisse von klassischen Maßnahmenevaluation in vollkommen losgelöst von diesem System. Hier läuft alles wie bisher.

Ein Vortrags-Block des Frühjahrstreffen widmete sich sogenannten missionsorientierten Programmen und ihrer Evaluation. Die übergreifende Frage war, ob es Unterschiede zu klassischen Programmen z.b. der Technologieförderung gibt. Ein wesentliches Problem solcher missionsorientierten Programme ist, das zeigte sehr schön der Beitrag von Marianne Kulicke (FhG ISI), dass Ziele relativ vage formuliert und kaum in Indikatoren zu operationalisieren sind. Die Ziele haben außerdem einen sehr langfristigen Charakter, sodass sie in Hinblick auf die Zielerreichung kaum evaluierbar sind. Und was auch fehlt, ist häufig ein Wirkmodell, wie klassische F&E Förderung eigentlich zur Erreichung solcher übergeordneten, gesellschaftlichen Ziele beitragen soll.

Friedemann Call vom Projektträger DLR präsentierte eine Evaluation aus Baden-Württemberg zu Maßnahmen im Bereich der Klimaanpassung. Interessant war z.b., dass hier eine ganze Reihe von Maßnahmen schon seit längerer Zeit gefördert werden, während eine übergreifende Strategie auf Landesebene erst nachträglich beschlossen wurde. Entsprechend schwierig war es, hier wieder den Bezug zwischen übergreifender politischer Zielsetzung im Bereich gesellschaftliche Herausforderungen und konkreter Projektförderung zu operationalisieren.

Der letzte Beitrag von Norbert Knoll (AWS) beschäftigte sich mit den Folgen der Digitalisierung auf das Fördergeschäft. Im Moment geht es hier vor allen Dingen um eine Prozessoptimierung und Effizienzsteigerung. Inwiefern hier mittelfristig auch neue Monitoringdaten erzeugt werden, die langfristig bestimmte Evaluationsinhalte versetzen, konnten wir in der Diskussion nur anreißen.

In der abschließenden Diskussion brachten die deutschen Teilnehmer zunächst einmal den Eindruck ein, dass vieles in Österreich doch anders läuft, vermutlich auch bedingt durch die etwas zentralen Strukturen, die sich aus den beiden Agenturen FFG und AWS ergeben. Andererseits ist dann die Evaluationspraxis, sind die Evaluationsberichte in Österreich gar nicht so viel anders als die in Deutschland.

Konferenzbericht openevaluation2016 in Wien

Über 250 Teilnehmerinnen und Teilnehmer aus 34 Ländern, alle Kontinente sind vertreten: Eine beeindruckend große und internationale Gruppe an Interessierten an FTI-Evaluation. Die Organisatoren der Konferenz haben ausgezeichnete Arbeit bei der Auswahl, insbesondere aber der Zusammenstellung der Sessions geleistet: Immer war eine klare Verbindungslinie zwischen den verschiedenen Vorträgen erkennbar und außerdem blieb genug Zeit für Diskussionen (dies allerdings zu Lasten der Pausenkommunikation). Welche Highlights bleiben auch nach 14 Tagen noch Erinnerung? 
 

In zwei Key Notes ging es um die Messung von Impact und wie eine Annäherung versucht werden kann, der Multikausalität, Verästelung, Latenz, Interdependenz, dem Zufall oder gar dem Glück von Forschung und Innovation auf dem Weg zu sozio-ökonomischer Veränderung gerecht zu werden. Im Research Excellence Framework (REF) in Großbritannien wurden knapp 7.000 Fallstudien gesammelt und ausgewertet, wo und wie die Ergebnisse von Forschungsgruppen Impact gezeigt haben. Allein wegen der Grafiken (z.B. Seite 31 oder 39) ist es lohnend, einen Blick in einen der Berichte zu werfen. In Frankreich wird für das Nationale Agrarökonomische Forschungsinstitut (INRA) der Weg beschritten, die Fallstudien, die Impact beschreiben, explizit losgelöst von einzelnen Projekten zu betrachten und auf Zeitachsen ihre Entstehungsverläufe nachzuzeichnen. Beiden Ansätzen ist gemeinsam, dass sie zeigen, dass Impact in der Regel nicht auf einzelne Projekte oder einzelne Personen zurückgeführt werden kann, sondern es zum Beispiel eher Gruppen von Forschenden sind, die Veränderungen anstoßen und weiterverfolgen. 

Von den Einzelpräsentationen bleibt mir der exzellente Vortrag eines Doktoranden in Erinnerung, der statistisch virtuos untersucht, welche Zusammenhänge zwischen Öko-Innovationen und externer Regulierung bestehen. Ebenfalls sehr interessant in seiner übersichtlichen Darstellung  – und  damit als Raster für Evaluationen verwendbar – waren die Ergebnisse zu einer Analyse unterschiedlicher Auswahlverfahren, die bei verschiedenen europäischen Projektträgern verwendet werden. Alle haben ihre spezifischen Vor- und Nachteile und müssen passend zum Programm und zur Forschungscommunity gewählt werden. Hier bleibt zu hoffen, dass in einem weiteren Projekt untersucht wird, wie sich die unterschiedlichen Auswahlprozesse auf die Zielerreichung und Wirksamkeit der Förderung auswirken. Sehr bereichernd empfand ich ebenfalls den Beitrag eines Kollegen der Chinese Academy of Sciences, der den Evaluationsansatz für diese Forschungseinrichtungen vorstellte und auf das Dilemma hinwies zwischen der Spezialisierung der Forschungsinstitute (um Doppelungen zu sparen und damit Ressourcen effizient einzusetzen) bei gleichzeitiger Konvergenz von Technologien, die eher ein interdisziplinäres und damit Institute übergreifendes Herangehen erfordern würden. Nicht zuletzt stellte TEKES vor, wie sich Vorstellungen von Wirkungsmodellen von recht einfachen, eher linearen Input-Output-Outcome-Impact-Beziehungen weiter entwickelt haben zu Modellen, die die Komplexität einfangen wollen ohne die logische Struktur aufzugeben. Diese Herangehensweise führt in Finnland dazu, dass Impact und seine Evaluierung bereits zu Beginn von Forschungsprojekten mit bedacht werden.

Am zweiten Konferenztag wurde mit der SIPER EvaluationInteractive STI Evaluation Database eine Webseite offiziell live geschaltet, auf der Evaluationsberichte systematisiert und öffentlich zugänglich gemacht werden. Damit ist endlich ein weiterer Schritt zu mehr Transparenz zu Vorgehen und Ergebnissen von FTI-Evaluationen geleistet. Noch sehr wenige deutschsprachige Einträge waren zu verzeichnen - hier ist es auch an der DeGEval, zu einer stärkeren Präsenz beizutragen. 

Am Ende der Konferenz waren durchaus einige kritische Stimmen zu hören. Die Ergebnisse seien nicht konkret genug gewesen, insbesondere Politikerinnen und Politiker bzw. Akteure in politischen Prozessen hätten nicht genug aus der Konferenz mitnehmen können. Zwei Jahre Abstand für internationale Konferenzen in diesem speziellen Feld seien zu kurz – es wären keine neuen Trends erkennbar oder gar anzustoßen gewesen. Der Wunsch nach Öffnung und Verbindung mit anderen Akteuren, die ebenfalls evaluieren und Politik beraten, aber noch nicht mit der Evaluationscommunity verbunden sind (Ökonomen, Auditoren, etc.) wurde geäußert. Dass viele Teilnehmerinnen und Teilnehmer zum ersten Mal in Wien dabei waren, zeigt aus meiner Sicht, dass das Interesse an FTI-Evaluation hoch ist – qualitativ hochwertige Möglichkeiten des Austausches sind daher weiterhin von hoher Bedeutung.