Evaluationen in der Forschungs-, Technologie- und Innovationspolitik
Ein Blog des Arbeitskreises Forschungs-, Technologie- und Innovationspolitik der DeGEval
Freitag, 29. November 2019
Call for Proposal für die Jahrestagung 2020 der DeGEval
Sonntag, 3. November 2019
Politik für Evaluation
Ich glaube, innerhalb der Ministerien sind wir in Richtung Strukturbildung und Kompetenzaufbau auf einem guten Weg. Was uns in Deutschland jetzt noch fehlt, ist eine weitere Vertiefung des Austausches zwischen den verschiedenen Akteuren, zwischen Ministerien und Evaluationseinrichtungen. Mit unserem Arbeitskreis in der DeGEval haben wir zwar bereits eine funktionierende Plattform. Unsere Frühjahrstreffen belegen, dass alle Akteure ein hohes Interesse am Austausch haben. Der Blick nach Österreich zeigt meiner Ansicht nach aber doch, das hier noch deutlich mehr geht. Mit der FTEval hat Österreich tatsächlich eine Struktur aufgebaut, die der informellen Verletzungen Deutschland überlegen ist. Ein Repositorium, in dem alle Evaluationsberichte gespeichert werden, das fordert z.b. die Expertenkommission Forschung und Innovation seit Jahren, das ist in Deutschland bislang aber nicht durchsetzbar.
Noch nicht ganz verstanden habe ich eine weitere Empfehlung des Wissenschaftlichen Beirats, nämlich die Einrichtung von Datenzentren. Natürlich ist es richtig und wichtig, Daten für die Forschung bereitzustellen. Die meisten Evaluationen im Politikfeld, die ich kenne, nutzen allerdings Sekundärdaten bzw. Umfragedaten, die sie selbst erheben. Und hier ist zum einen der Datenschutz eine erhebliche Herausforderung, bevor diese Daten für dritte bereitgestellt werden können, zum anderen sind die Befragungsdaten sehr spezifisch, kaum vergleichend nutzbar und damit auch für die weitere Forschung nur sehr eingeschränkt zu verwenden. Statt Datenzentren würde ich mir in Deutschland eher eine systematische Nachbefragung von ehemaligen Fördernehmern wünschen, wie sie ebenfalls seit vielen Jahren von der österreichischen FFG in Auftrag gegeben wird.
Eine Empfehlung des Wissenschaftlichen Beirats hat mir übrigens besonders gut gefallen: er fordert, dass für Evaluationen mehr Geld zur Verfügung gestellt werden.
Samstag, 14. September 2019
Rückblick auf die DeGEval-Jahrestagung 2019
Vom 12. bis 13. September fand die diesjährige Jahrestagung der DegGEval in Bonn statt. Thema der Tagung war "Nachhaltigkeit und Evaluation". In Zeiten intensiver öffentlicher Diskussion um den Klimawandel sicher ein aktuell gut gewähltes Thema. Für die Evaluationscommunity jedoch durchaus eine Herausforderung. So schilderten es zumindest die Organisatoren der Tagung: die Zahl der Einreichungen für Vorträge war doch deutlich geringer als in den vergangenen Jahren. Dies gilt auch für das Themenfeld Forschungs-, Technologie- und Innovationspolitik. Auch hier gab es nicht gerade viele Beiträge auf der diesjährigen Tagung.
Durch die Tagung zog sich ein doppelter Definitionsversuch von Nachhaltigkeit. Zum einen wurde Nachhaltigkeit verstanden als Dauerhaftigkeit der Wirkungen von Interventionen. Zum anderen wurde Nachhaltigkeit systemisch gefasst, als Wirkung in mindestens drei Dimensionen, nämlich einer ökonomischen, einer ökologischen und einer sozialen Dimension.
Mit diesem Verständnis sollte man meinen, dass Nachhaltigkeit auch im Politikfeld FTI eine nicht unerhebliche Rolle spielt und im Beobachtungsfokus von Evaluationen liegen sollte. Gerade die Dauerhaftigkeit von Veränderungen, die durch Maßnahmen der Innovationspolitik induziert werden, liegt ja durchaus im Interesse der politisch Handelnden. Die Innovationsfähigkeit auch mittelfristig zu steigern, neue Technologien dauerhaft in Märkte einzuführen und damit ganze Branchen zu verändern, all dies sind sicherlich auch Intentionen der Innovationspolitik.
Und tatsächlich prüfen Evaluationen in unserem Politikfeld zumindest die Voraussetzungen einer Aufdauerstellung der erreichten Veränderungen. Das typische Dilemma unsere Evaluationen, ein sehr früher Zeitpunkt der Analyse, der eine echte Messung von Veränderungen eigentlich nicht zulässt, führt jedoch dazu, dass wir faktisch nur sehr wenig darüber wissen, wie dauerhaft die beobachteten oder prognostizierten Veränderungen wirklich sind. Es gibt interessante Evaluationsergebnisse aus Großbritannien, die zeigen, dass z.B. die Veränderung des Innovationsverhaltens von KMU, die Innovationsgutscheine in Anspruch nehmen, von sehr begrenzter Dauer sein kann und zum Teil innerhalb von wenigen Jahren nicht mehr messbar ist. Spannend wäre sicher eine Untersuchung, wie lange die Halbwertszeit der Wirkung von FTI-Maßnahmen in Deutschland ist.
Die zweite Definition von Nachhaltigkeit, also die Wirkung in mindestens drei Dimensionen, einer ökonomischen, einer ökologischen und einer sozialen, wird in Evaluationen unseres Politikfeldes in der Regel eher weniger adressiert. Mit der klassischen Argumentationslogik für Innovationspolitik, nämlich der Hoffnung, dass sie ein wesentlicher Treiber für Wachstum und Wohlstand ist, ist die Dimension der ökonomischen Wirkung sehr präsent in Evaluationen. Entsprechend werden Umsatzveränderungen, Neueinstellungen und Stärkung der Wettbewerbsfähigkeit wo möglich immer gerne untersucht.
Zumindest für Technologiefelder, die explizit auch auf die Bereiche Energie und Mobilität zielen, sind ökologische Wirkungen ein weiter Zielbereich. Fördermaßnahmen der Elektromobilität, der erneuerbaren Energien oder der Materialeffizienz adressieren immer auch ökologische Wirkungen. Allerdings gilt auch hier, dass die Wirkungsvermutungen in der Regel durch Plausibilitätsannahmen ex-ante überprüft werden, das z.B. eine Wirkungsmodellierung Hinweise darauf gibt, ob entsprechende Wirkungen in der Zukunft wahrscheinlich sind. Echte Messungen der Wirkungen in dieser ökologischen Dimension finden in der Regel nicht statt. Es wird heute z. B. nicht gemessen, ob die CO2-Belastung tatsächlich durch Förderung von Technologieentwicklung im Bereich der Elektromobilität zurückgegangen ist. auch das hat natürlich damit zu tun, dass die erwarteten Wirkungen zu einem deutlich späteren Zeitpunkt stattfinden und von vielen weiteren Faktoren beeinflusst werden, dass also der Zeitpunkt der Messung und die Kausalität kaum lösbare Probleme darstellen.
Die soziale Dimension schließlich ist deutlich unterbelichtet in unseren Evaluationen. Möglicherweise spielt noch eine Rolle, ob spätere Nutzer eines neuen Produktes oder einer neuen Dienstleistung auch entsprechende Komfort-Vorteile genießen, oder ob die regionalen wirtschaftlichen Auswirkungen der Intervention zu einer Steigerung von Wohlstand, Lebensqualität und Attraktivität der Regionen führen. Viele soziale Dimensionen sind aber weiterhin eher nicht im Fokus. Die Auswirkungen auf Genderaspekte werden in deutschen FTI-Evaluationen in der Regel nicht in den Blick genommen. Gleiches gilt für die Auswirkungen auf soziale Ungleichheit oder Partizipationsmöglichkeiten.
Mit der Veränderung der Innovationspolitik selbst könnte sich dies aber in naher Zukunft ändern. Mit der Missionsorientierung rücken ganzheitliche Ansätze stärker in den Mittelpunkt der Innovationspolitik, partizipative Ansätze werden vermehrt realisiert. Missionsorientierung bedeutet auch, das komplexere Interventionen geplant werden, dass der Blick sich auf das Zusammenwirken unterschiedliche Maßnahmen richtet. In diesem Sinne könnte der systemische Gedanke des Nachhaltigkeitskonzepts auch stärker in der Konzeption von innovationspolitischen Maßnahmen ebenso wie in der Evaluation derselben seinen Niederschlag finden.
Innovationspolitik erhält durch diese Umorientierung einen stärker transformativen Charakter, und hier ist es kaum denkbar dass eine der drei Dimensionen Wirtschaft, Ökologie und Gesellschaft nicht berücksichtigt wird. Allerdings braucht es dann auch andere Evaluationsansätze: Querschnittliche Evaluationen, die sich auf viele unterschiedlichen Maßnahmen richten; Längsschnittanalysen, die deutlich längere Zeithorizonte umfassen. qualitative Tiefenuntersuchungen, die auch soziale Dimensionen stärker in den Blick nehmen.
ich bin mit einem gehörigen Maß an Skepsis auf die diesjährige Tagung gefahren. Das Konzept der Nachhaltigkeit hatte in meiner bisherigen Evaluationspraxis keine Rolle gespielt. Ich bin durchaus angeregt aus Bonn zurückgekehrt. Ich glaube nicht, dass die Dimension der Nachhaltigkeit in naher Zukunft zu einer bestimmenden im Politikfeld FTI werden wird. Aber ich glaube doch, dass einige Anregungen nützlich und sinnvoll wären. Und ich glaube auch, dass sich das Politikfeld insgesamt verändern wird. Nicht nur im Hinblick auf Evaluation.
Freitag, 8. Februar 2019
DeGEval - Call for Proposals zur 22. Jahrestagung 2019 endet am 10. März 2019
|