Freitag, 29. November 2019

Call for Proposal für die Jahrestagung 2020 der DeGEval

Diese Woche hat die DeGEval ihren Call for Proposal für die Jahrestagung 2020 vorgestellt. Das Leitthema lautet:

Kommunikation: Verständigung und Sprache in der Evaluation

Es geht um Kommunikation in verschiedenen Phasen der Evaluation: Im Evaluationsprozess, bei der Kommunikation von Evaluationsergebnisse, bei der Kommunikation über Evaluation und nicht zuletzt geht es um die Fachsprache der Evaluation. Spannende Themen - zu mindestens zwei Aspekten fällt mir schon ganz spontan einiges ein, dass ich zu diskutieren lohnen würde.

Da wäre einerseits die Kommunikation von Evaluationsergebnissen. Im Politikfeld Forschungs-, Technologie- und Innovationspolitik haben sich ja gewisse Traditionen der Kommunikation etabliert. Evaluationen werden als Endberichte kommuniziert und publiziert. In der Regel sind solche endberichte recht lang und an ein Fachpublikum ausgerichtet, in einer Sprache, die nicht einmal als allgemeinverständlich bezeichnet werden kann. Sie werden meist noch ergänzt durch eine Kurzfassung für den etwas eiligeren Leser. In Ausnahmefällen wird der offizielle Endbericht gar nicht publiziert, sondern nur eine Fassung, die zwar einige Ergebnisse enthält, insgesamt aber eher als Werbebroschüre für die untersuchte Maßnahme gelten kann. was ich für evaluation and in unserem Politikfeld praktisch gar nicht kenne, ist die Aufbereitung von Daten in einer ansprechenden Online-Version oder einem Bericht, wie sie Datenjournalismus mittlerweile standardmäßig für die spannende und kurzweilige Aufbereitung von Daten kennt. das liegt natürlich auch daran, dass die Kommunikation von Evaluation im Politikfeld sich nicht einen wirklich breites Publikum richtet und für Kommunikation selbst darum nur wenige Ressourcen eingeplant werden. Vielleicht wäre das angesichts der potentiellen Größe der Leserschaft auch tatsächlich Perlen vor die Säue.

Ein weiterer Kommunikationskanal von Evaluationsergebnissen ist der mündliche. Insbesondere das BMWi hat immer häufiger auch Präsentationen vor Fachpublikum vorgesehen, um Evaluationsergebnisse zunächst innerhalb der Peers zu diskutieren und dann für den finalen Endbericht noch einmal zu überarbeiten. 

Ein weiterer interessanter Aspekt ist andererseits die Kommunikation über Evaluation. Wie wiederholt festgestellt, z.B. auf den Jahrestagungen der DeGEval, ist die journalistische Kommunikation über Evaluation sehr marginal. kommuniziert wird in Fachzeitschriften wie der Zeitschrift für Evaluation oder innerhalb unserer fachgesellschaft, z.B. auf den Frühjahrstreffen. 

Ein anderer Kanal ist z.B. dieser Blog hier selbst, der im April 2016 begonnen wurde und mit insgesamt 3.300 Zugriffen seitdem zumindest einen gewissen Teil der Evaluationscommunity zu erreichen scheint. Angesichts der relativ kleinen Kerncommunity schon mal ein Erfolg.

Innerhalb der Resort, die Evaluationen  ausschreiben, gibt es mittlerweile ebenfalls neue Kommunikationskanäle, z.b. interne Austauschforen zu Evaluationserfahrungen und-praktiken. interessant wäre es zu untersuchen, wie sich der Diskurs über Evaluation bei den Auftraggebenden in den letzten zehn Jahren verändert hat, inwieweit z.B. möglicherweise der Fokus von der Kontrolle hin zur Lernfunktion gewechselt hat. Das wäre zumindest meine Vermutung, empirisch wird sich das allerdings wohl nicht so einfach belegen lassen. Forschung über Evaluation ist auch nicht gerade weit verbreitet in Deutschland.

Das Thema Kommunikation bietet also vielfältige Anknüpfungspunkte für interessante Beiträge auf der nächsten Jahrestagung. Und wem dazu gar nichts einfällt, der kann immer noch ein anderes Thema einreichen. Der diesjährige Chall sieht nämlich neben Beiträgen zum Tagungsthema auch allgemeine Einreichungen vor.


Sonntag, 3. November 2019

Politik für Evaluation

Vor ein paar Tagen hat der Wissenschaftliche Beirat beim BMWi ein Schreiben veröffentlicht, indem er die verstärkte Evaluation wirtschaftspolitischer Maßnahmen empfiehlt. Das ist zunächst einmal nicht überraschen. Natürlich sind Wissenschaftler sehr dafür, wenn Politik evidenzgetrieben und wissenschaftlich begleitet umgesetzt wird. Gute Politik ist rationale Politik, und rationales Handeln erfordert die Analyse von Ursache und Wirkung.

Der Wissenschaftliche Beirat hat sich diesem Thema nicht zum ersten Mal gewidmet, bereits 2013 hat er in einem umfänglichen Gutachten das Thema schon einmal aufgegriffen und Handlungsempfehlungen an die Politik formuliert. 

Interessant finde ich an der Stellungnahme der letzten Tage, dass sie sehr explizit auf interne Strukturen und Prozesse des BMWi eingeht. Tatsächlich hat sich im BMWi, aber auch im BMBF in den letzten Jahren einiges getan. Interne Arbeitseinheiten haben sich intensiv um das Thema Evaluation gekümmert, haben den Kompetenzaufbau innerhalb der Verwaltung unterstützt, Weiterbildungsmaßnahmen organisiert, Austauschforen etabliert, Leitfäden entwickelt, Zugang zu vorhandenen Evaluationsberichten sichergestellt und so weiter und so fort. Wer in den letzten Jahren an den Frühjahrstreffen des Arbeitskreises FTI der DeGEval teilgenommen hat, erinnert sich vielleicht an den ein oder anderen Vortrag von Kollegen aus BMWi oder BMBF dazu.

Ich glaube, innerhalb der Ministerien sind wir in Richtung Strukturbildung und Kompetenzaufbau auf einem guten Weg. Was uns in Deutschland jetzt noch fehlt, ist eine weitere Vertiefung des Austausches zwischen den verschiedenen Akteuren, zwischen Ministerien und Evaluationseinrichtungen. Mit unserem Arbeitskreis in der DeGEval haben wir zwar bereits eine funktionierende Plattform. Unsere Frühjahrstreffen belegen, dass alle Akteure ein hohes Interesse am Austausch haben. Der Blick nach Österreich zeigt meiner Ansicht nach aber doch, das hier noch deutlich mehr geht. Mit der FTEval hat Österreich tatsächlich eine Struktur aufgebaut, die der informellen Verletzungen Deutschland überlegen ist. Ein Repositorium, in dem alle Evaluationsberichte gespeichert werden, das fordert z.b. die Expertenkommission Forschung und Innovation seit Jahren, das ist in Deutschland bislang aber nicht durchsetzbar.

Zur Methodik hat sich der Wissenschaftliche Beirat diesmal nicht im einzelnen ausgelassen, ganz im Gegensatz zu seinem Gutachten von 2013. Dort hatte er insbesondere randomized controlled trials (RCTs), also Feldexperimente als Goldstandard der Evaluation gefordert. Gerade erst haben drei Entwicklungsökonomen, die mit diesem Thema bekannt geworden sind, den diesjährigen Alfred-Nobel-Gedächtnispreis gewonnen. Das Thema RCTs ist also in aller Munde. Für die Evaluation von Innovation- und Technologiepolitik spielt es bislang allerdings nur eine untergeordnete Rolle. Das mag sich in Zukunft ändern, zumal auch die Innovationspolitik selbst Experimente für sich entdeckt hat. Gerade erst hat ein Workshop des europäischen Projektträgernetzwerkes TAFTIE zu Experimenten stattgefunden, und im Frühjahr hat das BMBF eine Konferenz in Berlin mitfinanziert, die dieses Thema in den Mittelpunkt stellte.

Noch nicht ganz verstanden habe ich eine weitere Empfehlung des Wissenschaftlichen Beirats, nämlich die Einrichtung von Datenzentren. Natürlich ist es richtig und wichtig, Daten für die Forschung bereitzustellen. Die meisten Evaluationen im Politikfeld, die ich kenne, nutzen allerdings Sekundärdaten bzw. Umfragedaten, die sie selbst erheben. Und hier ist zum einen der Datenschutz eine erhebliche Herausforderung, bevor diese Daten für dritte bereitgestellt werden können, zum anderen sind die Befragungsdaten sehr spezifisch, kaum vergleichend nutzbar und damit auch für die weitere Forschung nur sehr eingeschränkt zu verwenden. Statt Datenzentren würde ich mir in Deutschland eher eine systematische Nachbefragung von ehemaligen Fördernehmern wünschen, wie sie ebenfalls seit vielen Jahren von der österreichischen FFG in Auftrag gegeben wird.

Eine Empfehlung des Wissenschaftlichen Beirats hat mir übrigens besonders gut gefallen: er fordert, dass für Evaluationen mehr Geld zur Verfügung gestellt werden.