Rückblick auf die DeGEval-Jahrestagung 2017. Teil 2

Die Zukunft der Evaluation, das ist möglicherweise auch die Nutzung ganz neue Datenquellen und eine andere Form der Dateninterpretation. Entsprechend drehten sich einige Sessions der Jahrestagung 2017 auch um das Thema neue Datenquellen und Big Data.

In der Session A2 "Big Data: große Datenmengen - großes Potenzial für die Evaluation" erläuterte Christoph Müller zunächst die Nutzung lernende Algorithmen im Evaluationskontext und ging insbesondere auf die Technik der sogenannten "boosted regression trees" ein. Im Kern erlaubt dieser Ansatz, mittlere bis große Datenmengen neu zu analysieren und Nachteile klassischer Regressionsanalysen zu überwinden. Es ging allerdings nicht um sehr große Datensätze, das Beispiel von Christoph Müller umfasste etwa 120 Beobachtungen.

Der zweite Beitrag der Session von Judith Hoffmann fokussierte auf die Potenziale von Big Data Mining für zukunftsbezogene Fragestellungen, also ganz konkret für sogenannte Foresight-Prozesse. Diese Potenziale wurden allerdings weniger anhand von konkreten Evaluationsbeispielen erläutert, es handelte sich vielmehr um eine Studie, die über Experteninterviews solche Potenziale identifizieren soll. Selbige Experten äußerten sich wohl eher skeptisch, inwieweit heute schon Big Data Analyse für Foresight-Prozesse genutzt werden kann.

Der letzte Beitrag von Wolfgang Meyer zu "Kollateralschäden beim Schrotflintenschießen oder Big Brother - Big Data - Big Trouble" war eine erfrischende Polemik, die die Teilnehmer dieser Nachmittags-Session wieder aus ihrem Nachmittagsschlaf zurück in die Wirklichkeit holte. Insgesamt blieb dieser Beitrag allerdings doch zumeist auf der Ebene allgemeiner, normativer Fragen zur Vorliebe von Technologiekonzerne, ihre Nutzer ungefragt große Datensätze erzeugen zu lassen, die dann für kommerzielle Zwecke oder potentiell auch für eine unlauterer Überwachung dieser Nutzer eingesetzt werden (können).

Mit der Realität der Nutzung neuer Datenquellen im Bereich der Evaluation hat dies aus meiner Sicht jedoch wenig zu tun. Vielmehr zeigen sich hier die bekannten, prinzipiellen Ängste vor einer Nutzung von Daten, die in Deutschland häufig Zugänge zu Datensätzen verbauen, die anderenorts schon Wirklichkeit sind. Können in den nordischen Ländern Unternehmensregisterdaten regelmässig für die Bildung von Vergleichsgruppen genutzt werden, um die Evaluation von Technologieförderprogrammen zu verbessern, so ist dies in Deutschland häufig nur sehr eingeschränkt möglich.

Die Session war in diesem Sinne ein recht gutes Abbild der aktuellen Situation bei der Nutzung von Big Data Ansätze für die Evaluation. Im Detail stehen interessante neue Algorithmen zur Verfügung, in der Praxis werden aber eher bekannte Datensätze genutzt, neue Datenquellen oder wirklich große Datenmengen spielen eigentlich kaum eine Rolle. Dazu kommen weiterhin große Ängste vor einem Missbrauch solcher Techniken.

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 1

Gerader hat die DeGEval in Mainz ihr 20-jähriges Jubiläum gefeiert. Die diesjährige Jahrestagung stand unter dem Motto "Zukunft". Und ja, alle Sessions, die ich besucht habe, standen tatsächlich mehr oder weniger unter diesem Motto und beschäftigten sich mit aktuellen Trends und zukünftigen Entwicklung in der Evaluation. Nachfolgend eine kleine, ganz persönliche Nachlese, zunächst zum Treffen des Arbeitskreises.

Wie jedes Jahr treffen sich am Morgen des ersten Tages die Arbeitskreise, und wie jedes Jahr ist das für alle, die erst anreisen müssen, ein sehr früher Termin. Entsprechend klein ist in der Regel der Kreis derer, die hier zusammenkommen. Mit einem harten Kern von 10 Personen haben wir im AK FTI diskutiert. Zunächst wurden die drei Sprecher, Iris Fischl, Marianne Kulicke und ich selbst, für die nächsten zwei Jahre in ihrem Amt bestätigt. Anschließend gaben wir einen kleinen Rückblick zur Frühjahrstagung 2017, wir haben ja auch in diesem Blog schon ein wenig darüber berichtet. Im Mittelpunkt unserer Diskussion aber stand die Diskussion über die Frühjahrstagung 2018 und eine mögliche AK-Session auf der nächsten Jahrestagung.

Ein Erfolgsfaktor der vergangenen Frühjahrstagungen, und auch für die nächste Frühjahrstagung angestrebt, ist eine möglichst aktive Beteiligung der Auftraggeber von Evaluation. Was sind aktuelle interne Entwicklungen bei den Auftraggebern, wo sind neue Erwartungen an Evaluatoren? Interessant wäre auch ein Update dazu, wie Projektträger sich auf eine aktivere Rolle bei der Umsetzung von Evaluationen und Programmmonitoring vorbereiten. 

Ein möglicher inhaltlicher Schwerpunkt betrifft die Umsetzung von Evaluation und die Nutzung von Handlungsempfehlungen. Handlungsempfehlungen sind ein kritischer Bereich von Evaluationen, da sie relativ zielgenau auch die Umsetzbarkeit und die Rahmenbedingungen berücksichtigen müssen. Nicht selten sind sie eher der Schwachpunkte einer sonst qualitativ hochwertigen Evaluation. Es gibt deshalb sogar manchmal Auftraggeber, die am liebsten gar keine Handlungsempfehlungen wünschen, sondern nur eine Bewertung das Programmerfolgs und der Wirkmechanismen. Anderen wiederum sind die üblichen Handlungsempfehlungen noch zu wenig konkret, sie würden sich sehr detaillierte Roadmaps für eine Umsetzung der Handlungsempfehlungen wünschen. Dieses Spannungsverhältnis könnte Thema einer interessanten Diskussion auf dem nächsten Frühjahrstreffen werden. Sonst ist ein üblicher Schwerpunkt auf jeden Fall die Präsentation aktueller Evaluation aus Deutschland und Österreich.

Das nächste Frühjahrstreffen wird voraussichtlich in Berlin stattfinden, Marianne Kulicke übernimmt die Vorbereitung. Wenn Sie Anregungen oder Wünsche haben, so wenden Sie sich am besten direkt an Frau Kulicke.

In diesem Jahr hat der Arbeitskreis keine eigene Session auf der Jahrestagung organisiert, für das nächste Jahr finden wir wieder eine Session des Arbeitskreises wünschenswert. Im Idealfall mit einem Thema, das ein bisschen über den Tellerrand unseres Themenfeldes hinausreicht, vielleicht sogar in Kooperation mit einem anderen Arbeitskreis. Bislang gibt es aber keine konkreten Planungen dafür.

Der letzte Diskussionspunkt betraf unsere erneute geplante Übersicht über gerade abgeschlossene oder neu begonnene Evaluationen Deutschland und Österreich. Im vergangenen Jahr hatten wir einen sprechend Übersicht mit Hilfe der Interessierten unserer Mailingliste zusammengestellt, diese Übung wollen wir auch dieses Jahr wiederholen, wir freuen uns über jeden Beitrag von Ihnen. Einen ersten Entwurf werden wir gegen Ende des Jahres über die Mailingliste versenden, den können Sie dann um weitere Evaluationen ergänzen. Unsere österreichischen Kollegen haben in diesem Zusammenhang darauf hingewiesen, dass die Sammlung von Evaluationen in Österreich gerade überarbeitet und in ein echtes Repositorium mit verschiedenen Suchkriterien verwandelt wurde.

Evaluations-Repositorium

Kürzlich war ich auf einem EU-Workshop zum Thema impact assessment, auf dem Paul Cunningham von der Universität Manchester kurz Aktuelles zum Projekt SIPER vorstellte. SIPER ist eine Evaluationsdatenbank zu Evaluationsberichten aus allen Ländern der OECD (und perspektivisch auch weitere Länder), die dort nicht nur als Dokumente gespeichert, sondern auch nach bestimmten Kriterien kategorisiert und damit durchsuchbar werden. SIPER ist Teil des größeren EU-Projekts RISIS, "research infrastructure for research and innovation policy studies". Die Universität Manchester hat sich in den letzten Jahren einen Namen gemacht mit solchen Repositorien. Besonders beeindruckend fand ich die Sammlung an Erfahrungen zur Innovationspolitik, dass compendium of evidence on innovation policy. In gewisser Weise hatte SIPER auch ein Vorläufer, nämlich das EU-Projekt INNO-Appraisal, an dem unter anderem das Fraunhofer-ISI  teilnahm und das bis 2010 lief. Auch hier wurde eine Datenbank zu Evaluation in den Mitgliedstaaten erstellt, aber mit Auslaufen des Projektes dann nicht fortgeführt.

Zurück zu SIPER. Die Datenbank ging erst kürzlich online und befindet sich noch deutlich im Aufbaustatus. Das zeigt sich z.b. beim Blick auf Evaluation aus Deutschland. Bislang sind für den Zeitraum 2001 bis 2014 nur 15 Evaluation aufgenommen worden. Das ist garantiert nur ein Bruchteil der Evaluation, die in diesem Zeitraum durchgeführt und auch veröffentlicht wurden. Hier zeigt sich aus meiner Sicht eine mögliche Schwäche des Projekts. Partner aus Deutschland sind nicht Teil des Projektteams, und so scheint die Suche nach Evaluationen zum Teil abhängig davon zu sein, wie viele Beiträge dezentral zu geliefert werden. Es ist nämlich ausdrücklich erwünscht, dass jeder, der Evaluationen beauftragt oder durchführt, seine Berichte entsprechend weiterleitet. Vielleicht sind ja noch viele Evaluation in der Pipeline und warten darauf, in die Datenbank eingepflegt zu werden. Meine Befürchtung ist aber eher, dass hier bislang zu wenig und unsystematisch zugeliefert wurde. Damit enttäuscht sich leider auch meine Hoffnung, hier endlich ein Repositorium zu Evaluation in Deutschland zu finden.

Während Österreich mit der FTEval ein vorbildliches Beispiel gibt, dass der Aufbau einer nationalen Evaluationsdatenbank machbar und mit erheblichem Mehrwert verbunden ist, tut sich Deutschland weiterhin schwer. Eine Zeit lang versuchte die Expertenkommission Forschung und Innovation - EFI, die Diskussion mit einer eigenen Sammlung voranzubringen. Schaut man heute auf die Website von EFI, so sieht man, dass dieser Zusammenstellung wieder vom Netz genommen wurde.

Im Arbeitskreis FTI der DGEval haben wir letztes Jahr einen neuen Anlauf unternommen, zumindest aktuell abgeschlossen und neu begonnene Evaluationen des laufenden Jahres zusammenzustellen. Diesen Versuch wollen wir in diesem Jahr wiederholen, und so sollten wir eigentlich Stück für Stück zu einem eigenen Repositorium auch für Deutschland kommen. Wir werden Ende des Jahres wieder einen Aufruf an alle Mitglieder unserer Mailingliste schicken, uns Informationen zu aktuell abgeschlossenen oder begonnenen Evaluation in zu schicken. Wenn Sie schon jetzt solche Informationen haben, können Sie uns diese aber auch vorab zukommen lassen.

Und denken Sie auch an die britischen Kollegen! Das Projekt SIPER verdient es, unterstützt zu werden. Vielleicht sehen wir nächstes Jahr nicht 15 Uhr, sondern 50 Evaluationsberichte aus Deutschland dort eingestellt.

Ausblick auf die DeGEval-Jahrestagung 2017

In zwei Wochen findet in Mainz die jährliche Tagung der DeGEval statt, diesmal unter dem Motto "Zukunft der Evaluation". Der besondere Reiz der Jahrestagung besteht wie immer darin, dass Expertinnen und Experten aus ganz unterschiedlichen Anwendungsfelder in der Evaluation zusammenkommen. Eine Reihe von Sessions sind entsprechend interdisziplinär besetzt und widmen sich Querschnittsthemen. Aber auch im Bereich der Evaluation von Forschungs-, Technologie- und Innovationspolitik gibt es spannende Sessions. Hier meine ganz persönliche Auswahl:

Gleich nach Tagungseröffnung, Keynote und Mittagspause mit Posterführung folgt in Block A die Session zu Big Data (A2). Judith Hoffmann stellt darin z.b. Ergebnisse aus einem Projekt zur Potenzialeinschätzung von Big Data Mining für Foresight und Wissenschaftskommunikation vor. Es geht also um ex-ante Evaluation, und die Kurzbeschreibung verspricht einen kleinen Blick in die Glaskugel. In einem weiteren Beitrag von Christoph Müller wird vorgestellt, wie durch maschinelles Lernen Zusammenhänge zwischen Variablen nicht ex-ante postuliert, sondern erst im Verlauf der Datenanalyse generiert werden. Der letzte Beitrag dieser Session von Wolfgang Mayer schließlich setzt sich kritisch mit den Versprechungen und tatsächlichen Anwendungsmöglichkeiten von Big Data auseinander.

Eine weitere spannende Session im FTI-Bereich könnte am Freitag früh ab 9 Uhr starten. Sie setzt sich mit Chancen und Grenzen interner und externer Evaluierungen aus Sicht von Politik, Verwaltung und Forschung auseinander (C1). Rupert Pichler und Mario Steyer stellen beispielsweise das System der wirkungsorientierten Haushaltsführung in Österreich und seine Wechselwirkung zu internen und externen Evaluierungen im Bereich FTI vor. Was hat es für Effekte für Evaluierungen, wenn ganze Politikbereiche Überziele und Indikatoren zur Zielerreichung definieren?

Kurz vor Ende der Jahrestagung, im Block D, verspricht die Session des AK Wirtschaft (D3) auch auf der Schlussgeraden noch interessante Einblicke. Es geht dabei um Methoden der strategischen Vorausschau in Unternehmen, insbesondere auch in Hinblick auf Innovations- und Strategieprozesse. Angekündigte ist dabei auch eine aktive Teilnahme aller Sessionbeteiligten, Evaluation zum Anfassen sozusagen.

Und dann sind da noch ganz viele andere Sessions, Diskussionsrunden und Vorträge. Und natürlich die Pausengespräche, die ja manchmal fast das Wichtigste bei so einer Veranstaltung sind. In diesem Sinne allen Teilnehmerinnen und Teilnehmer schon jetzt viel Vergnügen. Und vielleicht kommen Sie ja zum Treffen des AK FTI am Donnerstagmorgen um 9:30. Wir werden dort z.B. über mögliche Themen unseres Frühjahrstreffen im Jahr 2018 diskutieren.