Rückblick auf die DeGEval-Jahrestagung 2018

Manche Jahrestagungen von wissenschaftlichen Fachgesellschaften schaffen es ja durchaus in die überregionalen Medien, heute z.b. erschienen ein Beitrag in der Süddeutschen Zeitung zum Deutschen Historikertag. Diese Aufmerksamkeit ist der Jahrestagung der DeGEval bislang nicht vergönnt gewesen. Nun ist die DeGEval sicher nicht mit den deutschen Historikern zu vergleichen, sie ist ungleich weniger im Fächerkanon deutscher Universitäten verankert, auch der breiten Bevölkerung bis das Thema Evaluation vermutlich relativ unbekannt und auch egal. Andererseits ist die Tätigkeit von Evaluatorinnen und Evaluatoren möglicherweise deutlich praxisrelevante als die der deutschen Historikerinnen und Historiker. Grund genug, einen kurzen Rückblick auf die diesjährige Tagung unserer Fachgesellschaft zugeben und aus der Perspektive der Forschungs-, Technologie- und Innovationspolitik auf einigen der besonders relevanten Sessions zu schauen.

Das Motto der diesjährigen Jahrestagung der DeGEval war Wirkungsorientierung und Evaluation. Einerseits scheint dies fast schon eine überflüssige Differenzierung zu sein. Geht es nicht in allen Evaluation auch um Wirkung? Andererseits ist die Messung von Wirkung sicher eine der großen Herausforderungen der Evaluation. Gerade im Bereich von Technologie- und Innovationspolitik (aber nicht nur hier) ist die Wirkung nicht einfach zu messen. Zu viele unterschiedliche Faktoren beeinflussen, interne wie externe. Es geht also meist eher um die Zuschreibung als um die kausale Verknüpfung von Ursache und Wirkung, um Contribution statt Attribution. Auch ist der zeitliche Abstand zwischen Intervention und messbarer Wirkung meist zu lange für reale Evaluationen.

Wie auch in der Vergangenheit zahlten die Vorträge der Tagung allerdings auch dieses Jahr unterschiedlich klar auf das Oberthema ein. Natürlich ging es fast immer irgendwie um Wirkung, aber die spezifischen Herausforderung der Wirkungsanalyse wurden in den meisten Vorträgen nicht wirklich in den Mittelpunkt gerückt.

Hier nun einige Eindrücke von den Sessions, die ich selbst besucht habe:

Session A4 - Analyse komplexer Wirkungsketten von Gleichstellungsmaßnahmen im Innovationssystem

Die Session konzentrierte sich ausschließlich auf eine Zwischenbilanz des europäischen Projektes EFFORTI (“evaluation framework for promoting gender equality in Research and Innovation”). Ziel des Projektes ist es im Wesentlichen, eine Toolbox für Verantwortliche von genderorientierte Maßnahmen im Bereich FTI sowie für Evaluatorinnen und Evaluatoren in diesem Feld zu erarbeiten. Dabei stützt sich das Projekt auf das Konzept der Theorie-basierten Wirkungsanalyse, also die Modellierung von Wirkungsvermutungen und Einflussfaktoren und die Prüfung anhand geeigneter Indikatoren, inwieweit diese Wirkungsvermutung plausibel bzw. durch Daten bestätigt werden können.

Im zweiten Teil der Session wurden zwei Fallbeispiele präsentiert, die das Projektteam erarbeitet hat. Die eine Fallstudie richtete sich auf ein Programm zur Förderung von innovativen Unternehmensgründungen durch Frauen, die andere zielte auf FEMTech, ein Förderprogramm in Österreich, das Projekte fördert die Gender-Dimensionen in die Produkt- und Technologieentwicklung einbeziehen. Beide Fallstudien dienten vor allen Dingen als Trainingsmaterial, um Indikatoren und Zugänge für die Toolbox zusammenzutragen und auf ihre Nutzbarkeit zu prüfen. Einige der untersuchten Beispielen scheinen auch zuvor schon evaluiert worden zu sein, auch waren die Ressourcen für die Fallstudien selbst deutlich kleiner als die für “echte” Evaluation. Aufgrund der Präsentationen wurde nicht deutlich, ob in den Fallstudien tatsächlich neue Erhebungsinstrumente oder Indikatoren genutzt werden. Im Mittelpunkt stand der Zugang über das Wirkmodell. Dies ist für den Bereich FTI eine relativ verbreitete Praxis in Evaluationen. Grundsätzlich lässt sich fragen, ob der Ansatz der EU-Kommission, in solchen Projekten Toolboxen und Leitfäden zu erarbeiten, die dann hinterher in der Evaluationspraxis bzw Förderpraxis genutzt werden, tatsächlich Wirkung entfalten.

Session C1 - Wirkungsorientierte Instrumente im Kontext von Haushalten

In der Session wurden insgesamt drei Vorträge präsentiert. Zwei davon stellten deutsche bzw. österreichische Ansätze der wirkungsorientierten Haushaltssteuerung vor. Während der deutsche Vortrag, der sich auf sogenannte “Spending Reviews” konzentrierte (das BMF hat das Konzept auf seiner Internetseite sehr gut dokumentiert und sowohl Berichte der bisher schon durchgeführten spending reviews als auch Hintergrundartikel eingestellt), ein stark dialogorientiertes, sehr selektives Verfahren der Diskussion von Zielen, Zielerreichung und Konsequenzen für die Steuerung von Politikfeldern beschrieb, präsentierten die österreichischen Kollegen die Praxis der wirkungsorientierten Haushaltsführung und ihr Spannungsverhältnis zur langjährig gelebten Praxis der Evaluation von Einzelfördermaßnahmen.

In beiden Kontexten sind klassische Evaluationen eher eine von mehreren Quellen für die Bewertung von Zielerreichungen. Interessant ist die Betrachtung der Schnittstelle zwischen der Welt der Evaluation und und der Welt der politischen Bewertung von Politikfeldern, ihrer Ziele und der “Performanz”. Hier zeigten insbesondere die österreichischen Kollegen die manchmal doch größere Begriffsverwirrung, die zwischen Controlling, Monitoring und Evaluation, Wirkung und Zielerreichung aufscheint. Letztlich macht das österreichische Beispiel deutlich, wo die Grenzen eines stark auf KPI (key performance indicators) basierten Steuerungsansatzes liegen. Angesprochen wurde z.b. ein möglicherweise zu geringes Ambitionsniveau bei der Formulierung von Zielen. Ebenso thematisiert wurde, dass die Fokussierung auf wenige Indikatoren dazu führen kann, dass unterkomplexe Perspektiven gewählt werden, die wenig Raum für Lernerfahrung bieten. Der deutsche Vortrag zu den “Spending Reviews” veranschaulichte zwar sehr gut, wie der Prozess im Moment organisiert wird und wo auch die Vorteile eines stark diskursiven Ansatzes liegen. Allerdings konnte im Rahmen der Session nicht am konkreten Beispiel diskutiert werden, welche Indikatoren denn im Einzelfall für die Bewertung eines Politikfeldes herangezogen werden, wie mit unterschiedlichen Interpretationen und daraus resultierende konfligierenden Einschätzungen umgegangen wird und in welchem Verhältnis eine solche breitere Perspektive zu Einzelevaluation steht.

Der letzte der drei Vorträge kam aus dem Politikfeld Entwicklungszusammenarbeit. Die Vortragenden der GIZ stellten eine interne Studie vor, die die Nutzung von “experimental design” -Ansätzen untersuchte und dabei zu dem interessanten Schluss kam, dass auftraggeberseitig solche neuen Evaluationsansätze wenig nachgefragt werden, sondern dass die Initiative für diese Ansätze vielmehr bottom-up von einzelnen Verantwortlichen sowie Forschenden ausgeht.

D4: Wirkungszusammenhänge und Wirkungsmessungen in technologieaffinen Projekten und Maßnahmen

in dieser Session wurde zunächst eine kleine Studie für das BMWi aus dem letzten Jahr vorgestellt, in der es um die Analyse von Trends in der technologieoffenen Förderung ging. Der Fokus der Präsentation lag auf methodischen Fragen. In der Studie wurden zwei Ansätze gewählt, einerseits die Befragung von Gutachtern in den beiden untersuchten Programmen, andererseits eine auf "Text Mining"  angelegte quantitative Analyse von Projektbeschreibungen. Die beiden Programme, es handelt sich um das Zentrale Innovationsprogramm Mittelstand - ZIM sowie die industrielle Gemeinschaftsforschung - IGF, sind zusammengenommen die größten innovationspolitischen Fördermaßnahmen für den deutschen Mittelstand. Sie erreichen also in der Breite kleine und mittelständische Unternehmen und müssten geeignet sein, um Technologietrends in dieser Zielgruppe frühzeitig zu identifizieren. Tatsächlich war es über die Gutachterbefragung möglich, relativ differenziert Trends zu beschreiben, allerdings war die zeitliche Einordnung nicht einfach, außerdem bewegten sich die Trends auf sehr unterschiedlicher Ebene. Während einerseits übergreifende Paradigmen wie Industrie 4.0 benannt wurden, ging es andererseits um sehr konkrete Einzellösungen. Das "Text Mining" wiederum war in der Lage, die Gesamtmenge von 5.000 Projektbeschreibungen automatisiert in thematische Cluster zuordnen und lieferte darüber hinaus Hinweise auf die Entstehung neuer Trends. Es zeigte sich allerdings auch, dass hier methodisch  noch einiges zu entwickeln ist, bevor tatsächlich Trends und Trendverläufen gesichert beschrieben werden können.

Ein zweiter Vortrag bezog sich auf die Nutzung von sogenannten “technology readiness level” (TRL) -Skalen, um die standardisierte Einordnung von Projekten entlang des Forschungs- und Entwicklungszyklus vorzunehmen. Die Vortragenden beschrieben auf Grundlage mehrerer Evaluationsbeispiele die Herausforderungen, die sich dabei stellen. So ist es z.B. nicht immer eindeutig, ob in Verbundprojekten das TRL auf Teilvorhaben oder auf die Verbundebene selbst bezogen wird. Auch scheinen immer wieder Befragte Schwierigkeiten mit dem Verständnis von TRL allgemein zu haben. In manchen Branchen wie der Luftfahrtindustrie wird dieses System seit langem genutzt, in anderen Branchen ist es noch weitgehend unbekannt oder eignet sich auch nur sehr bedingt. Dies wäre z.b. für den Bereich Software anzunehmen. Auf der anderen Seite bietet ein standardisiertes Verfahren die Chance, über Programme hinweg Daten zu vergleichen und so zu einer querschnittliche Perspektive von Evaluationen beizutragen.

Ein dritter Vortrag aus Österreich stellte eine konkrete Evaluation in den Mittelpunkt, nämlich die Evaluation des Programms BRIDGE. Der Charme dieses Vortrags lag darin, dass aus Auftraggeber- wie Auftragnehmersicht die Entwicklung des Evaluationsdesigns und seine Umsetzung diskutiert wurde, und zwar in einem sehr lebendigen Dialog. So Bude rekonstruiert, wie die Erwartungen auf Auftraggeberseite, kausale Verbindungen von Ursache und Wirkung tatsächlich messbar zu machen, von Auftragnehmerseite zum Teil enttäuscht werden musste. Andere Absprachen betrafen die Machbarkeit konkreter methodischer Zugänge.

Insgesamt hat die DeGEval-Tagung wieder spannende Einblicke in die Evaluationspraxis des Politikfelds FTI ermöglicht. Die nächste Gelegenheit wird sich im November ergeben, wenn in Wien die Konferenz "Impact of Research and Innovation Policy at the Crossroads of Policy Design, Implementation and Evaluation".

Austrian EU Council Presidency conference on 'Impact of R&I Policy at the Crossroads of policy design, implementation evaluation'- Call for papers - Deadline prolonged to 10 June 2018

The largest conference in Europe dedicated to R&I policy evaluation invites submissions of extended abstracts and posters in four focal thematic areas. Contributions do not need to refer to only one thematic area but can be cross-cutting.

We explicitly encourage academic as well as policy and practice-based submissions. Thus, contributions from policy-makers, R&II councils, R&I funding agencies, policy experts, intermediary organisations and academics are highly appreciated! Papers and posters from other policy fields which deal with mission-orientation and impact evaluation are welcomed. The conference also encourages contributions with a view on European perspectives.

The extended abstracts and posters will be peer reviewed by the Scientific Committee. The selected abstracts are invited to make a presentation in the conference. They are also invited to submit a full paper which will be printed in a special conference proceedings issue of the ‘Journal for Research and Technology Policy Evaluation’. The submission of a full paper, however, is not mandatory and does not affect the presentation.

Please find more information here: https://www.impactevaluation.eu/call_for_papers/

Timetable for the call for extended abstracts and posters:
8 March 2018: Publication of the call for extended abstracts and posters
10 June 2018: Submission deadline
30 June 2018: Selection deadline and invitation of full papers and posters

Themes
1) The nature of impact-oriented R&I policy
2) Design, implementation and support of impact-oriented R&I policies
3) Leading-edge concepts, tools and methods to assess societal impact of R&I policy
4) Effects of and policy learning from impact evaluation

Please find more information about the themes on the conference website here.
Contact:
Austrian Platform for Research and Technology Policy Evaluation
Ms. Doris Kaiserreiner (kaiserreiner@fteval.at)
Mr. Klaus Schuch (schuch@zsi.at)
Please find more information under www.impactevaluation.eu

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 4

Im Block C der Jahrestagung von besonderem Interesse war die Session zu "Chancen und Grenzen interner und externer Evaluierungen aus Sicht von Politik, Verwaltung und Forschung". Hier präsentierten Rupert Pichler und Mario Steyer (beide BMVIT) die Wechselwirkung von Evaluation und wirkungsorientierter Haushaltführung in Österreich. Diese wurde ab 2009 im Zuge des neuen österreichischen Bundeshaushaltsgesetzes eingeführt. Sie verlangt von allen Ressorts die Formulierung von Zielen und Indikatoren auf unterschiedlichen Ebenen für ihre jeweiligen Politikbereiche. Damit wird die Philosophie von Evaluation - die Überprüfung von politischem Handeln auf der Grundlage definierter Ziele und ihrer Zielerreichung - erstmals auf breiter Front in alle Politikbereiche getragen. Für den Bereich FTI ist dieser Ansatz nicht neu, das Politikfeld zeichnet sich insbesondere in Österreich durch eine etablierte Kultur der Evaluierung aus, allerdings bislang eher auf der Ebene von Einzelmaßnahmen und Programmen. Gleichzeitig besitzt das Politikfeld seit langem auch übergeordnete Zielindikatoren, z.B. in Hinblick auf die FuE-Intensität oder das Ranking im Europäischen Innovationsanzeiger (European Innovation Scoreboard).


Damit stellt sich die Frage, welche Konsequenzen die wirkungsorientierte Haushaltführung für die Evaluationspraxis in der Forschungs-, Technologie- und Innovationspolitik hat? Ist Evaluation überhaupt noch notwendig? Die Referenten bejahten dies mit Nachdruck. Letztlich bleibt die wirkungsorientierte Haushaltsführung auf einer sehr aggregierten Ebene, sie ist zudem mit einer Reihe von Herausforderungen konfrontiert. So sind Zielkonflikte auf unterschiedlichen Ebenen kaum zu bearbeiten, weil die Logik top down von widerspruchsfreien Zielhierarchien ausgeht. Auch werden z.B. nichtintendierte Effekte anders als bei klassischen Evaluationen nicht in den Fokus genommen. Schließlich scheint auch die Frage der Kausalität, also der Zurechenbarkeit politischer Interventionen zu gemessenen Effekten, auf der aggregierten Ebene kaum möglich. Evaluationen sind hier das deutlich  mächtigere Werkzeug, die Umsetzung der wirkungsorientierten Haushaltsführung wirkt ein wenig wie "citizen science für Beamte". Pichler und Steyer hatten bereits in der Frühjahrstagung des AK FTI in Wien einen Vortrag zum Thema gehalten, ihre Ausführungen lassen sich zudem in der aktuellen Ausgabe der Zeitschrift für Evaluation (2/2017) in einem ausführlichen und lesenswerten Artikel nachlesen.


Ein weiterer Beitrag der Session von Markus Schwab und Georg Spiel aus dem Bereich der Gesundheitspolitik stellte ein Praxisbeispiel einer parallelen internen Selbstevaluation und einer externen Evaluation vor. Das Setting dürfte in dieser Form eher selten vorkommen, es bietet aber die Gelegenheit, die Vor- und Nachteile beider Varianten gegenüberzustellen. Während die interne Selbstevaluation im gezeigten Fall durch breites Kontextwissen deutlich stärker in die Tiefe der Materie eintauchen konnte, bot die externe Evaluation durch ihre Außenperspektive einen Vergleich mit ähnlichen Organisationen und Prozessen. Den Vorwurf fehlenden Detailwissens zum Untersuchungsgegenstand dürften viele Evaluatorinnen und Evaluatoren übrigens aus ihrer Praxis kennen. Ebenso aus der Praxis bekannt ist die Problematik, wie viel Offenheit Gesprächspartner gegenüber externen Evaluatoren zeigen. Im geschilderten Fall waren die Mitarbeiterinnen und Mitarbeiter gegenüber den internen Evaluatoren offener, die externen Evaluatoren zeichneten sich hingegen durch weniger Betriebsblindheit und "übervorsichtigen" Fragen aus. Dies könnte je nach Organisation und Rolle interner Evaluatoren aber auch genau gegenteilig sein, Offenheit gegenüber unabhängigen Dritten ist ebenfalls eine gängige Erfahrung externer Evaluationen, die mitunter genau ihre Stärke ausmacht. Schließlich thematisierten die Referenten die Frage, inwiefern die Beauftragung externer Evaluationen die Ressourcen für ebenfalls notwendige interne Evaluations- und Monitoringprozesse schmälert. Diese Ressourcenfrage stellt sich aktuell im Feld FTI - zumindest in Deutschland - auch, wenn z.B. Projektträger z.B. als Ergebnis von externen Evaluationen neue Monitoringsaufgaben übernehmen sollen, diese aber nicht mit entsprechenden Ressourcen hinterlegt sind.

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 3

Ein weiterer Schwerpunkt der Tagung war die Nutzung von ex-ante Ansätzen in der Evaluation. Im Bereich der Technologie-  und Innovationspolitik kommen solche Ansätze hier in der Regel nur gemeinsam mit ex-post Evaluationen vor, um den Übergang von einem Programm in das Nachfolgeprogramm zu gestalten. Der erste Beitrag der Session B3 "ex-ante Evaluation: Wann gelingt der Blick in die Zukunft" von Stefan Silvestrini berichtete von einer ex ante Evaluation im Bereich der Entwicklungszusammenarbeit.

Aus seiner Sicht ist eine wesentliche Funktion solche ex-ante Evaluationen, potentielle Wirkungen zu einem frühen Zeitpunkt abzuschätzen, für die weitere Programmumsetzung ein Monitoringsystem zu entwickeln und die Steuerungsfähigkeit bei der Programmumsetzung insgesamt zu erhöhen. Um ein besseres Gefühl für die spätere Umsetzung zu bekommen, werden z.b. Wirkmodelle eingesetzt, Szenarios entwickelt oder eben Indikatoren definiert, um bestimmte, antizipierte Entwicklungspfade nachzuverfolgen. Letztlich dienen ex ante Evaluationen auch dazu, spätere begleitende oder ex post Evaluationen vorzubereiten. Silvestrini machte auch deutlich, dass ex-ante Evaluationen nur sehr selten nachgefragt werden, weil der Aufwand doch nicht unerheblich und der Mehrwert für potentielle Auftraggeber scheinbar oft nicht ersichtlich ist. Auch bekommen Evaluatoren kaum eine Rückmeldung darüber, inwieweit die Ergebnisse einer ex ante Evaluation in der Praxis tatsächlich für die Steuerung nutzbar waren bzw. inwiefern die Szenarien auch tatsächlich eingetreten sind. Aber dies ist eine Erfahrung, die für Evaluationen generell gilt.

In der Diskussion wurden eine Reihe alternativer Ansätze angesprochen, die statt ext ante Evaluation zum Einsatz kommen. So gehen viele Programmverantwortliche davon aus dass ihr Erfahrungswissen eine implizite Abschätzung potentielle Wirkungen bereits ausreichend zulässt, zudem nutzen Pogrammverantwortliche für das Design von neuen Fördermaßnahmen in der Regel Standardverfahren und sind an neuen Konzepte nur mäßig interessiert. Schließlich ersetzen gezielte Studien zu Ausgangssituationen und Szenarien echte ex ante Evaluationen. Angesprochen wurde in der Diskussion auch risk assessment als eine mögliche Philosophie aus dem Bereich der Technikfolgenabschätzung, um Funktionen einer ex-ante Evaluation zu übernehmen.

Nicht diskutiert, aber häufige Praxis im Bereich der Forschungs- Technologie- und Innovationspolitik sind Pilotphasen, die gewissermaßen experimentell neue Ansätze erproben und mit Evaluationen dieser Phase auch systematisch auswerten. Aufbauend auf den Ergebnissen solche Pilotphasen werden dann größer skalierte Maßnahmen konzipiert. Eine interessante Alternative wurde im vergangenen Jahr auf der European Evaluation Society Konferenz berichtet, nämlich das Vorgehen in Großbritannien, kleinere Evaluations-Machbarkeitsstudien auszuschreiben, um die spätere Evaluierbarkeit neuer Maßnahmen frühzeitig zu überprüfen und entsprechende Indikatoren zu definieren.

Fazit dieser Session, in der darüber hinaus von Lennart Bentfeldt-Huthmann über die Erfahrungen einer internen Evaluation der verschiedenen Maßnahmen der GIZ zu Flucht- und Migrationsvorhaben berichtet wurde: ex-ante Evaluationen sind ein möglicher von vielen Ansätzen, um die Planung neuer Fördermaßnahmen systematisch vorzubereiten, Indikatoren zu entwickeln und Wirkmodelle zu erstellen. Ex-ante Evaluationen werden heutzutage nur wenig genutzt, im Moment ist nicht absehbar, dass sich dies entscheidend ändern wird.

fteval Journal Nr. 43 (Rückblick auf die Open Evaluation Conference 2016)

Unter folgendem link ist das fteval-Journal Nr. 43 zu finden, dass zahlreiche Kurzfassungen der Beiträge zur Konferenz Open Evaluation 2016 in Wien enthält.

Das nächste Journal wird eine Auswahl an "Full Papers" enthalten.

SAVE the DATE: fteval Konferenz in Wien: 5. & 6. November 2018

fteval Konferenz 2018: RTI Policy in Service of Society: Impact at the Crossroads of Design, Implementation and Evaluation
The Austrian Platform for Research and Technology Policy Evaluation together with Manchester Institute of Innovation Research and IFRIS - Institut Francilien Recherche Innovation Société, Paris are organising the next international RTI Policy Evaluation Conference in Vienna under the auspices of the Austrian EU Council Presidency. Impact orientation and impact generation through RTI policy interventions has become a dominant narrative in research and innovation policy-making. This, however, also opens up several challenges and tensions which are related to
1) the uncertain relationship between research and innovation
2) the limits of impact orientation on RTI policy
3) the changing nature of innovation itself and
4) the often weak links of RTI policy making and delivery to other policy areas and civil society.
the conference will gather RTI policy makers, RTI programme authorities, academics, evaluators and research managers to debate these tensions and their effects on evaluation theory and practice.
Veranstaltungsdatum: 5. und 6. November 2018
Veranstaltungsort: Wien

Rückblick auf die DeGEval-Jahrestagung 2017. Teil 2

Die Zukunft der Evaluation, das ist möglicherweise auch die Nutzung ganz neue Datenquellen und eine andere Form der Dateninterpretation. Entsprechend drehten sich einige Sessions der Jahrestagung 2017 auch um das Thema neue Datenquellen und Big Data.

In der Session A2 "Big Data: große Datenmengen - großes Potenzial für die Evaluation" erläuterte Christoph Müller zunächst die Nutzung lernende Algorithmen im Evaluationskontext und ging insbesondere auf die Technik der sogenannten "boosted regression trees" ein. Im Kern erlaubt dieser Ansatz, mittlere bis große Datenmengen neu zu analysieren und Nachteile klassischer Regressionsanalysen zu überwinden. Es ging allerdings nicht um sehr große Datensätze, das Beispiel von Christoph Müller umfasste etwa 120 Beobachtungen.

Der zweite Beitrag der Session von Judith Hoffmann fokussierte auf die Potenziale von Big Data Mining für zukunftsbezogene Fragestellungen, also ganz konkret für sogenannte Foresight-Prozesse. Diese Potenziale wurden allerdings weniger anhand von konkreten Evaluationsbeispielen erläutert, es handelte sich vielmehr um eine Studie, die über Experteninterviews solche Potenziale identifizieren soll. Selbige Experten äußerten sich wohl eher skeptisch, inwieweit heute schon Big Data Analyse für Foresight-Prozesse genutzt werden kann.

Der letzte Beitrag von Wolfgang Meyer zu "Kollateralschäden beim Schrotflintenschießen oder Big Brother - Big Data - Big Trouble" war eine erfrischende Polemik, die die Teilnehmer dieser Nachmittags-Session wieder aus ihrem Nachmittagsschlaf zurück in die Wirklichkeit holte. Insgesamt blieb dieser Beitrag allerdings doch zumeist auf der Ebene allgemeiner, normativer Fragen zur Vorliebe von Technologiekonzerne, ihre Nutzer ungefragt große Datensätze erzeugen zu lassen, die dann für kommerzielle Zwecke oder potentiell auch für eine unlauterer Überwachung dieser Nutzer eingesetzt werden (können).

Mit der Realität der Nutzung neuer Datenquellen im Bereich der Evaluation hat dies aus meiner Sicht jedoch wenig zu tun. Vielmehr zeigen sich hier die bekannten, prinzipiellen Ängste vor einer Nutzung von Daten, die in Deutschland häufig Zugänge zu Datensätzen verbauen, die anderenorts schon Wirklichkeit sind. Können in den nordischen Ländern Unternehmensregisterdaten regelmässig für die Bildung von Vergleichsgruppen genutzt werden, um die Evaluation von Technologieförderprogrammen zu verbessern, so ist dies in Deutschland häufig nur sehr eingeschränkt möglich.

Die Session war in diesem Sinne ein recht gutes Abbild der aktuellen Situation bei der Nutzung von Big Data Ansätze für die Evaluation. Im Detail stehen interessante neue Algorithmen zur Verfügung, in der Praxis werden aber eher bekannte Datensätze genutzt, neue Datenquellen oder wirklich große Datenmengen spielen eigentlich kaum eine Rolle. Dazu kommen weiterhin große Ängste vor einem Missbrauch solcher Techniken.