Jahrestagung der EES: Tag 3

Der dritte Tag der europäischen Evaluationskonferenz war abfahrtsbedingt - zumindest für mich - deutlich kürzer. Dennoch hat die Zeit gereicht, um noch einmal zwei weitere, sehr interessante Sessions zu besuchen.

In der einen Session ging es um die Rolle von Theorie in der Evaluationspraxis. Eine Vortragenden legt den Fokus ihrer Ausführungen darauf, dass Evaluationen, die mit einem theoretischen Ansatz starten, durchaus in Schwierigkeiten geraten können. Sie nannte mindestens drei Faktoren: beim sogenannten "contribution bias" schauen die Evaluatoren möglicherweise nur noch darauf, inwieweit die empirischen Daten ihre theoretische Vorannahmen tatsächlich stützen. Beim "conservation bias" wiederum spielt der psychologische Effekt eine Rolle, dass alte Befunde nur ungern über Bord geworfen werden. Beim
"attribution bias" schließlich geht es darum, dass Personen und Institutionen gerne ihren  Einfluss auf Entwicklungen überschätzen. Generell können Theorien also ein zu einfaches Bild einer komplexen Wirklichkeit zeichnen.

Die Gegenrede zu dieser Grundthese hielt Frans Leeuws in einem gewohnt launigen Beitrag. Er mutmaßte, dass viele Komplexitätserwartungen nicht aus der wahren Komplexität der Dinge heraus geboren werden, sondern ganz andere Ursachen haben. In nicht wenigen Fällen handelt es sich also seiner Meinung nach um konstruierte Komplexität, die viele Ursachen haben kann. Es kann zum Beispiel darum gehen, sich selbst unersetzlich zu machen (und den eigenen Preis zu erhöhen) oder seine eigene soziale Wichtigkeit zu steigern. Leeuws riet daher, zunächst einmal immer nach dem Nutzen einer Komplexitätsbehauptung für den Akteur, den policy maker bzw. den Evaluator zu suchen. Häufig ließen sich auch in scheinbar einmaligen, komplexen Konstellationen übergreifende Mechanismen oder Prinzipien finden, die dann doch den Einsatz theoretischer Annahmen rechtfertigten.

Meine zweite Session verließ dann wieder die Höhen theoretischer Diskussionen und stieg hinab in die Niederungen der praktischen Evaluationsarbeit. Die Europäische Kommission hatte eine Reihe von Studien im Bereich der Strukturfonds vergeben, die die Wirkung der Förderung auf Unternehmen untersuchen sollte. Zwei dieser Studien wurden in dieser Session vorgestellt.

In beiden Projekten ging es darum, das Modell einer Programmtheorien an empirischen Daten zu prüfen und somit die Wirkung der Maßnahme zu belegen. Da es auch in diesem Fällen schwierig war, eine kausale Verknüpfung zwischen Ursache (der Maßnahme) und Wirkung  (z.B. dem Firmenwachstum) mit letzter Gewissheit empirisch zu beweisen, verlegten sich die Präsentatoren auf den Nachweis eines Beitrags, also eine contribution analysis (nach Mayne). Ihre Modell untersuchten sie kausale Faktoren, Voraussetzungen (preconditions) und Beiträge (contributions) in einem Wirkmodell, außerdem externe und indirekte Effekte. Der methodisches Zugang war vor allem fallstudienbasiert, wobei wohl  insbesondere viele Mini-Fallstudien durchgeführt wurden. Die zweite Studie präsentierte ein ähnliches Vorgehen, wobei hier tatsächlich auch gerechnet wurde. Man verfolgte nach eigenen Angaben einen sogenannten "realist evaluation approach" nach Pawson und Tilley (den ich erst einmal nachgoogeln musste und hier gefunden habe: http://betterevaluation.org/en/approach/realist_evaluation).

Insgesamt hatte ich am Ende drei Tage Konferenz mit viel Stoff zum Nachdenken (und dem Bedarf nach viel Erholung).

Jahrestagung der EES: Tag 2

Auch der zweite Tag der europäischen Evaluationskonferenz war wieder sehr dicht gepackt, mit bis zu 20 nebeneinander laufenden Parallelsession. Entsprechend gering war zum Teil auch der Zulauf, sodass manchmal mehr Präsentator als Zuhörer in einem Raum waren. Gleichwohl waren die Diskussionen in diesen kleinen Gruppen bisweilen intensiver als in gut gefüllten Vortragssälen. Und Anregendes gab es genug zu hören.

Gut gefallen hat mir zum Beispiel der Beitrag über ein Evaluationskonzept, das Startup-Inkubatoren in den Fokus nimmt. Die Herausforderung ist dabei wie so oft, kausale Zusammenhänge zwischen der Intervention und der später gemessenen Wirkung herzustellen. Der Präsentator betonte daher, dass es nicht um "attribution", sondern nur um "contribution" gehen können, also um den Beitrag, die eine Intervention zu einer gemessenen Wirkung voraussichtlich leisten kann. Zum Einsatz kam in diesem Fall die qualitative comparative analysis Technik.

In einer weiteren Session wurde ein Evaluationsansatz vorgestellt, der die Konzeptionsphase von der eigentlichen Evaluation abtrennt. In Großbritannien scheinen zunehmend Projekte ausgeschrieben zu werden, die zunächst einmal potentiell zu evaluierende Maßnahmen oder Politikfelder daraufhin untersuchen, welche Voraussetzungen für die spätere Evaluation vorhanden sein müssen. Sind zum Beispiel Zugänge zu notwendigen Daten gesichert, werden entsprechende Prozesse auch gemonitort, gibt es eine Programmtheorie, die Wirkvermutungen widerspiegelt? Am Ende steht ein Evaluationsdesign, das auch Angaben zu den am besten geeigneten methodischen Zugängen macht. Die eigentliche Evaluation wird dann erneut ausgeschrieben, und der Auftragnehmer der Vorstudie kann sich natürlich wieder bewerben. Nach Angaben des Präsentators werden mittlerweile 10% aller Evaluationen in Großbritannien entsprechend vorbereitet. Zwei seiner Beispiele betrafen Evaluation im Bereich FTI, eine eine Gründungsförderungsmaßnahme, eine andere ein Luftfahrtforschungsprogramm. Der Vorteil gegenüber einer integrierten Evaluation sei, dass diese Vorstudien relativ früh erfolgten, dass keine sehr lang laufenden Evaluationsprojekte ausgeschrieben werden müssten und dass der / die Programmverantwortliche eventuell einen neuen Auftragnehmer auswählen können, falls er/sie mit den Auftragnehmern der Vorstudie unzufrieden ist.

Ich selbst hatte heute auch zwei aktive Beiträge, den einen zu einem Ansatz der Analyse von spezifischen Technologie-Wertschöpfungsketten, die gerade bei der Technologieförderung beeinflusst werden sollen. Zusammen mit meiner Kollegin Christiane Kerlen haben wir ausgeführt, wie ein relativ erschöpfendes Mapping spezifischer Wertschöpfungsketten als Ausgangsdaten genutzt werden kann, um dann den Beitrag eines konkreten Programms zur Stärkung der selben zu argumentieren.

In einem zweiten Beitrag mit meiner Kollegin Sonja Kind haben wir beschrieben, wie die Nutzung unterschiedlicher methodischer Zugänge, in unserem Fall eines Online-Survey und qualitativer Fallstudien, zu widersprüchlichen Teilergebnisse führen kann, die dann erst in einer weiteren Interpretationsschleife, unter Zuhilfenahme von Experteneinschätzungen und Diskussionen mit dem Programmverantwortlichen, in einer final Interpretation des Endbericht münden.

Jahrestagung der EES: 1. Tag

Nach der DeGEval-Konferenz in der letzten Woche startete heute die europäische Evaluationskonferenz in Maastricht. Die EES-Konferenz ist mit 600 Teilnehmern deutlich größer, entsprechend groß war auch die Herausforderung, im Konferenzprogramm die richtigen Sessions auszuwählen.

Schon der Auftakt war anders als in Salzburg. Es gab keine Keynote. In der Eröffnungssession wurde stattdessen die Simulation eines Evaluationsauftrags durch ein Panel von bekannten Evaluatoren diskutiert. Thema dieses fiktiven Auftrags war die Integration von Flüchtlingen in Armenien. Ich fand dies ein charmantes Design, um etwas grundsätzlicher typische Herausforderungen von Evaluationen zu diskutieren. Die Panel-Teilnehmer reagierten ganz unterschiedlich auf die Ausgangsfragestellung. Zwei von ihnen setzten auf Evidenz durch Sekundäranalyse. Im Sinne von "what works" (siehe hierzu auch die entsprechenden Institutionen in UK und den USA) plädieren sie z. B. dafür, erst mal zu sammeln, was es schon an Erkenntnissen gibt, oder mit Experten oder Institutionen zu reden, die zu dem Thema schon gearbeitet haben.

Elliot Stern, ebenfalls auf dem Panel, sprach sich als Anwalt der Politikberatung dafür aus, die Fallstudien eher als strategische Problemstellung zu behandeln und das Design der Evaluation entsprechend zukunftsgerichtet zu halten.

Tatsächlich war die ganze Fragestellung dieser hypothetischen Evaluationsaufgabe eher untypisch, weil sie nicht ein bestehendes Programm oder eine bereits umgesetzte Politikstrategie adressierte. Andererseits machte sie deutlich, wie nahe Evaluationen und in die Zukunft gerichtete Politikberatung eigentlich sind. Die Rekonstruktion von Programmtheorien und Modellen ist ja nichts anderes, als der Blick zurück auf die Strategieentwicklung der Vergangenheit zu werfen. Möglicherweise sollten Handlungsempfehlungen von Evaluationen stärker auch die Strategieentwicklung selbst in den Blick nehmen.

Am kontrovers in ganz Europa diskutierten Thema Flüchtlinge wurde auch ein anderer  Aspekt von Evaluationen deutlich. Evaluationen müssen in solchen Fällen Politik erklären, sie müssen deuten, framen, Geschichten erzählen. Die harten Fakten werden bei solch einem emotional diskutierten Thema nicht unbedingt überzeugen.

Eine weitere Session beschäftigte sich mit der Institutionalisierung von Evaluationskulturen in unterschiedlichen Ländern und der Rolle, die Evaluationsgesellschaften dabei spielen.

Mich hat dabei am meisten das Beispiel der Niederlande beeindruckt. Seit ein paar Jahren gibt es dort so genannte policy reviews, worunter Metaevaluation in ganzer Politikfelder zu verstehen sind, die auf Einzelevaluationen spezifischer Maßnahmen aufbauen und alle 7 Jahre erstellt werden sollten. Die Initiative hierzu ging vom Finanzministerium aus. Zuschnitt und Fokus solcher Politikfeldevaluation bleibt offen und in der Entscheidung des zuständigen Ressorts. Allerdings müssen die Ressorts in den Budgetverhandlungen jeweils einen Evaluationsplan für die nächsten 3 Jahre angeben. Den neuen Ansatz der policy Review es gibt es seit ein paar Jahren, heute sind es schon 20-25 pro Jahr. Ähnliches könnte man sich auch für Deutschland wünschen, zum Beispiel für die KMU-Förderung oder die Förderung im Bereich Elektromobilität.

Eine weitere Session des heutigen Tages stand im Zeichen einer begleitenden Programmevaluation in der Region Limburg, in der Maastricht liegt. Es geht um eine stärkere Unterstützung der Universitäten und ihrer Kooperationen untereinander und mit Unternehmen in den nächsten zehn Jahren. Ziel dieser Maßnahme ist es, das gesamte Innovationssystem der Regionen zu stärken und auf ganz unterschiedlichen Dimensionen Effekte zu erzielen. Entsprechend ambitiös ist auch das Evaluationskonzept, das diese Impacts mit einem sehr breiten Set an Indikatoren messen möchte und auch vor der Herausforderung steht, kausale Effekte in komplexen Systemen nachweisen zu können. Beeindruckend ist aber, dass schon jetzt Monitoringdaten gesammelt werden, und dies mit der Perspektive, erst in einigen Jahren (2024) die eigentliche Evaluation vorzunehmen.

DeGEval Jahrestagung 2016: Session "Zur Nutzung und Nützlichkeit von FTI-Evaluationen in Österreich"

Schwerpunkt dieser Session waren aktuelle Studien, Berichte und Präsentationen zur Nutzung von Evaluationen im Politikfeld FTI in Österreich.

Katharina Warta von technopolis berichtete aus einer Kurzstudie zur Plattform fteval, in der die wichtigsten Innovationsakteure und Evaluatoren Österreichs zusammengeschlossen sind. Die Plattform existiert seit 1996, aus deutscher Perspektive eine beeindruckende Struktur der Kooperation, die ein wenig neidisch macht.

Spannend fand ich die Beschreibung, wie in der Gründungssituation ein echter Aufbruchsgeist zur Verbesserung der Evaluationskultur in Österreich geschaffen wurde. Interessant war auch die Beschreibung, dass die Plattform heute vielfach den sehr beeindruckenden Status Quo wahrt, aber noch zu wenig innovativ nach vorne schaut. Insgesamt war die Diskussionszeit in dieser sehr Inhalt reichen Session zu kurz bemessen. Gern hätte ich gefragt, warum nicht auch Innovationsstudien jenseits von Evaluationen zum Kerngeschäft der fteval gemacht werden, da der sektorspezifische Focus aus meiner Sicht dies sehr nahe legt. Auch wäre eine Diskussion spannend gewesen, warum ist in Österreich zur Gründung dieser Plattform kam, in Deutschland aber nicht.

Günther Landsteiner präsentierte zu einer Metaevaluation im Auftrag des Rat für Forschung und Technologieentwicklung zur Evaluationspraxis im Politikfeld FTI, die den Zeitraum 2003 bis 2014 abdeckt. Im Fokus der Untersuchung stand die Nützlichkeit von Evaluationen, hier definiert als Nutzenpotenzial. Die Studie zeigte unter anderem, dass insbesondere die Glaubwürdigkeit der Evaluatoren und Evaluatorinnen ein wichtiger Faktor zur Steigerung des Nutzens ist. Die Wahl der Methoden hingegen spielte eine untergeordnete Rolle, obgleich Methoden Diskussionen unter Evaluatorin ziemlich weit oben stehen. Spannend fand ich auch die Frage, ob eher das Lernen aus den Ergebnissen einer Einzelevaluation vorherrscht oder ob es doch das kumulative, indirekte Lernen aus vielen Evaluationen ist, das am Ende das Handeln der Akteure beeinflusst.

Jürgen Streicher von Joanneum Research schließlich untersuchte in der Präsentation seiner Dissertation den Nutzen und die Nützlichkeit von Evaluationen, und zwar aus Perspektive der beteiligten Akteure und ihres institutionellen Kontexts. Als ein wichtiger Faktor zur Nutzung von evaluation Inland Jürgen Streicher die Formulierung einer gemeinsamen Sichtweise, eines gemeinsamen Verstehens der untersuchten Prozesse. Am Ende seines Vortrags warf er die Frage auf, ob noch mehr Evaluationen auch zu noch mehr Erkenntnissen führen würden, er fragte also indirekt, ob wir nicht schon sehr viel wissen, und daher mehr andere Formen der Analyse von Innovationssystemen brauchen.

Wie schon gesagt war die Zeit dieser Session für drei so spannende und inhaltsschwere Vorträge deutlich zu knapp bemessen. Ich hätte mir eine Diskussion darüber gewünscht, was man aus diesen Analysen des österreichischen Innovationssystems für Deutschland lernen kann. Auf jeden Fall haben mich die genannten Beiträge angeregt, noch einmal über die Übertragbarkeit auf Deutschland nachzudenken. In vielen Aspekten habe ich das Bauchgefühl, dass einiges sehr ähnlich läuft. In anderen Punkten bin ich mir nicht so sicher. Am Ende ist Deutschland doch ein deutlich größeres Land mit abweichenden Strukturen, zum Beispiel seiner heterogenen Projektträger-Landschaft.

DeGEval Jahrestagung 2016 in Salzburg

Morgen beginnt die Jahrestagung 2016 der Degeval in Salzburg. Wir werden die Jahrestagung mit unserem Blog begleiten und aus den interessantesten Sessions zum Thema FTI berichten. Morgen früh um 8:30 Uhr Uhr begrüßen wir zunächst einmal alle Interessierten zum Treffen unseres Arbeitskreises. Wir freuen uns auf eine spannende Diskussion und dann natürlich auf eine noch spannendere Jahrestagung.

DeGEval Jahrestagung 2016: Session "Indikatoren und Indikatorensysteme"

Dieses Session stellte weniger Einzelevaluationen, sondern eher übergreifende Fragestellungen in den Mittelpunkt. Beide Vorträge dieser etwas kürzeren Session drehten sich um standardisierte Indikatoren oder Fragedmensionen der Evaluation.

Der Beitrag, den ich mit meiner Kollegin Sonja Kind präsentierte, basiert auf einer internen Studie zu den Möglichkeiten von Kernindikatoren zur besseren Vergleichbarkeit und zur Sicherung von Qualitätsstandards von Evaluationen im Politikfeld FT.

Wir gehen davon aus, dass Evaluationen in diesem Politikfeld im Grunde immer wieder nach denselben Dimensionen und Indikatoren fragen und damit eine Basis für eine Vereinheitlichung dieser Indikatoren gegeben ist. Das betrifft nicht an Aspekte, die im Rahmen einer Evaluation untersucht werden. Viele Fragen in Teilnehmerbefragung ziehen auf sehr spezifische Aspekte einer bestimmten Fördermaßnahme. Andere jedoch, wie zum Beispiel die Bewertung des Antrags und Bewilligungsverfahren oder die Verwertung  von Projektergebnissen in Produkt und daraus resultierende Arbeitsplatzeffekte sind durchaus ähnlich und damit potentiell standardisierbar. Im Rahmen einer Analyse von 19 bereits abgeschlossenen Evaluationen aus Deutschland haben die versucht, diese Basis beispielhaft zu verdeutlichen.

Der zweite Beitrag von Peter Kaufmann präsentierte ein konzeptionelles Modell zur Erfassung sozialer Wirkungen von Förderprogrammen im Bereich der Mobilitätsforschung. Peter Kaufmann machte deutlich, dass die Messung soziale Wirkungen eine besondere Herausforderung darstellt. Mit quantitativen Indikatoren ist hier nur sehr eingeschränkt zu arbeiten, der Schwerpunkt liegt eher auf qualitativen Vorgehensweisen. Das von ihnen vorgestellte Projekt hat Leitfragen entwickelt, die für verschiedene Programmevaluation genutzt werden können, um einen ersten Überblick über mögliche soziale Wirkungen zu erhalten.

Einleitend verwies Peter Kaufmann außerdem darauf, dass auch in Österreich zur Zeit ein Projekt für die FFG laufe, dass sich Themenfeld übergreifend mit der Standardisierung von Indikatoren beschäftige.

Die Diskussion mit den Teilnehmern des Session zum ersten Beitrag drehte sich zunächst um Fragen, welche Aspekte noch bei einer vergleichenden Analyse bereits abgeschlossener Evaluation von Interesse wären. Auch die Einbeziehung der Evaluations-Community in eine weitere Ausformulierung von Kernindikatoren war ein Diskussionsthema.

Übergreifend wurde die Frage aufgeworfen, ob solche Ansätze der Vereinheitlichung am Ende zu einer Vorgabe von Pflichtdimensionen durch Auftraggebende führen könnten. Im Bereich der Entwicklungszusammenarbeit sei dies schon zu beobachten, und schränke Evaluatoren tendenziell eher ein.

Gleichzeitig zeigten die meisten Wortmeldungen aber auch, dass in einer systematischen Erarbeitung eines Kernbestands an standardisierten Indikatoren durchaus Potenzial gesehen wird, eine weiter Arbeit also lohnt.

DeGEval Jahrestagung 2016: Treffen des AK FTI

Gestern hat die Jahrestagung der DeGEval in Salzburg begonnen. Traditionell treffen sich die Arbeitskreise zu Konferenzbeginn in kleinem Kreise, um sich interessierten Konferenzteilnehmern vorzustellen und über Aktivitäten der nächsten Monate zu diskutieren. Traditionell ist auch der Teilnehmerkreis dieser Treffen eher klein, da früh morgens gelegen und am Anfang der Konferenz positioniert, also für den ein oder anderen Anreisenden noch zu früh...

Schwerpunkt der Diskussion war das Thema des nächsten Frühjahrstreffens, das diesmal voraussichtlich in Wien stattfinden wird. Nachdem wir uns in diesem Jahr der Rolle von Projektträger gewidmet hatten, werden wir im kommenden Jahr voraussichtlich zu aktuellen Herausforderungen und neuen Methoden der Evaluation im Politikfeld FTI sprechen. Dies umfasst zum Beispiel den Aspekt der indikatorik, aber auch neue Informationsbedürfnisse der Auftraggeber.

Das Sprecherteam wird den Themenvorschlag nun in einem nächsten Schritt ein wenig weiter ausarbeiten und dann alle Interessierten des Arbeitskreises per Mail einladen, mögliche Beiträge zu benennen.