Der dritte Tag der europäischen Evaluationskonferenz war abfahrtsbedingt - zumindest für mich - deutlich kürzer. Dennoch hat die Zeit gereicht, um noch einmal zwei weitere, sehr interessante Sessions zu besuchen.
In der einen Session ging es um die Rolle von Theorie in der Evaluationspraxis. Eine Vortragenden legt den Fokus ihrer Ausführungen darauf, dass Evaluationen, die mit einem theoretischen Ansatz starten, durchaus in Schwierigkeiten geraten können. Sie nannte mindestens drei Faktoren: beim sogenannten "contribution bias" schauen die Evaluatoren möglicherweise nur noch darauf, inwieweit die empirischen Daten ihre theoretische Vorannahmen tatsächlich stützen. Beim "conservation bias" wiederum spielt der psychologische Effekt eine Rolle, dass alte Befunde nur ungern über Bord geworfen werden. Beim
"attribution bias" schließlich geht es darum, dass Personen und Institutionen gerne ihren Einfluss auf Entwicklungen überschätzen. Generell können Theorien also ein zu einfaches Bild einer komplexen Wirklichkeit zeichnen.
Die Gegenrede zu dieser Grundthese hielt Frans Leeuws in einem gewohnt launigen Beitrag. Er mutmaßte, dass viele Komplexitätserwartungen nicht aus der wahren Komplexität der Dinge heraus geboren werden, sondern ganz andere Ursachen haben. In nicht wenigen Fällen handelt es sich also seiner Meinung nach um konstruierte Komplexität, die viele Ursachen haben kann. Es kann zum Beispiel darum gehen, sich selbst unersetzlich zu machen (und den eigenen Preis zu erhöhen) oder seine eigene soziale Wichtigkeit zu steigern. Leeuws riet daher, zunächst einmal immer nach dem Nutzen einer Komplexitätsbehauptung für den Akteur, den policy maker bzw. den Evaluator zu suchen. Häufig ließen sich auch in scheinbar einmaligen, komplexen Konstellationen übergreifende Mechanismen oder Prinzipien finden, die dann doch den Einsatz theoretischer Annahmen rechtfertigten.
Meine zweite Session verließ dann wieder die Höhen theoretischer Diskussionen und stieg hinab in die Niederungen der praktischen Evaluationsarbeit. Die Europäische Kommission hatte eine Reihe von Studien im Bereich der Strukturfonds vergeben, die die Wirkung der Förderung auf Unternehmen untersuchen sollte. Zwei dieser Studien wurden in dieser Session vorgestellt.
In beiden Projekten ging es darum, das Modell einer Programmtheorien an empirischen Daten zu prüfen und somit die Wirkung der Maßnahme zu belegen. Da es auch in diesem Fällen schwierig war, eine kausale Verknüpfung zwischen Ursache (der Maßnahme) und Wirkung (z.B. dem Firmenwachstum) mit letzter Gewissheit empirisch zu beweisen, verlegten sich die Präsentatoren auf den Nachweis eines Beitrags, also eine contribution analysis (nach Mayne). Ihre Modell untersuchten sie kausale Faktoren, Voraussetzungen (preconditions) und Beiträge (contributions) in einem Wirkmodell, außerdem externe und indirekte Effekte. Der methodisches Zugang war vor allem fallstudienbasiert, wobei wohl insbesondere viele Mini-Fallstudien durchgeführt wurden. Die zweite Studie präsentierte ein ähnliches Vorgehen, wobei hier tatsächlich auch gerechnet wurde. Man verfolgte nach eigenen Angaben einen sogenannten "realist evaluation approach" nach Pawson und Tilley (den ich erst einmal nachgoogeln musste und hier gefunden habe: http://betterevaluation.org/en/approach/realist_evaluation).
Insgesamt hatte ich am Ende drei Tage Konferenz mit viel Stoff zum Nachdenken (und dem Bedarf nach viel Erholung).
Keine Kommentare:
Kommentar veröffentlichen