Freitag, 8. Februar 2019

DeGEval - Call for Proposals zur 22. Jahrestagung 2019 endet am 10. März 2019


„Evaluation und Nachhaltigkeit“
 
22. Jahrestagung der DeGEval – Gesellschaft für Evaluation e.V.
 vom 11. bis 13. September 2019 an der Universität in Bonn
 
Nachhaltigkeit ist ein Begriff, der aus politischen Diskursen, Positionspapieren oder Projektanträgen kaum mehr wegzudenken ist. Ursprünglich aus dem Umweltbereich stammend, wo er sich auf eine Ressourcennutzung bezieht, die Rücksicht auf die Regenerationsfähigkeit eines Systems nimmt, wird er heute viel breiter verwendet. Nachhaltigkeit dient auch alltagssprachlich oft als Synonym für die Dauerhaftigkeit von Wirkungen und Veränderungen. Die aktuelle Debatte um Nachhaltigkeit bezieht sich zudem auf das Zusammenspiel und die Wechselwirkungen zwischen ökologischer, ökonomischer und sozialer Entwicklung. Da für die Beurteilung von Maßnahmen deren Wirksamkeit ein wichtiges Bewertungskriterium ist, stellt Nachhaltigkeit für die Evaluation eine besondere Herausforderung dar.

Denn nachhaltige Wirkungen sind definitionsgemäß erst mit zeitlichen Verzögerungen nach Maßnahmenbeendigung zu beobachten, zu einem Zeitpunkt also, zu dem viele Evaluationen bereits abgeschlossen sind. Erschwerend kommt hinzu, dass der oft gewünschte Nachweis kausaler Zusammenhänge, der schon für kurzfristige Effekte herausfordernd ist, umso schwieriger wird, je längerfristig nachhaltige Veränderungen nachgewiesen und je stärker auch multidimensionale Wechselwirkungen erfasst werden sollen.

Neben dem Umweltbereich hat Nachhaltigkeit auch im Bereich der Entwicklungszusammenarbeit eine lange Tradition als Bewertungskriterium. Dort wurde sie durch die OECD Anfang der 1990er Jahre zu einem einschlägigen Bewertungskriterium für sämtliche Evaluierungen erhoben. In Deutschland kommt dies seit Beginn der 2000er Jahre flächendeckend zur Anwendung. Das Verständnis und der Umgang mit Nachhaltigkeit wird im Zuge der globalen Agenda 2030 für Nachhaltige Entwicklung noch bedeutsamer. Erstens weil die Agenda 2030 die Evaluationsfunktion als genuinen Bestandteil nachhaltiger Entwicklung begreift und zudem, weil die Agenda einen universellen, politikfeldübergreifenden Anspruch erhebt.

Vor diesem Hintergrund ist Nachhaltigkeit und ihre Rolle für und in Evaluationen das zentrale Thema der 22. Jahrestagung der Gesellschaft für Evaluation. Eingeladen sind insbesondere Beiträge zu den folgenden Aspekten:
  • Nachhaltigkeit in unterschiedlichen Evaluationsfeldern
    • Wie wird Nachhaltigkeit in unterschiedlichen Politik- und Anwendungsfeldern der Evaluation definiert bzw. interpretiert und welche Rolle spielt sie jeweils als Bewertungskriterium? Gibt es ein übergreifendes Verständnis?
    • Welche übertragbaren Erfahrungen mit Nachhaltigkeit gibt es im Bereich der Entwicklungszusammenarbeit im Kontext der DAC-Kriterien?
    • Welche Erfahrungen liegen aus dem Umweltbereich vor, von wo der Begriff der Nachhaltigkeit ursprünglich stammt, und welche Implikationen ergeben sich aus dem breiteren Begriffsverständnis, das heute üblich ist?
    • Zunehmend verfolgen auch privatwirtschaftliche Akteure in ihren Strategien ambitionierte Beiträge mit Blick auf nachhaltige Entwicklung. Welche Monitoring- und Evaluationsinstrumente werden hierbei genutzt, um Effektivität und Nachhaltigkeit von privatwirtschaftlichen Maßnahmen zu messen?
  • Untersuchung von Nachhaltigkeit
    • Wie kann die Nachhaltigkeit in Evaluationen methodisch angemessen untersucht werden? Inwiefern und unter welchen Bedingungen ist hier der Anspruch eines Nachweises kausaler Zusammenhänge erfüllbar insbesondere mit Blick auf die Mehrdimensionalität und Wechselwirkungen von Nachhaltigkeit?
    • Gibt es verlässliche Proxy-Variablen, die noch während oder mit Ende der Laufzeit von Maßnahmen als Indikatoren für die spätere Nachhaltigkeit dienen können?
    • Welches Potenzial haben ex-ante Evaluationen, um die voraussichtliche Nachhaltigkeit von geplanten Vorhaben prognostizierend abzuschätzen?
    • Welche Rolle können die Sustainable Development Goals (SDG) und der Indikatorenkatalog der UN für die Evaluation von Nachhaltigkeit einnehmen?
    • Welche Möglichkeiten bieten Querschnittsauswertungen zum Thema Nachhaltigkeit und auf welche Weise ermöglichen Auswertungen über Einzelfallstudien hinaus systematisches Lernen im Sinne der gemeinsamen Verantwortung?
  • Nachhaltigkeit und Programmevaluation
    • Braucht es ganz andere Formen und Konstellationen als die klassische, meist begleitend angelegte Programmevaluation, um Nachhaltigkeit angemessen in den Blick nehmen zu können?
    • Inwiefern sind Ex-post Evaluationen angemessen, um den Herausforderungen bei der Evaluation von Nachhaltigkeit zu begegnen?
    • Welche Rolle spielen Konzepte wie Implementation, Diffusion oder Transfer bei der Förderung von Nachhaltigkeit und wie sind diese angemessen in Evaluationen zu adressieren?
    • Wie erfolgt eine angemessene Abgrenzung von Outcome- Impact- und Nachhaltigkeitsmessung in Evaluationen?
  • Beiträge der Evaluation zur Nachhaltigkeit
    • Was kann Evaluation zur Nachhaltigkeit von Wirkungen der evaluierten Maßnahmen beitragen?
    • Welche inhaltsspezifischen Kenntnisse brauchen Evaluierende, um gute Empfehlungen und Prognosen zur Nachhaltigkeit von Maßnahmen geben zu können?
    • Unter welchen Bedingungen können Evaluationen selbst nachhaltig wirken?
Wir laden Sie herzlich ein, an der Diskussion in Bonn teilzunehmen und Ihre Arbeit auf der Jahrestagung vorzustellen. Eingeladen sind Beiträge, die sich mit den oben genannten Fragen wissenschaftlich, reflexiv oder praktisch auseinandersetzen. Besonders erwünscht sind Beiträge mit einer fach- und politikfeldübergreifenden Perspektive. Andere Beiträge mit Evaluationsbezug sind willkommen, wenn sie zumindest in der Diskussion das Tagungsthema aufgreifen.

Die Beitragseinreichung wird ab dem 02. November 2018 über die Konferenzseite der DeGEval (https://www.conftool.com/degeval2019) möglich sein. Die Tagung bietet folgende Beitragsmöglichkeiten:
  • Blitzvortrag: In einem Blitzvortrag wird ein noch laufendes oder bereits abgeschlossenes Forschungs- oder Praxis-Projekt mit seinen innovativen Aspekten oder neuartigen Fragestellungen auf möglichst allgemein verständliche Weise dargestellt. Eine Blitzvortragssession besteht aus zehn fünfminütigen Blitzvorträgen, an die sich je drei Minuten Fragen anschließen.
  • Einzelvortrag: In Einzelvorträgen wird das Thema Evaluation entweder praktisch, reflexiv oder wissenschaftlich betrachtet: a. Evaluationen als Projekte mit praktischen Herausforderungen (Planung, Steuerung, Durchführung etc.), b. Evaluationen als Grundlage zur Reflektion und zum Generieren von (Meta-)Wissen über Evaluation (methodische, theoretische, methodologische Aspekte) oder c. Empirische Forschungsergebnisse über Evaluation (Evaluation als Forschungsgegenstand). Für den Vortrag stehen 20 Minuten und 10 Minuten Diskussionszeit zur Verfügung. Einzelvorträge werden zu thematischen Sessions zusammengestellt (max. 3 Vorträge pro Session).
  • Komplette Session: Komplette Sessions (90 Minuten) können als Vortragssession, als Podiumsdiskussion, Workshop oder in anderer Form konzipiert sein. Abstracts umfassen die Beschreibung der geplanten Session sowie aller beteiligter Beiträge und Personen (Sessions mit „NN“-Beteiligung werden in der Regel nicht akzeptiert). Bei einer Vortragssession sind kurze Inhaltsangaben der einzelnen Vorträge mit einzureichen sowie der/die ModeratorIn und ggf. DiskutantIn(nen) zu benennen. Bitte reichen Sie diese dann gesammelt als einzelne Einreichung ein. Komplette Sessions können in deutscher und englischer Sprache stattfinden. Da politikfeldspezifische Sessions in der Regel bereits von den jeweiligen Arbeitskreisen der DeGEval gestaltet werden, zu denen teils eigene Calls erfolgen, werden Session bevorzugt, die eine klar politikfeldübergreifende Perspektive aufweisen.
  • Poster: Poster präsentieren entweder innovative Evaluationsvorhaben oder Forschungsarbeiten zu Fragestellungen, welche empirisch, konzeptionell, theoretisch oder methodisch behandelt werden. Es wird eine Posterführung bzw. eine moderierte Postersession stattfinden.
Bitte reichen Sie Ihr Abstract mit max. 2.500 Zeichen inklusive Leerzeichen (für komplette Sessions mit max. 5000 Zeichen) bis zum 10. März 2019 über unsere Konferenzhomepage (https://www.conftool.com/degeval2019) ein und beachten Sie bitte die dort angeführten Hinweise zur Einreichung. Alle Beiträge werden in einem anonymen Review-Verfahren begutachtet. Folgende Kriterien werden beim Entscheid über Einreichungen u.a. herangezogen: Inhaltliche und methodische Qualität, Nachvollziehbarkeit des Abstracts (Problemstellung, Vorgehen, Hauptargumente, Evaluationsfokus, fachspezifische Aktualität), Innovationsgehalt, politikfeldübergreifende Perspektive und Bezug zum Tagungsthema. Sie werden bis zum 31. Mai 2019 über die Beitragsannahme informiert. Nähere Informationen zur Tagung finden Sie unter www.degeval.de/veranstaltungen/jahrestagungen/bonn-2019.

Kontakt:
 
DeGEval – Gesellschaft für Evaluation e.V.
Johannes Gutenberg-Universität Mainz
c/o Zentrum für Qualitätssicherung
und -entwicklung (ZQ)
Colonel-Kleinmann-Weg 2, SBII, 03-246
D-55099 Mainz
Mareike Hinz
Tel.: +49 (0) 6131 / 39-2 68 69
Fax: +49 (0) 6131 / 39-2 68 68

E-Mail: info@degeval.org
http://www.degeval.org

Samstag, 29. September 2018

Rückblick auf die DeGEval-Jahrestagung 2018

Manche Jahrestagungen von wissenschaftlichen Fachgesellschaften schaffen es ja durchaus in die überregionalen Medien, heute z.b. erschienen ein Beitrag in der Süddeutschen Zeitung zum Deutschen Historikertag. Diese Aufmerksamkeit ist der Jahrestagung der DeGEval bislang nicht vergönnt gewesen. Nun ist die DeGEval sicher nicht mit den deutschen Historikern zu vergleichen, sie ist ungleich weniger im Fächerkanon deutscher Universitäten verankert, auch der breiten Bevölkerung bis das Thema Evaluation vermutlich relativ unbekannt und auch egal. Andererseits ist die Tätigkeit von Evaluatorinnen und Evaluatoren möglicherweise deutlich praxisrelevante als die der deutschen Historikerinnen und Historiker. Grund genug, einen kurzen Rückblick auf die diesjährige Tagung unserer Fachgesellschaft zugeben und aus der Perspektive der Forschungs-, Technologie- und Innovationspolitik auf einigen der besonders relevanten Sessions zu schauen.

Das Motto der diesjährigen Jahrestagung der DeGEval war Wirkungsorientierung und Evaluation. Einerseits scheint dies fast schon eine überflüssige Differenzierung zu sein. Geht es nicht in allen Evaluation auch um Wirkung? Andererseits ist die Messung von Wirkung sicher eine der großen Herausforderungen der Evaluation. Gerade im Bereich von Technologie- und Innovationspolitik (aber nicht nur hier) ist die Wirkung nicht einfach zu messen. Zu viele unterschiedliche Faktoren beeinflussen, interne wie externe. Es geht also meist eher um die Zuschreibung als um die kausale Verknüpfung von Ursache und Wirkung, um Contribution statt Attribution. Auch ist der zeitliche Abstand zwischen Intervention und messbarer Wirkung meist zu lange für reale Evaluationen.
Wie auch in der Vergangenheit zahlten die Vorträge der Tagung allerdings auch dieses Jahr unterschiedlich klar auf das Oberthema ein. Natürlich ging es fast immer irgendwie um Wirkung, aber die spezifischen Herausforderung der Wirkungsanalyse wurden in den meisten Vorträgen nicht wirklich in den Mittelpunkt gerückt.

Hier nun einige Eindrücke von den Sessions, die ich selbst besucht habe:

Session A4 - Analyse komplexer Wirkungsketten von Gleichstellungsmaßnahmen im Innovationssystem
Die Session konzentrierte sich ausschließlich auf eine Zwischenbilanz des europäischen Projektes EFFORTI (“evaluation framework for promoting gender equality in Research and Innovation”). Ziel des Projektes ist es im Wesentlichen, eine Toolbox für Verantwortliche von genderorientierte Maßnahmen im Bereich FTI sowie für Evaluatorinnen und Evaluatoren in diesem Feld zu erarbeiten. Dabei stützt sich das Projekt auf das Konzept der Theorie-basierten Wirkungsanalyse, also die Modellierung von Wirkungsvermutungen und Einflussfaktoren und die Prüfung anhand geeigneter Indikatoren, inwieweit diese Wirkungsvermutung plausibel bzw. durch Daten bestätigt werden können.

Im zweiten Teil der Session wurden zwei Fallbeispiele präsentiert, die das Projektteam erarbeitet hat. Die eine Fallstudie richtete sich auf ein Programm zur Förderung von innovativen Unternehmensgründungen durch Frauen, die andere zielte auf FEMTech, ein Förderprogramm in Österreich, das Projekte fördert die Gender-Dimensionen in die Produkt- und Technologieentwicklung einbeziehen. Beide Fallstudien dienten vor allen Dingen als Trainingsmaterial, um Indikatoren und Zugänge für die Toolbox zusammenzutragen und auf ihre Nutzbarkeit zu prüfen. Einige der untersuchten Beispielen scheinen auch zuvor schon evaluiert worden zu sein, auch waren die Ressourcen für die Fallstudien selbst deutlich kleiner als die für “echte” Evaluation. Aufgrund der Präsentationen wurde nicht deutlich, ob in den Fallstudien tatsächlich neue Erhebungsinstrumente oder Indikatoren genutzt werden. Im Mittelpunkt stand der Zugang über das Wirkmodell. Dies ist für den Bereich FTI eine relativ verbreitete Praxis in Evaluationen. Grundsätzlich lässt sich fragen, ob der Ansatz der EU-Kommission, in solchen Projekten Toolboxen und Leitfäden zu erarbeiten, die dann hinterher in der Evaluationspraxis bzw Förderpraxis genutzt werden, tatsächlich Wirkung entfalten.

Session C1 - Wirkungsorientierte Instrumente im Kontext von Haushalten
In der Session wurden insgesamt drei Vorträge präsentiert. Zwei davon stellten deutsche bzw. österreichische Ansätze der wirkungsorientierten Haushaltssteuerung vor. Während der deutsche Vortrag, der sich auf sogenannte “Spending Reviews” konzentrierte (das BMF hat das Konzept auf seiner Internetseite sehr gut dokumentiert und sowohl Berichte der bisher schon durchgeführten spending reviews als auch Hintergrundartikel eingestellt), ein stark dialogorientiertes, sehr selektives Verfahren der Diskussion von Zielen, Zielerreichung und Konsequenzen für die Steuerung von Politikfeldern beschrieb, präsentierten die österreichischen Kollegen die Praxis der wirkungsorientierten Haushaltsführung und ihr Spannungsverhältnis zur langjährig gelebten Praxis der Evaluation von Einzelfördermaßnahmen.

In beiden Kontexten sind klassische Evaluationen eher eine von mehreren Quellen für die Bewertung von Zielerreichungen. Interessant ist die Betrachtung der Schnittstelle zwischen der Welt der Evaluation und und der Welt der politischen Bewertung von Politikfeldern, ihrer Ziele und der “Performanz”. Hier zeigten insbesondere die österreichischen Kollegen die manchmal doch größere Begriffsverwirrung, die zwischen Controlling, Monitoring und Evaluation, Wirkung und Zielerreichung aufscheint. Letztlich macht das österreichische Beispiel deutlich, wo die Grenzen eines stark auf KPI (key performance indicators) basierten Steuerungsansatzes liegen. Angesprochen wurde z.b. ein möglicherweise zu geringes Ambitionsniveau bei der Formulierung von Zielen. Ebenso thematisiert wurde, dass die Fokussierung auf wenige Indikatoren dazu führen kann, dass unterkomplexe Perspektiven gewählt werden, die wenig Raum für Lernerfahrung bieten. Der deutsche Vortrag zu den “Spending Reviews” veranschaulichte zwar sehr gut, wie der Prozess im Moment organisiert wird und wo auch die Vorteile eines stark diskursiven Ansatzes liegen. Allerdings konnte im Rahmen der Session nicht am konkreten Beispiel diskutiert werden, welche Indikatoren denn im Einzelfall für die Bewertung eines Politikfeldes herangezogen werden, wie mit unterschiedlichen Interpretationen und daraus resultierende konfligierenden Einschätzungen umgegangen wird und in welchem Verhältnis eine solche breitere Perspektive zu Einzelevaluation steht.

Der letzte der drei Vorträge kam aus dem Politikfeld Entwicklungszusammenarbeit. Die Vortragenden der GIZ stellten eine interne Studie vor, die die Nutzung von “experimental design” -Ansätzen untersuchte und dabei zu dem interessanten Schluss kam, dass auftraggeberseitig solche neuen Evaluationsansätze wenig nachgefragt werden, sondern dass die Initiative für diese Ansätze vielmehr bottom-up von einzelnen Verantwortlichen sowie Forschenden ausgeht.

D4: Wirkungszusammenhänge und Wirkungsmessungen in technologieaffinen Projekten und Maßnahmen
in dieser Session wurde zunächst eine kleine Studie für das BMWi aus dem letzten Jahr vorgestellt, in der es um die Analyse von Trends in der technologieoffenen Förderung ging. Der Fokus der Präsentation lag auf methodischen Fragen. In der Studie wurden zwei Ansätze gewählt, einerseits die Befragung von Gutachtern in den beiden untersuchten Programmen, andererseits eine auf "Text Mining"  angelegte quantitative Analyse von Projektbeschreibungen. Die beiden Programme, es handelt sich um das Zentrale Innovationsprogramm Mittelstand - ZIM sowie die industrielle Gemeinschaftsforschung - IGF, sind zusammengenommen die größten innovationspolitischen Fördermaßnahmen für den deutschen Mittelstand. Sie erreichen also in der Breite kleine und mittelständische Unternehmen und müssten geeignet sein, um Technologietrends in dieser Zielgruppe frühzeitig zu identifizieren. Tatsächlich war es über die Gutachterbefragung möglich, relativ differenziert Trends zu beschreiben, allerdings war die zeitliche Einordnung nicht einfach, außerdem bewegten sich die Trends auf sehr unterschiedlicher Ebene. Während einerseits übergreifende Paradigmen wie Industrie 4.0 benannt wurden, ging es andererseits um sehr konkrete Einzellösungen. Das "Text Mining" wiederum war in der Lage, die Gesamtmenge von 5.000 Projektbeschreibungen automatisiert in thematische Cluster zuordnen und lieferte darüber hinaus Hinweise auf die Entstehung neuer Trends. Es zeigte sich allerdings auch, dass hier methodisch  noch einiges zu entwickeln ist, bevor tatsächlich Trends und Trendverläufen gesichert beschrieben werden können.

Ein zweiter Vortrag bezog sich auf die Nutzung von sogenannten “technology readiness level” (TRL) -Skalen, um die standardisierte Einordnung von Projekten entlang des Forschungs- und Entwicklungszyklus vorzunehmen. Die Vortragenden beschrieben auf Grundlage mehrerer Evaluationsbeispiele die Herausforderungen, die sich dabei stellen. So ist es z.B. nicht immer eindeutig, ob in Verbundprojekten das TRL auf Teilvorhaben oder auf die Verbundebene selbst bezogen wird. Auch scheinen immer wieder Befragte Schwierigkeiten mit dem Verständnis von TRL allgemein zu haben. In manchen Branchen wie der Luftfahrtindustrie wird dieses System seit langem genutzt, in anderen Branchen ist es noch weitgehend unbekannt oder eignet sich auch nur sehr bedingt. Dies wäre z.b. für den Bereich Software anzunehmen. Auf der anderen Seite bietet ein standardisiertes Verfahren die Chance, über Programme hinweg Daten zu vergleichen und so zu einer querschnittliche Perspektive von Evaluationen beizutragen.

Ein dritter Vortrag aus Österreich stellte eine konkrete Evaluation in den Mittelpunkt, nämlich die Evaluation des Programms BRIDGE. Der Charme dieses Vortrags lag darin, dass aus Auftraggeber- wie Auftragnehmersicht die Entwicklung des Evaluationsdesigns und seine Umsetzung diskutiert wurde, und zwar in einem sehr lebendigen Dialog. So Bude rekonstruiert, wie die Erwartungen auf Auftraggeberseite, kausale Verbindungen von Ursache und Wirkung tatsächlich messbar zu machen, von Auftragnehmerseite zum Teil enttäuscht werden musste. Andere Absprachen betrafen die Machbarkeit konkreter methodischer Zugänge.

Insgesamt hat die DeGEval-Tagung wieder spannende Einblicke in die Evaluationspraxis des Politikfelds FTI ermöglicht. Die nächste Gelegenheit wird sich im November ergeben, wenn in Wien die Konferenz "Impact of Research and Innovation Policy at the Crossroads of Policy Design, Implementation and Evaluation".