Gestern, am 19.Mai 2017, fand das diesjährige Frühjahrstreffen des AK FTI der DeGEval statt. Wir haben uns dieses Jahr in Wien getroffen, entsprechend war auch das Programm deutlich österreichisch geprägt, genauso wie die Teilnehmer. Aber es waren auch ein paar deutsche Teilnehmer dabei, und für die waren die Präsentationen möglicherweise sogar noch interessanter als für ihre österreichischen Kollegen, die einiges doch schon gekannt haben dürften. Gerade im Kontrast zur deutschen Evaluationswirklichkeit hatten viele Beiträge ihren besonderen Reiz.
So berichtete Brigitte Ecker (WPZ Research) von der gerade abgeschlossenen Evaluation der österreichischen steuerlichen F&E Förderung. In Deutschland wird das Thema gerade mal wieder heiß diskutiert, und mein Tipp ist schon, dass wir nach der Bundestagswahl eine solche steuerliche Förderung sehen werden. Brigitte Ecker legte den Schwerpunkt ihres Vortrags allerdings weniger auf die inhaltlichen Ergebnisse, sondern vielmehr auf die methodischen Herausforderungen. Und die waren beträchtlich, da die eigentlich interessanten Datensätze kaum miteinander verknüpft werden konnten. Unterm Strich kommt die Evaluation aber durchaus zu dem Ergebnis, dass sich eine steuerliche FuE-Förderung auf das Innovationsverhalten der Unternehmen auswirkt, in diesem Sinne interpretierten die österreichischen Auftraggeber wohl auch die Evaluationsergebnisse als Auftrag, die Förderung weiter auszubauen. Aber aufgepasst, in der deutschen Diskussion wird ja insbesondere ein Effekt für kleine und nur unregelmäßig innovierende KMU erwartet. Und hier scheinen die österreichischen Ergebnisse eine solche Erwartungen nicht unbedingt zu bestätigen. Es lohnt also die Lektüre des Evaluationsberichts.
Sascha Ruhland (KMU Forschung Austria) präsentierte eine Evaluation der Garantieinstrumente der AWS. Der Schwerpunkt lag auf der methodischen Herausforderung eines Kontrollgruppenansatzes, der sich auf einen sogenannten propensity score match Ansatz stützte. Der Beitrag zeigte, wie aufwendig und damit kostspielig so ein Vorgehen letztlich ist. Möglich war es in diesem Fall auch nur, weil die Evaluationseinrichtung (KMU Forschung Austria) Zugang auf einen langjährigen und breiten Datensatz hatte, der für die Auswahl der Kontrollgruppe herangezogen werden konnte. Deutlich ergiebiger war nach Einschätzung des Referenten allerdings der Zugang über Befragung und Interviews, weil nur hier die Wirkungszusammenhänge aufgearbeitet werden konnten. Für die in deutschen Evaluationsausschreibungen mittlerweile fast standardmäßig enthaltene Forderung nach Kontrollgruppen ansetzen ist dies eine interessante Praxiserfahrung gewesen.
Einen in Deutschland eher unbekannten Sachverhalt schilderte der Beitrag von Rupert Pichler und Mario Steyer (BMVIT) zur wirkungsorientierten Haushaltsführung. Über alle Ressorts hinweg muss in Österreich seit ein paar Jahren ein auf verschiedenen Hierarchieebenen gegliedertes System an Zielformulierungen und Indikatoren zur Überprüfung der Zielerreichung formuliert werden. Die Formulierung von Oberzielen der Innovationspolitik ist für das Politikfeld nicht wirklich neu, man denke nur an das 3% Ziel in Deutschland. Möglicherweise ist das in anderen Ressorts anders, daher ist auch die wirkungsorientierte Haushaltsführung vielleicht eine gute Idee, um für konkrete Zielformulierungen zu sensibilisieren. Für die Frühjahrstagung interessierte uns insbesondere, ob dieses übergreifend installierte System Rückwirkungen auf die Evaluationspraxis im Politikfeld hat. Um es kurz zu machen: Hat sie im Moment noch nicht. Während Monitoringdaten, die z.b. die FFG in ihrem Wirkungsmonitoring erheben lässt, auch in das Indikatorensystem der wirkungsorientierten Haushaltsführung einfließen (können), sind Evaluationsergebnisse von klassischen Maßnahmenevaluation in vollkommen losgelöst von diesem System. Hier läuft alles wie bisher.
Ein Vortrags-Block des Frühjahrstreffen widmete sich sogenannten missionsorientierten Programmen und ihrer Evaluation. Die übergreifende Frage war, ob es Unterschiede zu klassischen Programmen z.b. der Technologieförderung gibt. Ein wesentliches Problem solcher missionsorientierten Programme ist, das zeigte sehr schön der Beitrag von Marianne Kulicke (FhG ISI), dass Ziele relativ vage formuliert und kaum in Indikatoren zu operationalisieren sind. Die Ziele haben außerdem einen sehr langfristigen Charakter, sodass sie in Hinblick auf die Zielerreichung kaum evaluierbar sind. Und was auch fehlt, ist häufig ein Wirkmodell, wie klassische F&E Förderung eigentlich zur Erreichung solcher übergeordneten, gesellschaftlichen Ziele beitragen soll.
Friedemann Call vom Projektträger DLR präsentierte eine Evaluation aus Baden-Württemberg zu Maßnahmen im Bereich der Klimaanpassung. Interessant war z.b., dass hier eine ganze Reihe von Maßnahmen schon seit längerer Zeit gefördert werden, während eine übergreifende Strategie auf Landesebene erst nachträglich beschlossen wurde. Entsprechend schwierig war es, hier wieder den Bezug zwischen übergreifender politischer Zielsetzung im Bereich gesellschaftliche Herausforderungen und konkreter Projektförderung zu operationalisieren.
Der letzte Beitrag von Norbert Knoll (AWS) beschäftigte sich mit den Folgen der Digitalisierung auf das Fördergeschäft. Im Moment geht es hier vor allen Dingen um eine Prozessoptimierung und Effizienzsteigerung. Inwiefern hier mittelfristig auch neue Monitoringdaten erzeugt werden, die langfristig bestimmte Evaluationsinhalte versetzen, konnten wir in der Diskussion nur anreißen.
In der abschließenden Diskussion brachten die deutschen Teilnehmer zunächst einmal den Eindruck ein, dass vieles in Österreich doch anders läuft, vermutlich auch bedingt durch die etwas zentralen Strukturen, die sich aus den beiden Agenturen FFG und AWS ergeben. Andererseits ist dann die Evaluationspraxis, sind die Evaluationsberichte in Österreich gar nicht so viel anders als die in Deutschland.
