Kapitel 7

Projekte bewerten und verbessern

Mobilitätsprojekte zu entwickeln und umzusetzen, ist mit Arbeit verbunden. Dabei kommt oft die Frage zu kurz, ob das Projekt wirklich so funktioniert wie gedacht und wie es sich verbessern lässt. Dieser Schritt zeigt auf, wie du Projekte selbst bewerten kannst. So können sie noch erfolgreicher werden.

Kapitel 7

Projekte bewerten und verbessern

Mobilitätsprojekte zu entwickeln und umzusetzen, ist mit Arbeit verbunden. Dabei kommt oft die Frage zu kurz, ob das Projekt wirklich so funktioniert wie gedacht und wie es sich verbessern lässt. Dieser Schritt zeigt auf, wie du Projekte selbst bewerten kannst. So können sie noch erfolgreicher werden.

A. Projekte auf dem Prüfstand

A. Projekte auf dem Prüfstand

In Geislingen, Waldburg und Stuttgart-Rot wurden sehr unterschiedliche neue Mobilitätslösungen umgesetzt (vgl. Schritt 6 A ). Das Projektteam untersuchte dabei, wie die Entwicklung und die Umsetzung der Lösungen genau abliefen. Das nennt sich Prozessevaluation. Bei der zusätzlichen Wirkungsevaluation prüften wir, welche Wirkungen die neuen Mobilitätslösungen erzielten. Dieses Vorgehen baut auf der Idee auf, dass sich in gemeinschaftlich gestalteten Mobilitätsprojekten vier Abschnitte unterscheiden lassen: Inputs, Outputs, Outcomes und Impact.

Zwei zentrale Fragen waren für uns wichtig:

  • 1
    Wie gestalten sich die Prozesse, die gemeinschaftliche Mobilitätslösungen hervorbringen?
  • 2

    Welche Nachhaltigkeitswirkungen in den Bereichen Ökonomie, Ökologie und Soziales lassen sich mit gemeinschaftlich gestalteten Mobilitätslösungen erzielen?

  • 1
    Wie gestalten sich die Prozesse, die gemeinschaftliche Mobilitätslösungen hervorbringen?
  • 2

    Welche Nachhaltigkeitswirkungen in den Bereichen Ökonomie, Ökologie und Soziales lassen sich mit gemeinschaftlich gestalteten Mobilitätslösungen erzielen?

Um diese Fragen zu beantworten, hat das Projektteam unterschiedliche Themen und Indikatoren festgelegt, zu denen Informationen gesammelt wurden. Beim Prozess waren es die folgenden Themen: Betroffenheit, Motivation, Selbstwirksamkeit, soziale Menschen besser kennenlernen, die sich in den Quartieren für MobiQ-Projekte engagierten. Die Wirkungsindikatoren waren: Treibhausgas-Emissionen, Verkehrsmittelbestand, Verkehrsvermeidung und -verlagerung, Daseinsvorsorge, Akzeptanz, Bezahlbarkeit, Finanzierbarkeit und Verstetigung.

Abbildung: Prozess- und Wirkungsbewertung im Projekt MobiQ
Abbildung: Prozess- und Wirkungsbewertung im Projekt MobiQ

Um den Prozess und die engagierten Menschen in MobiQ kennenzulernen, führten wir eine Reihe von Interviews durch. Vorab erstellten wir einen Leitfaden mit Fragen. Die Gespräche wurden als Audio-Aufnahmen dokumentiert und anschließend schriftlich festgehalten.

Um die Wirkungen der Mobilitätsprojekte in MobiQ erfassen zu können, nutzten wir unterschiedliche Methoden. Befragte aus den Nachbarschaften konnten beispielsweise online eine Rückmeldung geben, wie sie die neuen Angebote nutzen.

Kombiniert mit weiteren Informationen entstand ein Wirkungsbild der Projekte, beispielhaft hier aufgezeigt am Mobilitätsprojekt „Lastenrad-Verleih“ in Waldburg:

  • 1

    Bevor der Verleih des Lastenrads startete, wurden rund 40 Menschen aus Waldburg befragt: „Wie würden Sie ein Lastenrad nutzen?“

  • 2

    In der Umsetzungsphase der Lastenrad-Verleihs wurden 11 Menschen befragt: „Wie nutzen Sie das Lastenrad?“, „Wie kann das Lastenrad finanziert werden?“

  • 3

    Im Anschluss wurden die Ergebnisse analysiert. Um die Lehren, die wir daraus gezogen haben, geht es im Schritt 7 B . Für das Lastenrad lässt sich sagen, dass es dazu beiträgt, Treibhausgas-Emissionen einzusparen, Verkehr zu verlagern und Alltagswege im Ort bewältigen zu können. Das Lastenrad ist beliebt, allerdings ist die Anschaffung teuer; auch Instandhaltung, Versicherung und die Buchungsplattform verursachen Kosten.

  • 1

    Bevor der Verleih des Lastenrads startete, wurden rund 40 Menschen aus Waldburg befragt: „Wie würden Sie ein Lastenrad nutzen?“

  • 2

    In der Umsetzungsphase der Lastenrad-Verleihs wurden 11 Menschen befragt: „Wie nutzen Sie das Lastenrad?“, „Wie kann das Lastenrad finanziert werden?“

  • 3

    Im Anschluss wurden die Ergebnisse analysiert. Um die Lehren, die wir daraus gezogen haben, geht es im Schritt 7 B . Für das Lastenrad lässt sich sagen, dass es dazu beiträgt, Treibhausgas-Emissionen einzusparen, Verkehr zu verlagern und Alltagswege im Ort bewältigen zu können. Das Lastenrad ist beliebt, allerdings ist die Anschaffung teuer; auch Instandhaltung, Versicherung und die Buchungsplattform verursachen Kosten.

Ich wusste gar nicht, dass auf der Straße so viel Platz ist!“

B. Auf Kurs bleiben

B. Auf Kurs bleiben

In MobiQ konnten wir noch während des Projekts dazulernen, weil wir die Prozessund Wirkungsevaluation parallel durchgeführt haben.

So konnte beim Lastenrad festgestellt werden, dass es dazu beiträgt, TreibhausgasEmissionen einzusparen, Autofahrten zu vermeiden und Alltagswege im Ort zu bewältigen. Das Lastenrad ist beliebt, allerdings  ist die Anschaffung teuer. Auch Instandhaltung, Versicherung und die Buchungsplattform verursachen Kosten. Durch die Plattform „Pendla“ können mit geringen Kosten bzw. sogar monetären Einsparungen Treibhausgas-Emissionen eingespart werden. Es zeigt sich aber auch, dass die Zahl der in der Plattform dokumentierten Fahrgemeinschaften nicht so stark stieg wie die Zahl der Nutzenden. Daraus schlossen wir, dass das Angebot immer wieder durch Werbung ins Bewusstsein gerufen werden muss. Das Einkaufsshuttle hat sich als fast unverzichtbarer Teil des Alltags einer ansonsten wenig mobilen Bevölkerungsgruppe etabliert. Hier könnte allerdings eine bessere Auslastung bzw. ein anderer Fahrzeugantrieb die ökologische Bilanz verbessern.

Indem wir untersuchten, welche sozialen Strukturen und Vorgänge sich rundherum abgespielt haben, konnten wir verstehen, was es braucht, um die Mobilitätsangebote an den drei Standorten auf die Dauer zu erhalten. Aus Befragungsergebnissen konnten wir auch schon weitere Ideen sammeln, die zukünftig umgesetzt werden könnten.

C. Projektcheck selbst gemacht

C. Projektcheck selbst gemacht

 Um Mobilitätsprojekte selbst zu bewerten und daraus zu lernen, braucht es nicht viel. Etwas Equipment ist aber hilfreich. Praktisch sind zum Beispiel:

  • Ein Computer, Smartphone oder Tablet mit einem Textprogramm wie Microsoft Word, Apple Pages oder LibreOffice Writer. Auch Online-Textverarbeitungsprogramme wie Google Docs sind nützlich

  • Internetzugang

  • Umfragesoftware, beliebte kostenfreie Lösungen sind z. B. Google Forms oder SurveyMonkey

  • Drucker oder Copy Shop

  • Audio-Aufnahme-App auf dem Smartphone oder ein Aufnahmegerät

  • Klemmbrett

  • Papier, Textmarker und Kugelschreiber

 Je nachdem, wie euer Projekt strukturiert ist, bieten sich verschiedene Arten der Bewertung an. Wenn viele Personen das Projekt nutzen, könnte eine Umfrage sinnvoll sein, um die Wirkung zu bewerten. Ist die Gruppe von Nutzer:innen und Organisator:innen eher überschaubar, so könnt ihr vermutlich alles anhand persönlicher Interviews bewerten. Hier zeigen wir zwei Beispiele, wie ihr Prozesse und Wirkungen selbst bewerten könnt

Prozesse mit Interviews bewerten

 Für die Bewertung von Prozessen bieten sich Interviews an. Dabei kannst du z. B. so vorgehen:

Bestimmen, was genau untersucht werden soll, z. B.: „Wir wollen wissen, warum sich Menschen in unserem Projekt engagieren. Wie können wir diese Menschen dazu bewegen, sich langfristig in unser Projekt einzubringen?“

Überlegen, wer befragt werden soll, z. B. alle Menschen, die sich bisher in eurem Projekt engagiert haben, auch die, die nicht mehr dabei sind.

Alle Fragen an die Zielgruppe in einem übersichtlichen Dokument zusammenstellen und in eine sinnvolle Reihenfolge brin gen. Dabei solltet ihr die Fragen möglichst einfach und klar formulieren. Die Fragen sollten zudem offen (ohne vorgegebene Antwortmöglichkeiten) und neutral (also nicht wertend), respektvoll und wohlwollend sein. Eine Frage sollte immer nur ein Thema betreffen, sodass klare Antworten möglich sind. Eine Frage, auf die direkt mit „Ja“ oder „Nein“ geantwortet werden kann, ohne viel zu erzählen, ist meist keine gute Interviewfrage. 

Menschen aus der Zielgruppe für die Teilnahme an Interviews gewinnen.

Mit den Menschen ins Gespräch kommen. Oft lohnt es sich, Interviews zu zweit zu führen. Eine Person führt das Gespräch und eine Person notiert die Antworten. Datenschutz ist wichtig, wenn die Gespräche aufgezeichnet oder die Ergebnisse veröffentlicht werden sollen. Die Personen müssen hiermit einverstanden sein und die Veröffentlichung freigeben.

Die Frage aus dem Untersuchungsgegenstand beantworten. Die Dokumentation oder Notizen zu den Interviews bieten hierfür die Grundlage. Digital oder mit Textmarkern können Aussagen hervorgehoben und kommentiert werden. Anschließend werden die Erkenntnisse übersichtlich zusammengefasst.

Bestimmen, was genau untersucht werden soll, z. B.: „Wir wollen wissen, warum sich Menschen in unserem Projekt engagieren. Wie können wir diese Menschen dazu bewegen, sich langfristig in unser Projekt einzubringen?“

Überlegen, wer befragt werden soll, z. B. alle Menschen, die sich bisher in eurem Projekt engagiert haben, auch die, die nicht mehr dabei sind.

Alle Fragen an die Zielgruppe in einem übersichtlichen Dokument zusammenstellen und in eine sinnvolle Reihenfolge brin gen. Dabei solltet ihr die Fragen möglichst einfach und klar formulieren. Die Fragen sollten zudem offen (ohne vorgegebene Antwortmöglichkeiten) und neutral (also nicht wertend), respektvoll und wohlwollend sein. Eine Frage sollte immer nur ein Thema betreffen, sodass klare Antworten möglich sind. Eine Frage, auf die direkt mit „Ja“ oder „Nein“ geantwortet werden kann, ohne viel zu erzählen, ist meist keine gute Interviewfrage. 

Menschen aus der Zielgruppe für die Teilnahme an Interviews gewinnen.

Mit den Menschen ins Gespräch kommen. Oft lohnt es sich, Interviews zu zweit zu führen. Eine Person führt das Gespräch und eine Person notiert die Antworten. Datenschutz ist wichtig, wenn die Gespräche aufgezeichnet oder die Ergebnisse veröffentlicht werden sollen. Die Personen müssen hiermit einverstanden sein und die Veröffentlichung freigeben.

Die Frage aus dem Untersuchungsgegenstand beantworten. Die Dokumentation oder Notizen zu den Interviews bieten hierfür die Grundlage. Digital oder mit Textmarkern können Aussagen hervorgehoben und kommentiert werden. Anschließend werden die Erkenntnisse übersichtlich zusammengefasst.

Wirkungen mit Fragebögen bewerten

Umfragen mit Fragebögen bieten sich an, um Wirkungen bewerten zu können. Ihr könnt beispielsweise so vorgehen:

Bestimmen, was genau untersucht werden soll, z. B.: „Wir wollen wissen, warum sich Menschen in unserem Projekt engagieren. Wie können wir diese Menschen dazu bewegen, sich langfristig in unser Projekt einzubringen?“

Überlegen, wer befragt werden soll, z. B. alle Menschen, die sich bisher in eurem Projekt engagiert haben, auch die, die nicht mehr dabei sind.

Alle Fragen in einem übersichtlichen Dokument zusammenstellen und in eine Reihenfolge bringen. Dabei solltet ihr die Fragen einfach und klar formulieren. Sie sollten offen und neutral sein (also nicht wertend), respektvoll und wohlwollend. Eine Frage betrifft immer nur ein Thema, sodass klare Antworten möglich sind. Im Unterschied zu Interviews in der Prozessbewertung werden in Fragebögen meist Antwortoptionen vorgegeben. Dabei ist es wichtig, dass sich die Antwortkategorien inhaltlich nicht überschneiden.

Befragte sollten immer ein Kreuzchen setzen können, das geht am besten, indem die Optionen „keine Meinung“ oder „Sonstiges“ mit hinzugenommen werden.

EEntweder den Fragebogen mit Ankreuzfeldern ausdrucken oder den Fragebogen digital programmieren (siehe Equipment).

Menschen aus der Zielgruppe für die Teilnahme an der Umfrage gewinnen.

Die Möglichkeiten sind vielfältig, z. B. Befragungen mit Klemmbrett, ein vor Ort ausgehändigter Fragebogen oder ein postalischer Einwurf.

Möglichkeiten sind vielfältig, z. B. Befragungen mit Klemmbrett, ein vor Ort

ausgehändigter Fragebogen oder ein

postalischer Einwurf.

Die Frage aus dem Untersuchungsgegenstand beantworten. Für jede Frage wird eine Tabelle mit den Ergebnissen erstellt, z.B.:

Bestimmen, was genau untersucht werden soll, z. B.: „Wir wollen wissen, warum sich Menschen in unserem Projekt engagieren. Wie können wir diese Menschen dazu bewegen, sich langfristig in unser Projekt einzubringen?“

Überlegen, wer befragt werden soll, z. B. alle Menschen, die sich bisher in eurem Projekt engagiert haben, auch die, die nicht mehr dabei sind.

Alle Fragen in einem übersichtlichen Dokument zusammenstellen und in eine Reihenfolge bringen. Dabei solltet ihr die Fragen einfach und klar formulieren. Sie sollten offen und neutral sein (also nicht wertend), respektvoll und wohlwollend. Eine Frage betrifft immer nur ein Thema, sodass klare Antworten möglich sind. Im Unterschied zu Interviews in der Prozessbewertung werden in Fragebögen meist Antwortoptionen vorgegeben. Dabei ist es wichtig, dass sich die Antwortkategorien inhaltlich nicht überschneiden.

Befragte sollten immer ein Kreuzchen setzen können, das geht am besten, indem die Optionen „keine Meinung“ oder „Sonstiges“ mit hinzugenommen werden.

EEntweder den Fragebogen mit Ankreuzfeldern ausdrucken oder den Fragebogen digital programmieren (siehe Equipment).

Menschen aus der Zielgruppe für die Teilnahme an der Umfrage gewinnen.

Die Möglichkeiten sind vielfältig, z. B. Befragungen mit Klemmbrett, ein vor Ort ausgehändigter Fragebogen oder ein postalischer Einwurf.

Möglichkeiten sind vielfältig, z. B. Befragungen mit Klemmbrett, ein vor Ort

ausgehändigter Fragebogen oder ein

postalischer Einwurf.

Die Frage aus dem Untersuchungsgegenstand beantworten. Für jede Frage wird eine Tabelle mit den Ergebnissen erstellt, z.B.:

Mögliche Fragetypen in Fragebögen:

  • Offene Fragen (W-Fragen) – wenn die Befragten eine detaillierte Antwort geben sollen, z. B.: „Welche Verbesserungsvorschläge hast du für den Lastenrad-Verleih?“
  • Geschlossene Fragen – wenn eine Übersicht hilfreich ist, es aber nur eine Antwort gibt, z. B.: „Welches Fahrzeug hättest du genutzt, wenn es das Lastenrad nicht gäbe?“ a) Auto, b)öffentliche Verkehrsmittel, c) Fahrrad, d) zu Fuß, e) sonstige Verkehrsmittel, d) ohne Lastenrad hätte ich den Weg nicht gemacht, f) weiß nicht.
  • Listen-Fragen – wenn eine Übersicht hilfreich ist, es aber mehrere Antworten gibt, z. B.: „Welches Fahrzeug ist in deinem Haushalt verfügbar?“ a) Auto, b) Fahrrad, c) Motorrad, d) Motorroller, e) sonstige Verkehrsmittel, f) weiß nicht.
  • Ranking-Fragen – wenn die Rangordnung wichtig ist, z. B.: „Ordne die folgenden Lastenrad-Merkmale in absteigender Wichtigkeit. Teile ihnen dazu die Zahlen 1–3 zu.“ Elektroantrieb (1), Kindersitz (2), Regenschutz (3).
  • Rating-Fragen – wenn etwas bewertet werden soll, z. B.: „Wie hat dir deine letzte Fahrt mit dem Lastenrad gefallen?“ Gut, eher gut, eher schlecht, schlecht.
  • Input-Fragen – wenn eine Zahl erfasst werden soll, z. B.: „Wie viele Kilometer hast du beim letzten Mal mit dem Lastenrad zurückgelegt?“ ___ km

Bei der Veranstaltung „110 Meter Fleiner Zukunft“ hatten alle Besucher:innen die Möglichkeit, ihre Meinung zur Straßenaktion zu äußern und Ideen für eine dauerhafte Neugestaltung der Verkehrsflächen einzubringen. Foto: Barbara Hefner

Die Mental Map der Fleiner Straße in Stuttgart Rot hält die Eindrücke fest, die während eines Besuchs besonders im Gedächtnis geblieben sind. HFT_Labor Experimenteller Stadtraum_Sommersemester_2023 Studierende: Lara Joséphine Barnic; David Maihöfer; Steve Oberst Bearbeitung: Pauline Philipp

Die Besucher:innen der Fleiner Straßenaktion waren sich bei der Umfrage vor Ort einig, dass die Straße zukünftig Fußgänger:innen und Fahrradfahrenden gehören sollte. Foto: Barbara Hefner

Die Mobilitätsangebote in Geislingen wurden im Zuge mehrerer Projektgruppentreffen bewertet und verbessert. Foto: Michael Frisch

In Stuttgart-Rot versammelten sich die aktiven Akteur:innen wieder im Bürgerhaus, um das Projekt gemeinsam weiterzuentwickeln. Foto: insertEFFECT GmbH

D. Die Rolle der Stadt oder Gemeinde

D. Die Rolle der Stadt oder Gemeinde

Städte und Gemeinden, Institutionen und Vereine haben oft mehr Personal und finanzielle Mittel als private Initiativen. Damit entstehen neue Möglichkeiten, Projekte zu bewerten. Die Evaluation von Prozessen und Wirkungen kann, je nach Ziel und Budget, intern durchgeführt oder ausgelagert werden. Unabhängig davon, für welche Lösung sich eine Kommune oder Institution entscheidet, kann es hilfreich sein, vorab folgende Checkliste durchzugehen.