Ewaluacja procesów partycypacyjnych
Co to jest ewaluacja?
Czemu służy ewaluacja?
Jak myśleć o ewaluacji w praktyce?
Model logiczny
Co to jest ewaluacja?
Wg definicji sformułowanej przez Polskie Towarzystwo Ewaluacyjne, ewaluacja to:
- ocena wartości projektu z zastosowaniem określonych kryteriów w celu jego usprawnienia, rozwoju lub lepszego rozumienia,
- zbieranie, analiza oraz interpretacja danych na temat znaczenia i wartości projektu przy zwróceniu uwagi na zagadnienia istotne dla zainteresowanych,
- ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu w kontekście założonych celów, porównywanie rezultatów projektu ze wstępnymi zamierzeniami.
(źródło: Polskie Towarzystwo Ewaluacyjne)
Czemu służy ewaluacja?
Ewaluacja służy przede wszystkim nauce, czyli uczeniu się poprzez doświadczenia z realizacji projektu/programu. Ewaluacja powinna też sprzyjać refleksji, czyli ciągłemu myśleniu o tym, co chcemy osiągnąć, jak chcemy to zrobić, co działa w naszym projekcie/programie, a co nie działa.
Jest to szczególnie istotne w przypadku procesów partycypacyjnych, którym towarzyszy wiele elementów ryzyka i kwestii, które pojawiają się dopiero w trakcie projektu, których nie przewidzieliśmy, a które chcielibyśmy w przyszłości wykorzystać, żeby kolejny projekt z elementami partycypacji zrealizować lepiej.
Jak myśleć o ewaluacji w praktyce?
W myśleniu o ewaluacji, która ma spełniać funkcję uczenia się, można wyróżnić trzy etapy:
1. Planowanie ewaluacji
O ewaluacji trzeba pomyśleć na samym początku projektu, a w zasadzie przed jego realizacją. Nie należy planować ewaluacji, kiedy projekt zmierza ku końcowi. Idealnie byłoby myśleć o ewaluacji w momencie, kiedy się projekt planuje, czyli kiedy się pisze wniosek. Jednak w rzeczywistości dobrą praktyką jest – zanim zostaną podjęte jakiekolwiek działania w projekcie – spotkanie się w zespole i zastanowienie nad tym, do czego posłuży nam ewaluacja i jak się za nią zabierzemy.
Myślenie o ewaluacji pod koniec projektu rodzi wiele trudności. Może okazać się, że:
straciliśmy cały okres trwania projektu, który mogliśmy poświęcić na refleksję i zastanawianie się nad tym, co nam wychodzi, a co nie;
nie możemy już zebrać informacji potrzebnych do odpowiedzenia na pojawiające się pod koniec projektu pytania i wątpliwości; wiedza, która byłaby w tym zakresie użyteczna minęła wraz ze wszystkimi wydarzeniami, które już w projekcie nastąpiły.
W takiej sytuacji nie ma żadnych podstaw do ewaluacji.
Myślenie o ewaluacji zwykle zaczyna się od powrotu do opisu projektu, w którym powinno być sformułowane w czytelny sposób, po co jest ten projekt, jakie ma cele i jak chcemy je osiągnąć. Warto też zastanowić się, co może nam w projekcie wyjść, co może nie wyjść oraz pomyśleć, czy to, co robimy w ramach projektu – różnego rodzaju warsztaty, spotkania, debaty – przełoży się na jakieś wyniki. Moment, w którym krytycznie myślimy o własnym projekcie to już zaczątek ewaluacji i może on przynieść dużo pożytku.
Kolejnym elementem takiej zbiorowej refleksji powinno być zastanowienie się, czego tak naprawdę musimy się dowiedzieć, jeśli chcemy się czegoś nauczyć na naszym doświadczeniu. Pomóc w tym może próba sformułowania dobrych pytań ewaluacyjnych:
Czy cel naszego projektu został osiągnięty?
Czy działania, które zostały podjęte w projekcie były najwłaściwszą ścieżką do osiągnięcia założonego celu?
Czy nasz projekt dotarł do odpowiedniej i wystarczająco dużej grupy odbiorców?
Czy uczestnicy są zadowoleni z udziału w projekcie?
Z wielu przychodzących do głowy pytań ewaluacyjnych zwykle trzeba wybrać kilka dla nas najważniejszych, dzięki którym czegoś się nauczymy, a następnie zastanowić się nad tym, jak jesteśmy w stanie na te pytania odpowiedzieć. Dobrze nie zaczynać szukać od konkretnego rozwiązania (np. zrobimy ankietę), ale od tego, czego w zasadzie chcemy się dowiedzieć. Często, poza tradycyjnymi formami ewaluacji, można wymyślić (samemu lub po konsultacji z badaczem) inne sposoby odpowiadania na postawione pytania.
2. Zbieranie informacji potrzebnych do ewaluacji (przez cały czas trwania projektu)
Po rozpoczęciu projektu jest wiele okazji do zbierania informacji potrzebnych do ewaluacji – można robić badania, ankiety, rozmawiać z ludźmi, spotykać się, dyskutować. Wachlarz różnych technik i narzędzi do zbierania informacji, które w ewaluacji się przydają, jest szeroki.
Przykład: po seminarium można spotkać się we własnym gronie i przegadać to, co się wydarzyło, co się udało, a co się nie udało. To jest bardzo dobre narzędzie ewaluacyjne, lepsze niż niejedna ankieta. Zwykle dzięki naszemu zmysłowi obserwacji jesteśmy w stanie powiedzieć sobie, co w trakcie seminarium się udało, a co się nie udało. Można też (osobiście lub za pośrednictwem kogoś z zewnątrz) zadzwonić do 2-3 uczestników i zapytać, jak się podobało, co się nie podobało; ten sposób może też świetnie działać przy minimalnym nakładzie środków.
3. Zastanowienie się, co wynika ze wszystkich zebranych informacji
Kiedy w trakcie projektu nazbieramy materiału do refleksji (różnych wyników ankiet, rozmów, badań, warsztatów, które dla siebie prowadziliśmy i robiliśmy z nich notatkę), trzeba wygospodarować czas – jeszcze zanim powstanie sprawozdanie z projektu – żeby się spotkać i cały ten materiał przedyskutować. Trzeba sobie stworzyć przestrzeń i czas, żeby się uczyć, czyli spotkać się i wrócić do tych pytań, które się stawiało na początku – „tego chcieliśmy się dowiedzieć przed projektem, teraz jesteśmy mądrzejsi rok później, to jak my na te pytania potrafimy sobie w tej chwili odpowiedzieć?”.
Podczas ewaluacji przydatny może okazać się model logiczny (zwany też matrycą logiczną), dzięki któremu można uświadomić sobie i precyzyjnie nazwać to, co się robi w projekcie, co powstaje dzięki temu, że wykonuje się określoną pracę, co chce się dzięki temu osiągnąć i do czego to wszystko może prowadzić.
Są cztery elementy modelu logicznego:
a) działania
Działaniami (lub aktywnościami) nazywa się to, co robimy w danym projekcie, np. przychodzenie codziennie do pracy, zapraszanie gości na seminaria, rezerwowanie sali, prowadzenie strony internetowej itd. Ale działania to nie jest to, co nadaje sens danemu przedsięwzięciu. Natomiast z tych działań coś wynika.
b) produkty
To, co powstaje w rezultacie działań, czyli wykonywanej przez nas pracy, nazywa się produktami. Mogą nimi być: spotkanie, seminarium, strona internetowa, podręcznik. Ale to wciąż nie jest coś, co nadaje sens danej działalności. Chodzi o to, żeby na tej podstawie zarówno my, jak i odbiorcy naszych działań czegoś się dowiedzieli / nauczyli.
c) rezultaty
Rezultaty to coś, co nadaje sens danemu przedsięwzięciu. Rezultatami jest to, co ma wynikać z działań i produktów.
Przykład: organizujemy seminaria po to, żeby podnieść czyjeś kompetencje w jakimś zakresie. W związku z tym wykonujemy jakąś pracę, żeby powstał produkt, czyli spotkanie, ale sens jest taki, żeby czegoś się na nim nauczyć. To będzie prawdziwy wynik tego przedsięwzięcia, jeśli faktycznie uczestnicy spotkania poczują, że lepiej rozumieją, jak coś należy robić. I to nadaje sens temu spotkaniu.
d) wpływy
Warto pamiętać, czemu nasze przedsięwzięcie służy w dalszej perspektywie, czyli np. w jakie bardziej strategiczne cele (np. ogólnopolskie) się wpisuje. Wpływy to coś, co w pewien sposób nadaje sens i wyznacza kierunek naszej działalności.
Przykład: Sensem naszej działalności jest sprawienie, że partycypacja stanie się standardem w Polsce. Na pewno nie jest to coś, co jesteśmy w stanie osiągnąć dzięki jednemu seminarium na temat partycypacji, ale nawet ono jest małym krokiem w tę stronę.
Powyższą klasyfikację działań w projekcie warto wykonać na samym jego początku. Chwila refleksji nad tym podziałem sprawi, że później wiadomo na przykład, że – ponieważ to wyniki nadają sens naszemu przedsięwzięciu – to np. w ewaluacji warto zastanowić się, czy te wyniki osiągamy, czy nie. Wówczas wiemy, że powinniśmy zastanowić się nie tylko nad tym, ile osób uczestniczy w naszych działaniach (bo to jest coś, co jest produktem naszej działalności, ale nie nadaje sensu naszemu przedsięwzięciu), ale przede wszystkim nad tym, czy ludzie będą mieli poczucie, że w ich trakcie czegoś się dowiedzieli, nauczyli lub do czegoś zwyczajnie przydali.
Powyższy tekst został opracowany na podstawie wystąpienia Łukasza Ostrowskiego, ewaluatora programów społecznych w Pracowni Badań i Innowacji Społecznych “Stocznia”, podczas spotkania poświęconego ewaluacji procesów partycypacyjnych, 10 grudnia 2012 r.
Dodatkowo zachęcamy do zapoznania się z publikacją brytyjskiej organizacji Involve pt. „Making a Difference: A guide to evaluating public participation in central government” (publikacja w języku angielskim). Udostępniamy również jej fragment przetłumaczony na język polski:
