Ocena efektywności programów wychowawczego i profilaktycznego obowiązującego w danej placówce oświatowej

Ewaluacją nazywamy systematyczne gromadzenie informacji o realizowanych działaniach w celu umożliwienia podejmowania decyzji o przyszłości danego programu wychowawczego czy profilaktycznego (np. jego kontynuacji, replikacji, modyfikacji, zaniechaniu). Ewaluacja jest to zbieranie i wykorzystywanie informacji w celu odpowiedzi na pytania dotyczące opracowanego przez nas programu. Jest to także sposób na zdobycie większej ilości informacji o programie, niż było dostępnych przed przystąpieniem do jego realizacji. Celem przeprowadzania ewaluacji jest ocena wartości (jakości) jakiegoś obiektu lub (projektowanego, wdrażanego albo zakończonego) czy procesu (np. programu profilaktycznego, edukacyjnego, terapeutycznego).
Do pomiaru skuteczności programu lub też do oceny jego jakosci, skuteczności służą wskaźniki, które powiązane być powinny z celami szczegółowymi programu a te z kolei z jego celem głównym.
Jeżeli chodzi o proces budowania i dobierania wskaźników warto kierować się pewnymi standardami, które wyraża tzw. reguła SMART. Według niej wskaźniki (podobnie jak cele) powinny:
•odnosić się do grupy docelowej programu (S – specific),
•być sformułowane w formie mierzalnych rezultatów (M – measurable),
•być sformułowane w formie oczekiwanej zmiany (A – action-oriented),
•być realistyczne, możliwe do osiągnięcia (R – realistic),
•być określone w czasie (T – timed).
Jeśli pojawiają się problemy z klarownym sformułowaniem wskaźników, należy sprawdzić czy cele zostały zdefiniowane w czytelny i jednoznaczny sposób.

W odpowiedzi na zadany problem zaprezentuję przykładowe wskaźniki realizacji działań podejmowanych w ramach realizacji programu profilaktyki jak i efektów tych działań.

Opis ogólnego problemu badawczego:

Ocena skuteczności podejmowanych działań wychowawczych i profilaktycznych w szkole czyli ocena adekwatności treści Programu Wychowawczego i Profilaktyki do obserwowanych zachowań uczniów, zmiany ich postawy, zachowań i odczuć.

Badany obszar: Działalności dydaktyczna, wychowawcza i opiekuńcza placówki w zakresie skuteczności wdrażania przyjętego Szkolnego Programu Profilaktyki.

SYTUACJA BADAWCZA - DOTYCZY OCENY EFEKTYWNOŚCI PROGRAMU PROFILAKTYKI REALIZOWANEGO W ZESPOLE SZKOLNO-GIMNAZJALNYM NR XX W YYYYY

Szkolny Program Profilaktyki w Zespole Szkolno-gimnazjalnym obejmuje swoim zakresem następujące obszary działań profilaktycznych:
1-Profilaktyka dotycząca bezpiecznej drogi do szkoły
2-Profilaktyka w zakresie bezpiecznych warunków nauki
3-Profilaktyka uzależnień
4-Profilaktyka promująca zdrowy i bezpieczny styl życia.
5-Profilaktyka agresji

Przeanalizuję Obszar nr 3 Profilaktyka uzależnień

Problemy szczegółowe poddawane analizie w ramach ewaluacji problemu głównego czyli oceny jego efektywnosci.
Problem główny , którego poprawną realizację ma monitorować ewaluacja należy rozpatrzeć analizując badane zagadnienie w oparciu o odpowiedzi na pytania:
-kto? czyli kto jest odbiorca ostatecznym - tu dzieci i młodzież tej szkoły a pośrednio ich rodzice i nauczyciele. Czy program obejmuje swoim zakresem aktywnosci dla tych trzech grup? czy nikt nie został pominięty?
-co? przekazywac ma program?co dawać jego uczestnikom?
jak? czy wybrane do realizacji treści programu formy i metody pracy są odpowiednie?
Przykładowo przeanalizuję wybrane problemy szczegółowe:
1 problem badawczy szczegółowy:
Czy jest zainteresowanie Szkolnym Programem Profilaktyki i proponowanymi przez niego aktywnościami?

Odpowiedź na to pytanie da analiza list frekwencji czyli obecnosci na zajęciach jak i zainteresowania odbiorców programu czyli dzieci , młodzieży i ich rodziców realizacją zagadnień z obszaru profilaktyki w formie np: zajęć z dramy, udziału w konkursie plastycznym, udziału w spotkaniach ze specjalistami, organizacją prelekcji i konsultacji. W założeniach oparcie działań profilaktycznych na metodach aktywizujących jest dostosowane do możliwości rozwojnowych i poznawczych dzieci ( piosenki, gry zespołowe i dydaktyczne, zajęcia plastyczne, bajka, fabuła, drama – dzieci zawsze w roli pozytywnej ) jest ciekawszą i oryginalną a takze atrakcyjniejszą formą popularyzacji wiedzy.
Będzie to typowy pomiar ilosciowy dajacy odpowiedż na pytanie np: jaki % uczniów brał udział w zajeciach z dramy? ile % uczniów zainteresował udział w konkursie plastycznym itp

2 problem badawczy szczegółowy :
Czy program obejmował promowanie zdrowia, prawidłowego żywienia i zdrowych nawyków oraz czy odpowiadał na potrzeby uczestników? Czy należy go rozbudować o nowe treści itp?

Analiza ankiet a w szczególności treści odpowiedzi na pytania otwarte skierowane do uczniów, rodziców i nauczycieli

3. problem badawczy szczegółowy :

|Czy program kształtuje umiejętności dostrzegania różnicy między pożywieniem, lekami, trucizną i środkami odurzającymi? Czy i jeśli tak to czy zmienił sie poziom wiedzy jego uczestników na w/w temat ? Czy progrtam wpłynął na spopularyzowanie wiedzy o szkodliwości środków odurzających? tytoniu? leków? itp

OBSZAR DZIAŁANIA, ZADANIA: i FORMY REALIZACJI:

PROFILAKTYKA UZALEŻNIEŃ 1. Zapobieganie uzależnieniu od mediów, komputera, internetu.
Realizacja autorskiego projektu profilaktycznego "STOP KOMPUTERKU" skierowanego do uczniów ich rodziców i wychowawców klas . Projekt obejmować będzie organizację spotkania o charakterze informacyjno-profilaktycznym skierowanego do rodziców uczniów. Podczas spotkania rodzice wysłuchają prelekcji wygłoszonej przez specjalistę z Ośrodka specjalizującego się w terapii uzaleznień od internetu,mediów i komputerów, następnie odbędą się konsultacje grupowe - możliwość zadawania pytań specjaliście jak i będzie takze istniała możliwość sformułowania pytania anonimowo i umieszczenienia go na liście pytań, na które terapeuta odpowie w formie broszurki towarzyszącej w/w projektowi, która dostępna będzie bezpłatnie zainteresowanym rodzicom jako podsumowanie projektu.
Specjalista spotka się takze z nauczycielami szkoły w celu omówienia w/w problematyki, odpowiedzi na ew.pytania i przekazania prezentacji nt. niebezpieczeństw cyfryzacji do zaprezentowania jej na spotkaniach klasowych z rodzicami
2. W ramach w/w projektu przeprowadzony zostanie także konkurs prac plastycznych o tematyce profilaktycznej dla uczniów klas 0-III szkoły podstawowej pt: "W zdrowym ciele- ZAWSZE zdrowy duch!"
3.W/w projekt realizowany będzie także poprzez organizację bloku zajęć dla starszych dzieci z klas IV-VI i młodzieży gimnazjum z wykorzystaniem DRAMY jako ciekawej metody aktywizującej. Uczestnicy bloku przygotują wspólnie i zaprezentują wszystkim uczniom szkoły, rodzicom i nauczycielom przedstawienie pantomimiczne pt" PROFILAKTYCZNE SCENKI PANTOMIMICZNE"
2.Poszeżenie wiedzy na temat szkodliwości środków psychoaktywnych, narkotyków. Organizacja w szkole wizyty policjantów z Wydziału Antynarkotykowego Policji - prelekcja dla młodzieży, pokaz możliwosci psów szkolonych do poszukiwań narkotyków i popołudniowe spotkanie informacyjne dla rodziców nt.objawów zażywania narkotyków, ich wyglądu i wpływu na zmianę zachowanie
3. Kształtowanie postawy asertywności wobec uzależnień. Zorganizowanie spotkań z pedagogiem szkolnym w ramach 3 grup wiekowych: dzieci młodsze SP, dzieci starsze SP i młodzież gimnazjalna promujących zachowania asertywne i umiejętność odmowy
4. Przeciwdziałanie używaniu przez młodzież środków psychoaktywnych i tytoniu poprzez popularyzację aktywnego i zdrowego stylu życia.
Organizacja zawodów sportowych popularyzujących aktywny i zdrowy styl życia.

Pod koniec roku szkolnego przeprowadzona będzie ewaluacja programu za pomocą ankiet, testów wiedzy w formie pretestu i posttestu z analizą wyników, ankiet otwartych np dla nauczycieli .
Osobami ankietowanymi, badanymi będą adresaci programu profilaktyki czyli : rodzice, nauczyciele oraz uczniowie naszego zespołu szkolno- gimnazjalnego
Uzyskane wyniki posłużą do analizy przeprowadzonych działań, ich skuteczności oraz potrzeby wprowadzenia ewentualnych zmian. Za działania związane z ewaluacją odpowiedzialny jest Szkolny Zespół Profilaktyczny.

PRZYKŁADY WSKAŻNIKÓW PROPONOWANY WSKAŹNIK METODA BADAWCZA WYBRANA DO PROCEDURY EWALUACJI NARZĘDZIE WYKORZYSTANE DO EWALUACJI/ZASTOSOWANA TECHNIKA EWALUACJI

Wskaźnik realizacji działań autorskiego projektu profilaktycznego "STOP CYFROMANII" -udział 100 rodziców w spotkaniu o charakterze informacyjno-edukacyjno-profilaktycznym do rodziców uczniów

Wskaźnik osiągnięcia efektów uczestnictwa w działaniach edukacyjno-informacyjnych- przeprowadzony bezpośrednio po spotkaniu -oczekiwania zmniejszenia – w stosunku do okresu bezpośrednio sprzed prelekcji – do 10 proc. (lub mniej) grupy rodziców objętych oddziaływaniem, udzielających więcej niż dwóch niepoprawnych odpowiedzi na pytania testu z zakresu wiedzy na temat niebezpieczeństw uzależnienia od internetu, cyfryzacji

Wskażnik efektów- Wydanie i rozpowszechnienie 200 egzemplarzy broszurki towarzyszącej w/w projektowi, która dostępna będzie bezpłatnie zainteresowanym rodzicom

Wskaźnik efektów projektu- spotkanie 40 nauczycielami szkoły -zagugerowanie kierunków ew zmian, rozbudowy obecnego Programu Profilaktyki

Wskaźnik efektów projektu-rozpropagowanie pośród 500 rodziców prezentacji nt. niebezpieczeństw rodzicami wśród rodziców

Wskaźnik realizacji działań projektu w formie udziału 30 dzieci z klas 0-III SP w konkursie prac plastycznych pt: "W zdrowym ciele- ZAWSZE zdrowy duch!"
Wskaźnik realizacji działań projektu w formie udziału 30 osób z klas SP IV-VI i gimnazjum w bloku zajęć dodatkowych z wykorzystaniem DRAMY
Monitorowanie frekwencji na spotkaniu i Schemat z dwukrotnym pomiarem w jednej grupie: pretest (bezpośrednio przed rozpoczęciem prelekcji) i posttest (po jej zakończeniu)

Sprawozdanie z realizacji programu

Ankieta badawcza dla nauczycieli z pytaniami otwartymi

Ankieta dla rodziców

Monitorowanie zainteresowania konkursem plastycznym

Monitorowanie list obecności na poszczególnych zajęciach dodatkowych z wykorzystaniem dramy

Arkusz frekwencji

Dwa testy wiedzy na temat niebezpieczeństw uzależnienia od internetu, cyfryzacji
-pretest i posttest- .opracowanie autorskie

Formularz sprawozdania

Ankieta z pytaniami badawczymi dla nauczycieli

Ankieta dla rodziców

Arkusz udziału w konkursie

Analiza list obecności w zajęciach

Wskaźnik realizacji działań projektu w formie udziału 520 uczniów szkoły w spotkaniu policjantów z Wydziału Antynarkotykowego Policji

Wskaźnik realizacji działań projektu w formie udziału 30 rodziców w spotkanie informacyjnym Monitorowanie list obecności na spotkaniu

Monitorowanie list obecności na spotkaniu

Ankieta dla rodziców

Analiza arkusza frekwencji na spotkaniu

Analiza arkusza frekwencji na spotkaniu

Arkusz ankiety dla rodziców

Wskaźnik efektów realizacji działań projektu w formie udziału 520 dzieci w spotkaniach z pedagogiem promujące zachowania asertywne i umiejętność odmowy

Ankieta dla uczniów

Arkusz ankiety dla uczniów

Wskażnik realizacji projektu - udział 40 uczniów w zawodach sportowych

Wskażnik osiągnięcia efektów projektu- Trzydzieści dni po zakończeniu programu: w porównaniu z grupą kontrolną, zwiększenie co najmniej o 15 proc. grupy uczniów objętych oddziaływaniem, deklarujących niepicie napojów alkoholowych (z wyróżnieniem piwa, wina, wódki i drinków) w okresie ostatnich trzydziestu dni w stosunku do okresu bezpośrednio sprzed interwencji (wskaźnik osiągnięcia efektów). Monitorowanie listy uczestników zawodów

Schemat pretest (bezpośrednio przed rozpoczęciem programu) – posttest (30 dni po zakończeniu oddziaływań) z losowym podziałem na grupę eksperymentalną i kontrolną. Arkusz zgłoszeń do zawodów

Ankieta audytoryjna dla uczniów

PRZYKŁADOWE PYTANIA BADAWCZE:
Z ankiety dla Ucznia :

1.Czy proponowane przez szkołę zajęcia profilaktyczne są ciekawe dla ciebie ?

2.Jakie zachowania zwiazane z uzależnieniami dostrzegasz wśród swoich koleżanek i kolegów ze szkoły?

3. Czy umiałbyś odmówić, gdyby namawiano Cię do picia alkoholu, palenia papierosów, zażywania narkotyków?
TAK NIE

4. Czy w razie problemów życiowych możesz liczyć na pomoc:
- koleżanek-kolegów
- wychowawcy
- dyrektora
- rodziców

5.Czy jesteś wolny od nałogów?
- papierosów TAK NIE
- alkoholu TAK NIE
- narkotyków TAK NIE
- Internetu TAK NIE

Ankieta dla Nauczycieli:

1. Czy znasz Program Profilaktyki naszej szkoły?
TAK NIE

2. Czy w swojej pracy zrealizowałaś/łaś autorski projekt profilaktyczny?
TAK NIE

3. Co byś zmienił/ła w budowie i problematyce obecnego Programu Profilaktyki?

4. Które treści Programu uważasz za najważniejsze w pracy naszej szkoły?

5. Które treści zawarte w obecnym Programie Profilaktyki pominąłbyś w realizacji?

Ankieta dla Rodziców

1. Co Państwa zadaniem powinno być priorytetem (najważniejszym) zadaniem szkoły w zakresie profilaktyki?
2. Co Państwa zdaniem szkoła powinna robić w zakresie profilaktyki?


3. Czy Pańskie dziecko ma świadomość zagrożeń wynikających z uzależnień TAK NIE

4. Czy Pana/Pani zdaniem dyskoteki i imprezy szkolne organizowane przez szkołę są przykładem „wolnej od nałogów zabawy”?
TAK NIE

Zagadnienia ujętych w pytaniach otwartych w ankiecie dla nauczycieli proponowanych do ujęcia w przyszłorocznej wersji Programu Profilaktyki:

W pytaniu nr 3 o zmianę problematyki Programu - nauczyciele wymienili dodatkowo nowy odszar profilaktyczy - zagrożenia zdrowia ze strony AIDS

3. Co byś zmienił/ła w budowie i problematyce obecnego Programu Profilaktyki?
Oto kilka przykładowych odpowiedzi:
- w budowie programu profilaktyki określić jeszcze „zadania”
- w problematykę cyklu III „Używki i uzależnienia” wprowadzić zapis: „Uświadamianie zagrożenia zdrowia ze strony AIDS
- więcej zagadnień dotyczących agresji

4. Które treści Programu uważasz za najważniejsze w pracy naszej szkoły?
Nauczyciele odpowiadali:
- uczenie się umiejętności obrony przed naciskiem otoczenia
- te które promują zdrowy i aktywny styl życia
- kształtowanie dojrzałego i odpowiedzialnego postępowania
- radzenie sobie w sytuacjach stresujących
- uświadamianie zagrożeń zdrowia ze strony uzależnień
- kształtowanie poczucia własnej wartości
- stymulowanie tolerancji na „inność”

5. Które treści zawarte w obecnym Programie Profilaktyki pominąłbyś w realizacji?

Wszyscy nauczyciele odpowiedzieli, że nie ma takich treści.

Opis sposobów zbierania danych do analiz wykorzystywanych w procesie ewaluacji:

Przy podejmowaniu decyzji dotyczącej końcowej formy materiałów edukacyjnych (ulotek, prezentacji, broszur, spotów), można opinie na temat różnych ich wersji zebrać w trakcie zogniskowanych wywiadów grupowych. Jedną z zalet tej techniki badawczej jest możliwość dyskutowania na bieżąco pojawiających się pomysłów i opinii.
Chcąc przykładowo sprawdzić czy wskutek programu dokonała się zmiana w zakresie wiedzy, można wykorzystać schemat pretest – posttest - czyli test wiedzy przed częścią edukującą zawartą w programie jak i sprawdzić poziom wiedzy uczestników po zrealizowaniu tej części programu. i dzięki temu sprawdzić czy i ewentualnie jakie zaszły zmiany.
Inny sposób to przeprowadzenie ewaluacji w trakcie trwania projektu lub ex post (po zakończeniu) za pośrednictwem indywidualnych wywiadów pogłębionych, mających na celu poznanie ocen projektu (zakres merytoryczny, realizacja) i (ewentualnych) propozycji modyfikacji formułowanych przez odbiorców bezpośrednich i pośrednich. Badania można także prowadzić on-line. Jest to jedynie uzależnione od założeń programu. Oczywiście w/w metody badawcze to jedynie przykłady, ale według mnie są one najbardziej spopularyzowane a przez to jaśniejsze, bardziej oczywiste dla basdanych i nie powinny sprawić większych kłopotów. Najlepszym rozwiązaniem jest połączenie podejscia ilosciowego i jakościowego. Metodyki badawczej w ewaluacji ( w mojej opinii) nie powinno zawężać się jedynie do samych ankiet bo wtedy uzyskujemy tylko pomiar socjometryczny bez dodatkowych sugestii jego uczestników np nauczycieli , którzy najlepiej znają odbiorców czyli dzieci i młodzież z naszej szkoły i mogą zasugerować rozbudowanie programu profilaktycznego o zagadnienia dotyczące społecznosci tej szkoły.( według intensywności czy specyfiki problemów jakie w niej występują)


Źródła użyte w opracowaniu:

1- M. J. Sochocki, Prezentacja rezultatów drugiego etapu ilościowych badań ewaluacyjnych „Szkoły dla rodziców i wychowawców” (edycji wrzesień-grudzień 2007) oraz zogniskowanych wywiadów grupowych z absolwentami „Rodzeństwa bez rywalizacji”, „Zeszyty Metodyczne”, nr 9, CMPPP, Warszawa 2009, s. 47
2- Opracowanie zbiorowe, Standardy programów promocji zdrowia i profilaktyki, „Remedium”, nr 6(184), czerwiec 2008, s. 26
3-Z. B. Gaś, Profilaktyka w szkole, WSiP S. A., Warszawa 2006, s. 203
4-K. Okulicz-Kozaryn, Standardy poprawnego budowania skutecznych programów profilaktycznych – model sześciu faz, w: J. Ł. Grzelak, M. J. Sochocki (red.), , s. 61
5-H.. Domański, K. Lutyńska, A. W. Rostocki (red.), Spojrzenie na metodę. Studia z metodologii badań socjologicznych. Wydawnictwo IFiS PAN, Warszawa 1999.
6-Modele ewaluacji w programach promocji zdrowia. Teoria i Praktyka, „Medycyna Wieku Rozwojowego”, nr 4, 2000, suplement 1, s. 81-88