Wykorzystanie kalkulatora EWD w ewaluacji pracy szkoły

Marek Klimiuk: Wykorzystanie kalkulatora EWD w ewaluacji pracy szkoły –referat WDN (styczeń 2014)

Pojęcie wartości dodanej wywodzi się z ekonomii, gdzie oznacza przyrost wartości dóbr w wyniku danego procesu. Analogicznie, Edukacyjną Wartość Dodaną należy rozumieć jako przyrost wiedzy uczniów w wyniku danego procesu edukacyjnego. Metoda EWD to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w wyniki nauczania. Aby można ją zastosować, potrzeba wyników przynajmniej dwóch pomiarów osiągnięć szkolnych: na początku nauki w danej szkole i na jej zakończenie. W polskim systemie egzaminacyjnym są to dla gimnazjów wyniki sprawdzianu w klasie VI szkoły podstawowej jako miara na wejściu oraz egzaminu gimnazjalnego jako miara na wyjściu.
Wyniki egzaminacyjne uczniów zależą od wielu czynników niezależnych od szkoły, takich jak uprzednie osiągnięcia uczniów, materialne i kulturowe zasoby rodzinne czy genetycznie uwarunkowane zdolności. EWD pozwala oszacować miarę postępu poczynionego przez uczniów podczas nauki w danej szkole w oderwaniu od wszystkich czynników zewnętrznych. Przyjmując wynik egzaminu na niższym szczeblu jako miarę potencjału edukacyjnego używamy tej miary jako prognostyka wyniku na egzaminie kolejnego szczebla. Prognoza ta ma charakter statystyczny i polega - na przykład - na oszacowaniu, jaki przeciętnie wynik na egzaminie gimnazjalnym uzyskuje uczeń, który trzy lata wcześniej uzyskał określony wynik na sprawdzianie. Faktycznie uzyskany przez ucznia wynik odnosimy do wartości oczekiwanej i w ten sposób otrzymujemy oszacowanie wartości dodanej na danym szczeblu kształcenia. Średnia tak obliczonych wskaźników dla danej szkoły jest wskaźnikiem efektywności nauczania w zakresie sprawdzanym przez egzamin. Względny charakter wskaźnika sprawia, że poprawa jakości nauczania jest grą o sumie zerowej: dana szkoła może uzyskać wyższy wynik mierzony wartością dodaną tylko o tyle, o ile inne szkoły uzyskają niższe wyniki. Teoretycznie może się zdarzyć, że szkoła podejmuje skuteczne działania naprawcze, ale wynik w kolejnej edycji egzaminu jest niższy, bo inne szkoły postarały się bardziej. 
KALKULATOR
Kalkulator EWD to specjalny program kalkulacyjny, umożliwiający wyliczanie wartości EWD oraz analizowanie danych pod różnym kątem. Do kalkulatora należy wprowadzić dane uczniów bezpośrednio lub z arkusza kalkulacyjnego w programie Excel. Następnie należy uzupełnić i podać wyniki uzyskane przez uczniów na sprawdzianie na koniec szkoły podstawowej oraz z poszczególnych części egzaminu gimnazjalnego. Wprowadzone dane program opracowuje pod różnym kątem, przedstawiając wyniki analiz w formie wykresów.

PODSTAWOWE WYKRESY ANALIZ KALKULATORA EWD 100:
wykres rozrzutu
Na wykresie rozrzutu wyników przedstawiona jest łączna informacja o wyniku na sprawdzianie oraz na egzaminie gimnazjalnym. Kropka obrazuje pojedynczego ucznia. Na wykresie pokazana jest również linia przewidywanego wyniku dla danego roku. Odległość punktu (wyniku ucznia) od linii przewidywanego wyniku nazywamy resztą. EWD jest średnią reszt wszystkich uczniów w grupie.
Wykres wskaźników EWD
Jest to podstawowy wykres z wykorzystaniem wskaźników EWD. EWD dla danej grupy uczniów jest komunikowane wraz z przedziałem ufności, który obrazuje niepewność pomiarową. Zastosowanie przedziałów ufności pozwala na statystycznie poprawne porównywanie EWD dla grup uczniowskich: dwie grupy istotnie różnią się ze względu na wskaźniki EWD, jeśli przedziały ufności są rozłączne.
Średnie wyniki
Średnie wyniki egzaminacyjne dla grup uczniów są prezentowane wraz z przedziałami ufności: 95% przedział ufności dla szkoły, 90% przedział ufności dla oddziałów klasowych. Zastosowanie przedziałów ufności pozwala na statystycznie poprawne porównywanie średnich wyników dla grup uczniów: dwie grupy statystycznie istotnie różnią się ze względu na średnie wyniki egzaminacyjne, jeśli przedziały ufności są rozłączne.
Potencjał edukacyjny
Potencjał edukacyjny uczniów „na wejściu” określamy na podstawie wyników egzaminu z poprzedniego etapu kształcenia. Potencjał niski - wyniki poniżej 88,75 na skali 100/15; potencjał wysoki - wyniki powyżej 111,25 na skali 100/15. Potencjał średni – wyniki w przedziale od 88,75 do 111,25 na standardowej skali 100/15. Wykres skumulowany kolumnowy pozwala określić procentowy udział uczniów o określonym potencjale edukacyjnym w analizowanej grupie uczniowskiej. Porównywanie wykresów potencjału edukacyjnego w kolejnych latach pozwala na śledzenie zmian w naborze do szkoły (ze względu na uprzednie wyniki).

Rozkład reszt
Ten rodzaj wykresu pozwala ocenić, na ile rozkład reszt dla danej grupy uczniów różni się od krajowego, normalnego rozkładu. Pionowa przerywana linia pokazuje średnią reszt, czyli wartość wskaźnika EWD dla danej grupy uczniów.
Wyniki przewidywane
Rozkład wyników wyrażonych na skali 100/15 pozwala ocenić, w jaki sposób wyniki uczniów różnią się od rozkładu normalnego. W przypadku wyników egzaminu gimnazjalnego dodatkowo wyrysowywany jest rozkład wyników przewidywanych. Różnica średniej w rozkładzie wyników rzeczywistych i średniej w rozkładzie wyników przewidywanych jest równa wskaźnikowi EWD dla rozpatrywanej grupy uczniów.
Rozkład wyników
Rozkład wyników wyrażony na skali 100/15 pozwala ocenić, w jaki sposób wyniki uczniów różnią się od rozkładu normalnego o średniej 100 i odchyleniu standardowym 15. Można prześledzić rozkład wyników „na wejściu” oraz „na wyjściu” z poszczególnych części egzaminu. Prześledzenie zmian w rozkładach wyników SP w czasie pozwoli wnioskować o zmianach w naborze „na wejściu”. Śledzenie zmian w czasie w rozkładach wyników egzaminów końcowych pozwoli ocenić nie tylko zmiany w średnim wyniku, ale również zmiany w zróżnicowaniu wyników uczniowskich.
Wchodząc na stronę http://gimnazjum.ewd.edu.pl/index.php i podając nazwę szkoły możemy uzyskać wykres przedstawiający trzyletnie wskaźniki gimnazjalnego EWD.
Aby uwzględnić statystyczną niepewność szacowania wskaźników pozycja szkoły prezentowana jest nie jako punkt, a jako obszar w kształcie elipsy.
Wynik egzaminacyjny i wskaźnik EWD łącznie dają pełniejszą informację o szkole. Pozycja szkoły prezentowana jest w układzie współrzędnych gdzie oś pozioma oznacza średni trzyletni wynik egzaminacyjny szkoły, a oś pionowa symbolizuje trzyletnią EWD szkoły.
Opis położenia elipsy (szkoły) w układzie współrzędnych może ułatwić wyróżnienie pięciu punktów odniesienia.
Szkoły neutralne. Gimnazja, w których notujemy zarówno średni w skali kraju poziom wyników egzaminacyjnych, jak i przeciętną efektywność.
Szkoły sukcesu. Gimnazja o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania.
Szkoły wspierające. Gimnazja o niskich wynikach egzaminacyjnych, ale wysokiej efektywności.
Szkoły wymagające pomocy. Gimnazja o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania.
Szkoły niewykorzystanych możliwości. Gimnazja o wysokich wynikach egzaminacyjnych oraz niskiej efektywności nauczania.

WYKORZYSTANIE WSKAŹNIKÓW EWD
1.Wskaźniki liczone dla jednego rocznika uczniów pozwalają ocenić, jak skutecznie zdołano w szkole wykorzystać potencjał uczniowski (w porównaniu ze szkołą o podobnych zasobach uczniowskich). Ich interpretacja powinna zmierzać do tego, by w swojej szkole rozpoznać, jakie czynniki wewnątrzszkolne i jak wpływają na efektywność nauczania w zakresie sprawdzanym na egzaminach zewnętrznych.
2.Wskaźników EWD można użyć do określenia stanu lub śledzenia zachodzących zmian w każdym z obszarów wskazanych w rozporządzeniu o nadzorze pedagogicznym. Ewaluacja prowadzona przez samą szkołę w celu poprawy swojego funkcjonowania to najważniejszy obszar wykorzystania wyników egzaminacyjnych, a tym samym i metody edukacyjnej wartości dodanej. Beneficjentami skutecznej autoewaluacji stają się uczniowie, którzy mają szansę uczyć się w skuteczniej nauczających szkołach
3. Wskaźniki EWD wzbogacają repertuar miar jakości pracy szkoły i powinny być traktowane jako dopełniające wobec nich.

4. Metoda EWD może być z powodzeniem stosowana do ewaluacji wewnątrzszkolnej. EWD pozwala analizować takie problemy jak: efektywność nauczania w poszczególnych klasach, skutki segregacyjnych metod dzielenia uczniów na oddziały, problemy równości szans edukacyjnych różnych grup uczniów, ocena skuteczności różnych działań zmierzających do podniesienia jakości nauczania.
Mimo wymienionych powyżej zalet, metoda EWD ma swoje problemy:

1. Posługiwanie się pojęciem efektywności opartym na metodzie nie dostarcza informacji, jakie praktyki edukacyjne za tę efektywność odpowiadają. Efektywność to wysokie wyniki w testach, wysokie wyniki w testach to efektywność. Co zmienić w swoim działaniu, by podnieść swą efektywność? To pytanie pozostaje bez odpowiedzi.
2. EWD jak i inne metody szacowania wartości dodanej - opiera się na założeniu, że nie ma interakcji między kapitałem kulturowym ucznia a skutecznością różnych sposobów nauczania. Jeżeli coś jest dobre dla ucznia X, dobre będzie dla wszystkich uczniów; jeżeli coś przynosi owoce w danej klasie to będzie efektywne dla wszystkich klas. Założenie to jest w najwyższym stopniu wątpliwe. Istnieje wiele dowodów na rzecz hipotezy zgodności kulturowej, która mówi, że nauczanie szkolne jest najbardziej efektywne wtedy, gdy metody oddziaływania stosowane przez nauczyciela są zgodne z wzorcami uczenia się znanymi dziecku z doświadczeń kulturowych

Podsumowując należy stwierdzić, iż metoda EWD jest niejako z definicji trafną miarą efektywności nauczania przy pewnym bardzo ważnym zastrzeżeniu - efektywności nauczania w zakresie sprawdzanym przez egzaminy zewnętrzne. Świadomość tego ograniczenia skłania do próby korekty nazwy metody. Czy nie bardziej trafny byłby termin egzaminacyjna wartość dodana? Przy obecnym stanie wiedzy o polskiej aplikacji EWD to zasadna ostrożność. Należy podkreślać, że EWD to miara o ograniczonej wartości i jest tylko sposobem lepszego - co nie znaczy doskonałego - wykorzystania wyników egzaminacyjnych.

Na podstawie:
http://ewd.edu.pl/
Analiza wyników egzaminów zewnętrznych z wykorzystaniem metody EWD w ewaluacji wewnątrzszkolnej. Materiał pomocniczy dla dyrektorów i nauczycieli gimnazjów
Opracowanie: Ewa Stożek CKE 2010

Wskaźniki edukacyjnej wartości dodanej dla gimnazjów. Opracowanie: Ewa Stożek

http://ewd.edu.pl/kewd100/analizy

http://gimnazjum.ewd.edu.pl/?pstr=3