Raport z ewaluacji wenętrznej nadzoru pedagogicznego

ZESPÓŁ SZKÓŁ PUBLICZNYCH IM. XXXXXX
W YYYYYYYYY


RAPORT Z EWALUACJI OBSZARU:
EFEKTY DZIAŁALNOŚCI DYDAKTYCZNEJ, WYCHOWAWCZEJ I OPIEKUŃCZEJ ORAZ INNEJ DZIAŁALNOŚCI STATUTOWEJ SZKOŁY LUB PLACÓWKI.

WYMAGANIE: ANALIZUJE SIĘ WYNIKI SPRAWDZIANU, EGZAMINU GIMNAZJALNEGO, EGZAMINU MATURALNEGO I EGZAMINU POTWIERDZAJĄCEGO KWALIFIKACJE ZAWODOWE.


ZZZZZZZZ 31.10.2011

- W dniu 5 października 2011 roku zespół powołany przez panią dyrektor XXXXXX,
do przeprowadzenia ewaluacji wewnętrznej w zakresie „wymagania 1.1” z Planu Nadzoru Pedagogicznego, dokonał podziału zadań, wybrał narzędzia i metody pracy oraz zaplanował pracę zespołu na cały rok.
W pierwszym etapie postanowiono przeprowadzić ewaluację na podstawie analizy dokumentacji, tzn. raportów z analiz egzaminów i sprawdzianów zewnętrznych oraz diagnoz przeprowadzonych w Szkole Podstawowej i w Gimnazjum. Ewaluacja powinna dać odpowiedzi na dwa kluczowe pytania:
1. Czy w szkole stosuje się jakościowe i ilościowe oraz kontekstowe metody analizy?
2. Czy analizie poddawane są wszystkie zadania ze sprawdzianu/egzaminu? Czy są dzielone na umiejętności opisane w standardach, a następnie grupowane na te umiejętności, które wypadły najsłabiej i wymagają doskonalenia oraz na te, które wypadły najlepiej?
Termin przeprowadzenia tej części ewaluacji – 31.10.2011 r.
Celem tej ewaluacji jest uzyskanie informacji o wartości informacyjnej raportów z analiz wyników uczniów z przeprowadzanych egzaminów i diagnoz.

Czy w szkole stosuje się jakościowe i ilościowe oraz kontekstowe metody analizy?

Analizie poddano 11 następujących dokumentów:
1. Analiza wyników sprawdzianu zewnętrznego klas szóstych (2010/11)
2. Analiza wyników próbnego egzaminu gimnazjalnego klas III – część matematyczno – przyrodniczego (2011)
3. Analiza wyników próbnego egzaminu gimnazjalnego klas III – część humanistyczna (2011)
4. Analiza wyników próbnego sprawdzianu klas szóstych (2011)
5. Analiza wyników testu diagnostycznego klas IV (2011)
6. Analiza wyników testu diagnostycznego klas V (2010)
7. Analiza wyników testu diagnostycznego klas V (2011)
8. Analiza wyników testu diagnostycznego klas II G – cz.m-p (2011)
9. Analiza wyników testu diagnostycznego klas IIG – cz.h (2011)
10. Analiza wyników testu diagnostycznego z j. angielskiego klas IIG (2011)
11. Analiza wyników testu diagnostycznego z j. niemieckiego klas IIG (2011)

W SZKOLE STOSOWANO METODY ANALIZY ILOŚCIOWEJ
Metody stosowane do opracowania surowych wyników (uzyskanych z OKE)
są najczęściej stosowanymi metodami w naszej szkole. Najczęściej wyniki są przedstawiane metodami punktowymi.

Mediana
Modalna
Średnia pkt
Rozstęp Punktowy
Zestawienia tabelaryczne
Porównania Wyników

Ilość dokumentów zawierających dane metody
7 6 11 4 8 3
Komentarz: we wszystkich analizowanych raportach możemy napotkać prawie wszystkie metody statystyczne. Jednak tylko jeden raport zawiera 5 z przedstawionych 6 metod, czyli medianę, modalną, średnią punktową, rozstęp punktowy i zestawienia tabelaryczne, które jednak nie są opatrzone komentarzem – wnioskiem.
Dokument numer:
1 – mediana, modalna, średnia punktowa, porównania wyników bez komentarza, zestawienia tabelaryczne bez komentarza
2 – mediana, modalna, średnia punktowa
3 – średnia punktowa
4 – mediana, modalna, rozstęp, średnia punktowa, zestawienia tabelaryczne bez komentarza
5 – mediana, rozstęp, średnia punktowa, porównania wyników bez komentarza
6 – średnia punktowa, zestawienia tabelaryczne bez komentarza
7 – mediana, modalna, rozstęp, średnia punktowa
8 –mediana, modalna, średnia punktowa, zestawienia tabelaryczne bez komentarza
9 – rozstęp, średnia punktowa, zestawienia tabelaryczne
10 – średnia punktowa, porównania wyników z komentarzem, zestawienia tabelaryczne z komentarzem
11 – mediana, modalna, średnia punktowa, zestawienia tabelaryczne bez komentarza
Z powyższego zestawienia wynika, że raporty są konstruowane w sposób różnorodny. Jedynie średnia punktowa jest wspólnym elementem wszystkich raportów.
Innymi stosowanymi sposobami przedstawiania wyników uczniów jest podawanie wyników najlepszych i najgorszych w szkole. Najczęściej dokonuje się porównań między oddziałami klasowymi. Czasami wyniki podawane są w postaci wyniku procentowego.

W dwóch raportach zastosowano porównania punktowe wyników z bieżącego roku z wynikami z lat ubiegłych, aby określić efektywność kształcenia. Jest to działanie błędne, ponieważ w każdym roku są badane inne umiejętności i badaniu jest poddawana inna grupa uczniów (którzy mają inne możliwości). Słabszy wynik punktowy nie musi oznaczać słabszej efektywności kształcenia, a wyższy nie musi oznaczać wzrostu efektywności. Porównania między latami możemy dokonywać określając i porównując staniny. Porównania punktowe możemy stosować na poziomie jednego roku np. zestawiając wyniki oddziałów klasowych lub wyniki naszej szkoły z wynikami innych szkół, np. ze szkołami z naszego powiatu, aby określić poziom kształcenia w naszej szkole i miejsce naszej szkoły w odniesieniu do innych szkół.
W niektórych raportach brakuje zestawienia wyników wszystkich uczniów. Są podawane wyniki tylko tych uczniów, którzy uzyskali największą i najmniejszą liczbę punktów. Uniemożliwia to nauczycielom korzystającym z raportów dokonania własnej analizy, zwłaszcza interpretacji wyników poszczególnych uczniów.
W żadnym z raportów nie zastosowano pełnych kwartyli oraz nie określono EWD. Skalę staninową zastosowano w dwóch raportach, a skala centylowa nie znalazła zastosowania w żadnym z raportów.

W SZKOLE STOSUJE SIĘ METODY ANALIZY JAKOŚCIOWEJ
Podstawowym sposobem dokonywania analizy jakościowej stosowanym w naszej szkole jest obliczanie współczynników łatwości testu lub zadania. Współczynnik łatwości podawany jest dla:
a) szkoły – w 10 raportach
b) oddziałów klasowych – w 6 raportach
c) każdego ucznia – w 1 raporcie
d) poszczególnych uczniów – w 2 raportach
e) wszystkich zadań – w 1 raporcie
f) zadań najtrudniejszych i najłatwiejszych – w 5 raportach
g) badanych standardów – w 6 raportach
h) badanych obszarów – w 8 raportach
W 3 raportach określono również ilość zadań mieszczących się w danym przedziale stopnia trudności. W 5 analizach dokonano porównania wyników klas pod kątem stopnia trudności testu, a w 4 analizach porównano stopień trudności testu z latami ubiegłymi. Niestety, te zestawienia porównawcze pozostawiono bez komentarza interpretującego, pomimo że w raporcie figuruje zapis „Współczynnik łatwości i jego interpretacja”.
Określając współczynnik łatwości dla zadań diagnostycznych ważne jest, aby określić również moc różnicującą dla danego zadania, gdyż pozwoli ona sprawdzić prawidłowość konstrukcji tego zadania. Jeżeli moc różnicująca dla danego zadania jest mniejsza niż 0.6 będzie to oznaczać, że zadanie lub jego część nie jest dobrze skonstruowana i może ucznia wprowadzać w błąd, a tym samym nie sprawdza danej umiejętności.
W raportach nie zastosowawno takich metod analizy jakościowej jak:
- analiza wybieralności w zadaniach wielokrotnego wyboru,
- analiza odpowiedzi uczniów w zadaniach otwartych.
Barak tych analiz znacznie obniża wartość informacyjną raportu. Szczególnie w analizach diagnoz mają te meody duże znaczenie, ponieważ umożliwiają wychwycenie braków i pozwalają na sformułowanie trafniejszych i bardziej szczegółowych zaleceń do dalszej pracy z uczniem.

W żadnym z raportów nie zastosowano analizy kontekstowej.

Czy analizie poddawane są wszystkie zadania ze sprawdzianu/egzaminu? Czy są dzielone na umiejętności opisane w standardach, a następnie grupowane na te umiejętności, które wypadły najsłabiej i wymagają doskonalenia oraz na te, które wypadły najlepiej?
Żaden z raportów nie zawiera analizy wszystkich zadań. Omawiane są przeważnie zadania, które okazały się dla naszych uczniów najtrudniejsze i najłatwiejsze. „Omówienie/analiza” tych zadań polega na obliczeniu współczynnika trudności i wymienieniu badanej umiejętności. Np.:
„W obszarze czytania zadaniem bardzo trudnym okazało się zadanie 6, standard 1.2 – określenie funkcji charakterystycznych dla danego tekstu, współczynnik łatwości 0,16”
Brakuje tu opisu wymaganych umiejętności do prawidłowego rozwiązania tego zadania. Powinny być w tym miejscu wypisane najczęściej pojawiające się trudności i błędy oraz próba określenia przyczyn braku tych umiejętności czy też wiedzy. Każda analiza zadania powinna kończyć się informacją zwrotną , czyli zaleceniem co należy poprawić i w jaki sposób.
„Ostatnim zadaniem całego testu było napisanie zaproszenia. Niepokojące są wyniki związane z tym zadaniem, które zostało podzielone na dwa kryteria. Pierwsze z nich, czyli napisanie zaproszenia było trudne dla klasy VIA i bardzo trudne dla klasy VIB. Drugie kryterium, czyli przestrzeganie norm ortograficznych było trudne dla klasy VIA i umiarkowanie trudne dla klasy VIB.”
Z tej „analizy” wiemy tylko, że osoba sporządzająca ten raport jest zaniepokojona, a powinniśmy dowiedzieć się jakie trudności wystąpiły np. przy pierwszym/drugim kryterium? Nieznajomość zasad kompozycji zaproszenia? Błędy językowe/stylistyczne/ortograficzne/interpunkcyjne? Błędy typu: mała/duża litera, ó/u, rz/ż, brak przecinków/kropek, ubogie słownictwo, wprowadzanie słownictwa potocznego, błędy słownikowe? Jak można wyeliminować wykazane braki, niedostatki?
W analizowanych raportach podawane są zestawienia zadań najłatwiejszych i najtrudniejszych, wskazywane jest których standardów i obszarów dotyczą. Jednak nie towarzyszy im żaden rzeczowy komentarz.
Ewaluacji poddano również sposób formułowania wniosków i zaleceń. 5 raportów nie zawiera ani wniosków, ani zaleceń. Tylko 1 raport jest zakończony wnioskami i zaleceniami, a 5 innych raportów zakończono zaleceniami. Jednak dla większości zaleceń nie można znaleźć w przeprowadzonej analizie uzasadnienia, co z pewnością wynika z tego, że w analizach brakuje komentarzy wskazujących słabe i mocne strony naszych uczniów. Końcowe wnioski i zalecenia powinny uwzględniać wszystkie etapy rozwiązywania zadań, podawać przykłady błędów i wynikające z nich zalecenia do dalszej pracy. Np.:
ANALIZA TREŚCI ZADANIA
czytanie treści interpretowanie treści wybór metody rozwiąz.
-pobieżne czytanie - błędna interpretacja - przypadkowe obliczenia
- wybiórcze czytanie
(zad. 1,4,5) (zad.2,4) (zad. 5)
↓ ↓ ↓
↓ ↓↓

ćwiczenie uważnego czytania
ćwiczyć analizę tekstu zadań w tym i takich z dużą ilością
podkreślanie słów kluczowych informacji zapisanych w różnej formie


WNIOSKI I ZALECENIA

1. W szkole jest przeprowadzana analiza ilościowa. Jest ona bardzo różnorodna, raporty mają mało wspólnych wskaźników.
- należy ujednolicić sposób przeprowadzania analiz. Analizy powinny uwzględniać wszystkie podstawowe wskaźniki.
2. W analizie jakościowej stosowany jest tylko jeden sposób – wyznaczanie współczynnika łatwości. Nie stosuje się analizy rozwiązań zadań i wybieralności odpowiedzi.
- należy stosować wszystkie sposoby analizy jakościowej, zwłaszcza w analizach diagnoz.
3. Minimalnej analizie są poddawane tylko niektóre zadania. Brakuje informacji o wymaganych umiejętnościach, najczęściej popełnianych błędach i brakuje konkluzji.
- należy dogłębnie analizować wszystkie zadania. Analiza każdego zadania powinna być zakończona pełnymi, wymaganymi informacjami.
4. Nie analizuje się wyników wszystkich uczniów.
- tylko zdiagnozowanie wszystkich uczniów da nam gwarancję, że podejmujemy właściwe działania poprawiające efektywność kształcenia.
5. Nie stosuje się analizy kontekstowej.
- należy stosować analizę kontekstową, przynajmniej danej grupy, aby móc zminimalizować negatywny wpływ różnych czynników od nas niezależnych.
6. Zestawienia tabelaryczne nie są opatrzone komentarzem, przez co stają się mało czytelne.
- do każdego wyniku przedstawionego w postaci tabeli należy dodać opis zawierający wnioski podsumowujące dane wyniki.
7. Brak wniosków i często zaleceń. Zalecenia są mało konkretne i zbyt ogólnikowe. Często zalecenia nie znajdują odzwierciedlenia w treści raportu.
- wnioski i zalecenia powinny wynikać z treści raportu. Powinny być bardziej szczegółowe, jasne i proste.
8. Nie ma informacji, czy przy tworzeniu zadań diagnostycznych były uwzględniane wyniki z poprzednich diagnoz i egzaminów.
- układając testy diagnostyczne należy kierować się wynikami z poprzednich diagnoz i egzaminów zewnętrznych. Informacja taka powinna być zawarta w raporcie.