Jak skonstruować test pomiaru dydaktycznego

JAK SKONSTRUOWAĆ TEST POMIARU DYDAKTYCZNEGO.

Celem testu jest sprawdzenie wiadomości i umiejętności uczniów danej klasy szkoły ponadgimnazjalnej z dowolnego działu matematyki.
Test zawierać może zadania z zakresu podstawowego (PP) i rozszerzonego (PR) albo tylko z PP.
Test jest w dwóch wersjach: A i B. Składa się z 25. zadań zamkniętych jednokrotnego wyboru.

Tworzymy:

1) KATALOG WYMAGAŃ TESTU DO DZIAŁU: ..........:

Zawiera czynności wykonywane przez ucznia (sprawdzane umiejętności) w oparciu o treści nauczania, na poszczególnych poziomach wymagań (K, P, R, D, W) z zakresu podstawowego (PP) i rozszerzonego (PR). Przy każdej czynności podajemy kategorię taksonomiczną celu (cele nauczania – A, B, C, D). Najlepiej zapisać katalog w tabeli.

Przykład:
Czynności ucznia z zakresu podstawowego na ocenę dopuszczającą (K):
„Wyznacza wyrazy ciągu arytmetycznego, znając pierwszy wyraz i różnicę”. (C)
Kategoria celu - C.

Czynności ucznia z zakresu rozszerzonego na ocenę dopuszczającą (K):
„Oblicza sumę szeregu geometrycznego”. (C)
Kategoria celu - C.

Cele nauczania:
zapamiętanie wiadomości – A;
rozumienie wiadomości – B;
stosowanie wiadomości w sytuacjach typowych – C;
stosowanie wiadomości w sytuacjach problemowych – D.

Wymagania na ocenę:
dopuszczającą – konieczne (K);
dostateczną – podstawowe (P);
dobrą – rozszerzające (R);
bardzo dobrą – dopełniające (D);
celującą – wykraczające (W).

2) KARTOTEKA TESTU.

Z katalogu wybieramy badane czynności. Jest ich tyle, ile jest zadań w teście.
Kartotekę zapisujemy w tabeli, zawierającej kolumny zatytułowane: nr zadania w teście; badana czynność; kategoria celu; poziom wymagań; prawidłowa odpowiedź dla gr. A i gr. B.
Dobrze, gdy kartoteka zawiera zadanie sprawdzane na każdym poziomie wymagań oraz zadanie łatwe na ocenę bardzo dobrą.

3) TEST.

Zawiera instrukcję dla ucznia oraz treści zadań zamkniętych dla gr. A i gr. B.
Składa się z 25. zadań zamkniętych jednokrotnego wyboru (w tym np. z 15. zadań na PP i 10. na PR).
Na karcie odpowiedzi uczeń zaznacza odpowiedź. Za każdą prawidłową odpowiedź otrzymuje 1 pkt., za błędną 0 pkt. Jeżeli uczeń zaznaczy więcej niż jedną odpowiedź albo nie zaznaczy odpowiedzi, to zadanie traktujemy jako opuszczone (otrzymuje 0 pkt.).

Przykładowa instrukcja do testu:

„Wszystkie zadania testu mają cztery odpowiedzi. Wybierasz zawsze jedną z nich – właściwą lub najtrafniejszą: A, B, C lub D – i oznaczasz ją znakiem x na swojej „Karcie odpowiedzi”.
Nie piszesz niczego na egzemplarzu testu!
Opuszczaj zadania, które wydają Ci się zbyt trudne – wrócisz do nich ponownie po rozwiązaniu tych „łatwiejszych”.
Zwracaj uwagę na podkreślenia w trzonach zadań.
Czytaj uważnie wszystkie odpowiedzi.
Jeśli pomylisz się, dokładnie zamaż znak x i postaw go na właściwym miejscu.
Na rozwiązanie całego testu masz 45 minut.

Życzę powodzenia!”

4) KARTA ODPOWIEDZI.

Gr. A (B)
Imię i nazwisko: ...........
Klasa: ........................
Data: .........................

Tabela o kolumnach: nr. zadania; odpowiedzi: A; B; C; D.

5) TABELA ZBIORCZA WYNIKÓW TESTOWANIA.

Jest to tabela surowych wyników testowania (TSW). W tabeli (wersja A i B oddzielnie) zapisujemy wyniki wszystkich zadań uzyskane przez poszczególnych uczniów. Przy czym wyniki zapisujemy poczynając od sumy najwyższej liczby uzyskanych punktów do najniższej. Zapisujemy:
1 (1pkt.) za poprawną odpowiedź;
A (B, C, D) (0 pkt.) za błędną odpowiedź (wybór dystraktora);
X za brak odpowiedzi.

Po wpisaniu wszystkich odpowiedzi uczniów, w tabeli powinny pojawić się następujące obliczenia statystyczne:
p – łatwość zadania (proporcja poprawnych rozwiązań dla każdego zadania)
q – trudność zadania (proporcja błędnych rozwiązań i opuszczeń dla każdego zadania)
w – wariancja zadania testowego
N – liczba badanych uczniów
L – liczba rozwiązań zadania w lepszej (górnej) połowie wyników testu
S - liczba rozwiązań zadania w słabszej (dolnej) połowie wyników testu
X – nie podjęcie próby rozwiązania zadania (opuszczenie zadania)

x – surowy wynik ucznia wyrażony w punktach (suma punktów uzyskanych przez ucznia)
xs – średnia arytmetyczna testu
s2 – wariancja testu
s – odchylenie standardowe
D50 – moc różnicująca zadania
rtt – rzetelność testu
st – błąd standardowy
Me – mediana
Mo – moda
Łatwość testu

Obliczenia wykonujemy korzystając z następujących wzorów:

p – iloraz liczby uczniów, którzy prawidłowo rozwiązali zadanie przez liczbę N;
q = 1 – p (iloraz liczby uczniów, którzy błędnie rozwiązali zadanie przez liczbę N);
w = p*q;
w1 – suma wariancji za poszczególne zadania;
xs – suma punktów poszczególnych uczniów podzielona przez liczbę uczniów (N);

s2 – iloraz sumy kwadratów odchyleń (x - xs) przez liczbę N;
s – pierwiastek kwadratowy z wariancji;
D50 = (L - S) : N/2;
rtt = (k/(k-1)) * [(s2 – w1)/s2], gdzie k – liczba zadań w teście;
st – iloczyn s i pierwiastka kwadratowego z liczby (1 - rtt);

Dobrze, jeżeli z tabeli będziemy mogli odczytać jak najwięcej informacji. Zatem można w niej umieścić dodatkowo wiersze: kategoria celu; poziom wymagań; klucz testu – dotyczące każdego zadania. Można również umieścić dodatkowe obliczenia statystyczne: wykonalność zadania, współczynnik łatwości, frakcja opuszczeń, średnia liczba punktów z testu, średnia liczba punktów osobno z PP i PR, łatwość PP, łatwość PR, itd.

Wtedy:
wykonalność zadania (%) – iloraz sumy punktów za zadanie przez liczbę N (%);

współczynnik łatwości – jeżeli p >= 0,9, to BŁ (zadanie bardzo łatwe); jeżeli p >= 0,7, to Ł; jeżeli p>= 0,5, to UT (umiarkowanie trudne); jeżeli p>=0,2, to T; jeżeli p>= 0, to BT;

frakcja opuszczeń zadania (f) – iloraz liczby opuszczeń zadania przez liczbę N.
Nie powinna przekraczać 0,15. Jeżeli jest większa, zadanie może nie być poprawnie skonstruowane dydaktycznie. Należy mu się przyjrzeć i zastanowić się np. nad jego kategorią taksonomiczną, nad jego miejscem w teście albo może je zamienić na inne, bo jest po prostu za trudne.

Uwagi:
Pogrubieniem można zaznaczyć np. zadania z PR.
Surowy wynik ucznia w punktach (x) można również zamienić na ocenę z testu (jeżeli rzetelność testu rtt jest dość wysoka).
Najlepiej wykonać tabelę przy pomocy arkusza kalkulacyjnego programu Microsoft Excel tworząc program do wykonania obliczeń statystycznych wyników testu. Można ją potem modyfikować do potrzeb innych zestawień (np. wyników testów diagnostycznych, wyników egzaminów maturalnych, itp.). To ułatwia i przyspiesza pracę.

6) ANALIZA STATYSTYCZNA WYNIKÓW TESTU.

a) Rozkład wyników z testu (w pkt.) poszczególnych uczniów można przedstawić na wykresie.

b) Ustalamy liczbę zadań warunkujących osiągnięcie danej oceny oraz kryteria oceniania uczniów.
Np.:
Jeżeli liczba zadań w teście na ocenę: dop (K) – 10, dst (P) – 5, db (R) – 6, bdb (D) – 4, to liczba zadań warunkujących osiągnięcie oceny: dop – 8, dst – 4, db – 5, bdb – 4.
Wtedy: ndst: 0 – 7 pkt., dop: 8 – 11 pkt., dst: 12 – 16 pkt., db: 17 – 20 pkt., bdb: 21 – 25 pkt.

c) Analizujemy stopień badanych czynności na poszczególnych poziomach wymagań (dla obu grup A i B).

Osobno, dla zakresu PP, PR i całości, obliczamy: średnią liczbę zadań rozwiązanych oraz łatwość zadań, dla zadań z poziomu wymagań: K, P, R, D. Również obliczamy: średnią liczbę zadań rozwiązanych oraz łatwość zadań, dla zadań z PP, PR i całości.
Najlepiej przedstawić to w tabeli.
Poziom wykonania poszczególnych zadań daje informację, jakie umiejętności uczniowie posiadają, a czego nie potrafią wykonać (zaległości) w danym dziale matematyki.

d) Analizujemy podstawowe parametry testu:

łatwość testu – suma punktów poszczególnych uczniów podzielona przez iloczyn liczby uczniów i liczby punktów możliwych do uzyskania za test.
Pokazuje poziom opanowania badanej czynności/badanych czynności dla ucznia/wszystkich uczniów. Wyrażana jest ułamkiem dziesiętnym albo w procentach (najniższy poziom 0 – nikt nie rozwiązał zadania; najwyższy 1 – wszyscy uczniowie rozwiązali zadanie prawidłowo);

trudność testu – odwrotność łatwości testu. Informuje o stopniu trudności testu (im niższa jest łatwość testu, tym test jest trudniejszy);

moc różnicująca (D50) – informuje o związku wyniku zadania z wynikami innych zadań danego testu. Odpowiada na pytanie, jak zadanie rozróżnia uczniów piszących test. Odróżnia uczniów o wyższych i niższych wynikach. Przyjmuje wartość od -1 do +1 (zadanie o wysokiej mocy różnicującej rozwiązują uczniowie lepsi, natomiast słabsi nie. Zaś ujemny wskaźnik oznacza, że zadanie jest niepoprawnie skonstruowane). Im wyższa moc różnicująca, tym zadanie jest konstrukcyjnie lepsze;

średnia liczba punktów (xs) – średnia arytmetyczna - informuje, jaką liczbę punktów uzyskał przeciętny uczeń w grupie badanych uczniów;

mediana (Me) – wartość środkowa wyników uporządkowanych rosnąco (malejąco); jeżeli jest np. wyższa niż średnia, to znaczy, że dla dużej części uczniów test był dość łatwy;

moda (Mo) – najczęściej uzyskana liczba punktów („najpopularniejsza”);

rozstęp (R) – różnica między najwyższym i najniższym wynikiem; pokazuje, jak różne wyniki uzyskali badani uczniowie;

wariancja testu (s2) – opisuje wielkość błędu, jaki popełniamy, gdy średni wynik traktujemy jako obraz wszystkich wyników indywidualnych. Im mniejsza wariancja, tym średni wynik dobrze odzwierciedla wyniki indywidualne (wyniki niewiele różnią się od wartości średniej);

odchylenie standardowe (s) – informuje, jak bardzo różnią się między sobą wyniki uzyskane przez uczniów. Im większe odchylenie standardowe, tym bardziej wyniki różnią się między sobą, tym większe jest odchylenie wyników od średniej, tym mniej precyzyjna informacja wynika z porównania analizowanego wyniku do średniej;

rzetelność testu (rtt) – miara dokładności pomiaru dokonywanego za pomocą testu (powtarzalność wyników pomiaru w określonych warunkach tzn. uczniowie badani ponownie, w porównywalnych warunkach tym samym testem uzyskają podobne wyniki). Rtt przyjmuje wartości w przedziale 0-1. Im wyższa (bliższa 1) wartość rtt, tym wyniki testowania są wolne od błędów pomiaru (tym mniejszy błąd popełniamy interpretując wyniki testu).

e) Analizujemy wyniki testu ze względu na wskaźnik łatwości zadań (p) i dokonujemy oceny zadań pod względem ich łatwości.
Analizujemy, które zadania i w jakiej liczbie (również procentowo) są BT, T, UT, Ł ,BŁ.
Jeżeli wystąpiły zadania BT i BŁ, to są one za trudne i za łatwe dla uczniów. W teście, gdybyśmy chcieli go powtórzyć, te zadania należy zmienić, a zostawić zadania Ł, UT, T.
Poziom opanowania badanych czynności według wskaźnika łatwości możemy przedstawić na wykresie.

f) Analizujemy wyniki testu ze względu na wskaźnik mocy różnicującej (D50) i dokonujemy oceny zadań pod względem ich mocy różnicującej.

Zróżnicowanie wskaźnika D50:
+0,6 do +1,0 - zadania bardzo dobrze różnicujące
+0,3 do +0,59 - zadania średnio różnicujące
0 do +0,3 - zadania słabo różnicujące
-0,1 do -1,0 - zadania wadliwie skonstruowane

g) Analizujemy frakcję opuszczeń zadań.

h) Analizujemy podstawowe dane i wyniki testu:
liczba uczniów (N), maksymalna liczba punktów możliwa do uzyskania, najniższy wynik (pkt.), najwyższy wynik (pkt.), średni wynik punktowy (xs), średni wynik procentowy (łatwość testu), średnia ocena za test, zdawalność (%).

i) Analizujemy wykonalność każdego zadania w teście.

j) Na podstawie powyższych analiz zapisujemy wnioski.

7) INFORMACJA ZWROTNA DLA UCZNIA I RODZICÓW.

Możemy napisać ją w postaci „Karty wyników ucznia”, która zawierać będzie wyniki indywidualne ucznia. A następnie przedstawić rodzicom i omówić na zebraniu z rodzicami.