✍️ Yüksek Lisans Bilgisayarda Ölçme Uygulamaları 10. hafta ders notları
Klasik Test Teorisinin Sınırlılıkları
- Madde karakteristikleri testi alan grubun özelliklerine bağlıdır: Yüksek yetenekli adaylar sınava girmiş ise test maddeleri kolay, düşük yetenekli adaylar testi almışlar ise test maddeleri zor maddeler gibi görülecektir.
- Testi alan kişilerin puanları aldıkları teste bağlıdır: Test, hedef kitlenin özelliklerine benzer olmayan bir gruba uygulanırsa elde edilen madde istatistikleri daha sonraki yıllarda uygulanmak üzere soru bankalarına aktarıldığında yanlı sonuçlar ortaya çıkar. Madde istatistiklerinin istikrarı soru bankaları ve eşdeğer testler oluşturmaya bağlıdır.
- Klasik test teorisine göre güvenirlik iki paralel test arasındaki korelasyondur. Gerçekte tam manasıyla paralel test oluşturmak çok zordur. MTK da paralellik yüzde yüz olmak zorunda değildir.
- Klasik test teorisine göre ölçmenin standart hatası her aday için aynıdır. Gerçekte ise farklı yeteneklere sahip adaylar için ölçmenin standart hatası değişmektedir. MTK her bir yetenek düzeyinde farklı ölçme standart hataları hesaplar
KTK ve MTK
Klasik test teorisi test düzeyinde bilgi sağlar. MTK madde düzeyinde bilgi sağlar yani adayların maddeye doğru cevap verme olasılıkları hakkında bilgi verir.
MTK’da Temel Kavramlar
- MTK da bir adayın madde performansı (Doğru ya da yanlış cevap verme olasılığı ya da bir seçeneği seçme olasılığı) madde ve yetenek parametreleri ile açıklanabilir(kestirilebilir).
- Madde karakteristik eğrisi (MKE): Madde performansı ile cevaplayanın yeteneği arasındaki ilişkiyi gösteren eğridir. Bu eğrinin gözlemlenemeyen yetenek ile gözlemlenen madde cevapları(tepkiler) arasındaki ilişkiyi doğru olarak yansıttığı varsayılır.
- MTK modelleri maddeyi ve adayı tanımlayan bir ya da daha fazla parametre (örnek: a, b, c, θ vb…) içerir. Madde parametresinin sayısına göre, model isimlendirilir (örn. 1 parametreli MTK modeli, 3 parametreli MTK modeli)
- Model-veri uyumu: Belirlenen MTK modelinin eldeki veriye uygunluğunu belirlemek için uygunluk istatistikleri kullanılır (Örnek Ki-kare, Yen Q istatistiği ). Buradaki uygunluk, modelin veriyi açıklama ya da kestirim yapmadaki yeterliğidir. Eğer MTK modeli-veri uygunluğu var ise madde ve yetenek kestirimlerinin değişmezliği söz konusudur. Yani ayni kapsamı ölçen farklı testlerden elde edilen yetenek kestirimleri ile farklı gruplardan elde edilen madde parametre kestirimleri birbirlerine eşit olacaktır.
MTK Varsayımları
Tek boyutluluk
Testi oluşturan maddelerin tek bir özelliği (yeteneği) ölçtüğü varsayılır. Bu varsayım tam olarak karşılanamaz çünkü kişilik, zeka düzeyi, psikolojik durum gibi test performansına etki eden faktörler vardır.
Tek boyutluluk varsayımı, test ve madde performanslarına baskın bir özelliğin etki ettiğini belirtir. Bu baskın faktör de yetenektir. Birden fazla yeteneğin baskın olduğu durumlarda çok boyutlu madde tepki modelleri kullanılır.
Yerel Bağımsızlık
Bu varsayıma göre belirli bir yetenek düzeyinde test maddelerine verilen cevaplar istatistiksel olarak bağımsızdır. Yani yetenek düzeyi sabit tutulduğunda bir maddeyi doğru ya da yanlış cevaplama olasılığı bir sonraki maddeyi doğru ya da yanlış cevaplama olasılığını etkilemez. Madde cevapları arasında ilişki yetenekten kaynaklanmaktadır. Yeteneği etkisini kontrol edersek maddelere verilen cevaplar birbirlerinden bağımsızdır.
Maddeler arasında cevaba yönelik ipucu olması yerel bağımsızlık varsayımının ihlali anlamına gelir.
Tek Boyutluluk – Yerel Bağımsızlık İlişkisi
Tek boyutluluk varsayımı gerçekleşmiş ise yerel bağımsızlık varsayımı da gerçekleşmiş olur. Yerel bağımsızlık çok boyutlu durumlarda da gerçekleşir.
⛔️ Ancak çok boyutlu durumlara tek boyutlu modellerin uygulanması durumunda yerel bağımsızlık varsayımı ihlal edilmiş olur.
Örneğin matematik soruları Osmanlı Türkçesi ile ifade edildiğinde aynı matematik yetenek düzeylerine sahip olan adaylardan Osmanlı Türkçesi daha iyi olanların ilgili maddeleri doğru cevaplama olasılıkları daha yüksek olacaktır.
MTK Modelleri
İki kategorili puanlamanın yapıldığı durumlarda en çok kullanılan MTK modelleri:
1 (1-PL),2 (2-PL), ve 3 (3-PL) parametre lojistik modelleridir.
Sayılar modelde kestirilen madde parametre sayılarını belirtmektedir. 1 – PL: madde güçlüğü (b) 2 – PL: madde güçlüğü (b) ve madde ayırt ediciliği (a) 3 – PL: madde güçlüğü (b), madde ayırt ediciliği (a) ve tahmin (c)
1 – PL Model
Madde karakteristik eğrisinin yorumlanması: b parametresinin artması maddenin zor olduğu anlamına gelir yani daha yüksek yeteneğe sahip adayların o maddeyi doğru olarak cevaplayabileceği anlamına gelir. Madde zorluk parametresinin değeri arttıkça yetenek ölçek düzleminde madde yeri sağa doğru kayar. Dolayısıyla kolay maddeler solda zor maddeler sağda yer alır. Yetenek düzeyleri ortalaması 0, standart sapması 1 olacak şekilde standartlaştırıldığında b değeri çoğunlukla +2 ve -2 arasında değer alır. +2 ye yaklaştıkça madde zorlaşır -2 ye yaklaştıkça madde kolaylaşır. 1PL modeline göre testte yer alan maddelerin ayırt edicilik derecelerinin bir birine eşit (Eşit ayırt edicilik varsayımı) olduğu varsayılır. Ayrıca adayların zor soruları tahmin yoluyla cevaplandırmadıkları varsayılır.
2 – PL Model
Madde karakteristik eğrisinin yorumlanması:
bi :i maddesinin zorluk parametresi. Bir maddenin zorluk derecesi o maddeyi doğru cevaplama olasılığının %50 olduğu yetenek düzeyidir.
ai :Madde karakteristik eğrisinin bi noktasındaki eğimi. Eğim arttıkça madde, bireyleri yetenek düzeylerine daha iyi ayırır. Eksi sonsuz ile artı sonsuz arasında değer alabilir. Ama genellikle 0 ile 2 arasında değişir. Genellikle 0.5 çok düşük 1.5 yüksek olarak tanımlanır. Ayırt edicilik arttıkça (eğim arttıkça) MKE daha dikleşir.
Yandaki şekildeki maddelerden en zor madde yeşil renkli madde iken en ayırt edici madde mavi renkli maddedir.
3 – PL Model
ci :Tahmin (pseudo-guessing) parametresi. Düşük yetenekli adayların zor soruları doğru cevaplayabilme olasılığıdır. Madde karakteristik eğrisinin y eksenini kestiği noktayı kontrol ederiz.
Şekilde görüldüğü gibi sözde tahmin parametresi en yüksek olan madde üçüncü madde iken en düşük olan bir ve ikinci maddelerdir.
Madde ve Yetenek Parametrelerinin Tahmini
- Madde tepki modellerinde doğru cevap olasılığı kişinin yeteneğine (theta) ve madde parametrelerine (a,b,c) bağlıdır.
- Modelde ne yetenek parametresi ne de madde parametreleri bilinmektedir. Bilinen sadece kişilerin maddelere verdiği cevaplardır.
- Madde tepki modelinde amaç kişilerin maddelere verdiği cevaplardan yola çıkarak yeteneklerini ve madde parametrelerini kestirmektir.
MTK Parametre Kestirimlerinde Kullanılan Programlar
- R
- Shiny
- BILOG-MG
- IRTPRO
- PARSCALE
- WINSTEPS
- JMETRIK
- Xcalibre