Klasik Test Kuramı ve Madde Analizi

✅ Yüksek Lisans Bilgisayarda Ölçme Uygulamaları 3. hafta ders notları

Klasik Test Kuramının Özellikleri

Madde karakteristikleri testi alan grubun özelliklerine bağlıdır.

Maddenin zor ya da kolay olması testi alan adayların özelliklerine bağlıdır. Eğer yüksek yetenekli/başarılı/kabiliyetli adaylar sınava girmiş ise test maddeleri kolay, düşük yetenekli adaylar testi almışlar ise test maddeleri zor maddeler gibi görülecektir.

Testi alan kişilerin puanları aldıkları teste bağlıdır.

Test zor maddelerden oluşan bir test ise adaylar düşük yetenekli/kabiliyetli adaylar olarak görünecektir. Benzer bir şekilde test kolay bir test ise adaylar yüksek kabiliyetli adaylar olarak görülecektir.

Test testin ana hedef kitlesinden farklı bir gruba uygulanırsa ya da hedef kitlenin özelliklerine yakın olmayan bir gruba uygulanırsa elde edilen madde istatistikleri daha sonraki yıllarda uygulanmak üzere soru bankalarına aktarıldığında yanlı sonuçlar ortaya çıkaracaktır.

Bu nedenle madde istatistiklerinin istikrarı, soru bankaları ve eşdeğer testler oluşturmada önemlidir.

Klasik Test Kuramı ve Madde Kavramı

Madde, ölçme araçlarının kendi başına puanlanabilen en küçük birimidir. Ölçme sonuçlarına dayalı olarak bir testi oluşturan maddeler analiz edilerek maddelerin testten çıkartılıp çıkartılmamasına karar verilir.

Madde analizi sonucu üç yolla indeks hesaplanır:

• Maddeye verilen cevapların dağılımı ilgili indeksler
• Maddeye verilen cevap ile bir dış ya da iç ölçüt arasındaki ilişki
• Hem cevap dağılımı, hem de dış ve iç bir ölçüte dayalı indeksler

Maddeye Verilen Cevapların Dağılımı ile İlgili İndeksler

Madde güçlük indeksi: Bir maddeyi doğru cevaplayan birey sayısının gruptaki tüm birey sayısına oranı olarak tanımlanır. Diğer bir ifadeyle madde güçlük indeksi, bir maddenin doğru cevaplanma yüzdesidir.

Nd, maddeyi doğru cevaplayanların sayısını, N ise gruptaki tüm birey sayısını ifade etmek üzere aşağıdaki formül aracılığıyla hesaplanır:

Pi = Nd / N

Örnek: 100 kişilik bir grupta, bir maddeyi 80 kişi doğru cevaplamışa, bu madde için madde güçlük indeksi 0.80 olacaktır.

Madde güçlük indeksi 0.00 ile 1.00 arasında bir değer alır. Bir maddeyi gruptaki bireylerin tamamı doğru cevaplarsa madde güçlük indeksinin değeri ‘1.00’, hiçbir birey doğru cevaplayamazsa ‘0.00’ olur. İndeksin değerinin 1.00’e yaklaşması, maddeyi doğru cevaplayanların sayısının arttığı, dolayısıyla sorunun kolaylaştığı anlamına gelir. İndeksin değerinin 0.00’a yaklaşması, maddeyi doğru cevaplayanların sayısının azaldığı, dolayısıyla sorunun zorlaştığı anlamına gelir.

Madde Güçlük İndeksi

???? Bir testi oluşturan maddelerin güçlük indeksleri, testin güçlüğünü doğrudan etkiler.

Eğer testi oluşturan maddeler zor olursa, test zor bir test olacaktır. Eğer testi oluşturan maddeler kolay olursa da test kolay bir test olacaktır. Amacına göre farklı güçlük derecesine sahip testler oluşturulabilir. Genelde başarı testini oluşturan maddelerin güçlük indekslerinin ortalamasının 0.50 olmasına ve bütün yetenek düzeylerine hitap edecek biçimde geniş bir ranjda değişim göstermesi tavsiye edilir.

Klasik Test Kuramı‘nda testte yer alan soruların zorluk derecelerinin dağılımı testi alan grubun özelliklerine bağlıdır. Maddelerin çoğunun orta güçlükte olması tavsiye edilir. Güçlük düzeyi azaldıkça veya arttıkça soru sayısı azalabilir. Çok başarısız bir gruba çok zor soruların sorulması yerine nispeten kolay sorular; çok başarılı bir gruba ise nispeten zor sorular sorulmalıdır. Testi alanlar hakkında en çok bilgi, ancak ilgili grubun başarı düzeyine en uygun maddeler kullanılarak elde edilebilir.

Madde Varyansı

Maddeye doğru cevap verenlerin oranı (P_j) ile maddeye doğru cevaplayamayanların oranının (q_j) çarpımına eşittir. (q = 1 – P)

S_j² = P_j x q_j

Madde varyansı en yüksek değerine orta derecede zorluğa sahip maddelerde ulaşır. Bir başka ifade ile madde zorluğu 0.5 iken madde varyansı en yüksek değerine ulaşır. Madde varyansı özelikle test geliştirme aşamasında kullanılır. Test güvenirliğini yükseltmek için teste varyansı en yüksek maddelerin alınması tavsiye edilir.

Madde Puanı ile Dış ya da İç Bir Ölçüt Arasındaki İlişki İndeksleri

Madde puanı ile iç ya da dış bir ölçüt arasındaki ilişki indeksi  madde ayırt edicilik indeksi olarak adlandırılır. Bir dış ölçüte göre madde ayırt edicilik indeksi hesaplamak amacıyla kullanılabilecek katsayı türleri şunlardır:

• Nokta çift-serili korelasyon katsayısı: Değişkenlerden birinin iki ya da çok kategorili nitel, diğerinin sayısal veri türünde olduğu durumlarda kullanılır.
• Çift-serili korelasyon katsayısı: Değişkenlerden birinin iki kategorili nitel, diğerinin sayısal veri türünde olduğu durumlarda kullanılır.

Grup Farklılıklarına Dayalı Olarak Madde Ayırt Ediciliği

Bu yöntemle, ölçülen özellik açısından alt grup ve üst grubun maddeye verdikleri tepkiler karşılaştırılarak, maddenin ölçülen özelliğe sahip olanla olmayanı ayırmak ayırıp ayırmadığı belirlenir.

Alt-Üst Grup Yönteminin Aşamaları

• Öğrenci cevapları, doğru olanlar 1 ve boş bırakılanlar, birden fazla işaretlenenler ve yanlış cevaplandırılanlar 0 ile puanlanır.
• Öğrencilerin vermiş oldukları doğru cevap sayıları ile test puanları bulunur.
• Test puanlarına göre öğrenci cevap kağıtları en yüksek puandan en düşük puana doğru sıraya konulur.
• Test puanı en yüksek olan grubun %27’si ile en düşük puanı alan grubun %27’si alınarak, sırasıyla üst grup ve alt grup adları verilir. Ortada kalan grubun %46’sı ise analiz dışında tutulur.
• Kesme noktasında dayalı ayırıcılık indeksi en başarılı %27 grup ile en basarışız %27 grupları dikkate alınarak hesaplanır. Eğer örneklem büyüklüğü yeterince var ise bu kesme noktası %35 de olsa %50 de olsa çok benzer sonuçlar elde edilir.
• Alt ve üst grupta hangi seçeneği kaç kişinin işaretlediğini sayarak her bir madde ve seçeneklerine ilişkin frekans tablosu hazırlanır.
• Testte bulunan bütün sorular için aşağıdaki gibi bir tablo düzenlenir. İyi performans göstermiş bir maddede üst grupta yer alanların çoğunun maddeye doğru cevaplamaları alt gruptakilerin ise çoğunun yanlış cevaplaması beklenir.

Madde Güvenirlik İndeksi

Madde ayırt ediciliği ile maddenin standart sapmasının çarpımına eşittir.  Test geliştirmede test güvenirliğini yükseltmek için madde ayırt ediciliği yerine madde güvenirlik indeksi kullanılır. Çünkü madde varyansı ne kadar yüksek olursa  o maddenin güvenirliğe olan katkısı o ölçüde yüksek olur. Bu nedenle aynı kazanımı ölçmeye yönelik madde ayırt edicilikleri eşit iki maddeden hangisinin madde varyansı yüksek ise test güvenirliğine en çok katkıyı yapacağı için teste o alınır.

r_j = r_jx x S_j

Madde Geçerlik İndeksi

Madde standart sapması ile madde puanının dış bir ölçüt ile arasındaki korelasyonun çarpımına eşittir. Madde geçerlik indeksinin madde güvenirlik indeksi hesaplanırken gerçekleşen tek fark, madde geçerlik indeksinin hesaplanmasında madde puanı ile dış ölçüt arasında nokta çift serili korelasyonun kullanılmasıdır.