Ölçme Uygulamalarında Güvenirlik

✍️ Yüksek Lisans Bilgisayarda Ölçme Uygulamaları 16. hafta ders notları

Ölçme sonuçlarının uygulamadan uygulamaya olan  tutarlılığını ifade eder. Farklı zamanlarda ya da farklı madde örneklemler ile ya da farklı değerlendiriciler tarafından yapılan ölçümlerin tutarlılığıdır.

⚓️Bir başka ifade ile güvenirlik, aynı bilgi ve becerileri ölçmeye yönelik farklı zamanlarda yapılan testlerden öğrencilerin almış oldukları puanların benzerliğidir.

Ya da yine aynı bilgi ve becerileri ölçmeye yönelik farklı maddelerden oluşan test puanları arasındaki tutarlılıktır. Ya da farklı puanlayıcılar tarafından puanlanan performans sonuçları arasındaki benzerliktir.

Güvenirlik Neden Önemlidir?

Ölçme sonuçlarının durumdan duruma veya puanlayıcıdan puanlayıcıya değişmezliği sağlanmazsa, ölçme sonuçlarına bağlı olan değerlendirmelerin adil olma ilkesi zedelenir.

Güvenirlik ve Hata

Farklı kez veya farklı puanlayıcılar tarafından yapılan ölçme sonuçlarının birebir aynı olmasını beklemek gerçekçi olmayacaktır.

⚓️Örneğin uygulamalar arasında hastalık, hatırlama gibi kişi kaynaklı hatalar olabileceği gibi test koşulları da öğrenci performansını farklı şekilde etkileyecektir.

Ölçme sonuçları arasındaki farklılıklara neden olan bu durumlar ölçme hatasını oluşturur. Ölçme sonuçlarına karışan ölçme hatası ne kadar az olursa test sonuçları o ölçüde güvenilir olur. Çünkü güvenirlik, ölçme sonuçlarının tesadüfi hatalardan arınıklık derecesidir.

Ölçmenin Standart Hatası

KTK’ya göre bireye ait iki tür yetenek vardır: gözlemlenen ve gerçek yetenek. Bireyin test sonucu hesaplanan puan bireyin gözlemlenen yeteneğidir. Gerçek yetenek ise bireyin aynı özelliği ölçmek için geliştirilen sonsuz sayıda paralel testlerden alacağı puanların ortalamasıdır. Sonsuz sayıda paralel testten alınan başarı puanları birbirlerinden farklı olacağından dolayı bir çeşit dağılım gösterecektir.  Bu dağılımın standart sapması da ölçmenin standart hatasıdır. Bir başka ifade ile ölçme hatası bireyin gerçek başarısı ile gözlemlenen başarısı arasındaki farktır.

Standart Hatanın Formülü

X = T + E

• X = Gözlenen değer
• T = Gerçek değer
• E = Ölçme hatası

Güvenirlik ile ölçmenin standart hatası arasındaki ilişki:

• S_e= Standart Hata
• S_x= Standart Sapma
• r_x= Güvenirlik Katsayısı

Ölçme hatalarına ait dağılımın normal olduğu varsayılır. Bunun için bir bireyin gerçek başarısı; %68 olasılıkla X + 1SH > T > X – 1SH sınırları arasındadır. %95 olasılıkla X + 2SH > T > X – 2SH sınırları arasındadır.%99 olasılıkla  X + 3SH > T > X – 3SH sınırları arasındadır.

Güvenirliği Etkileyen Faktörler

1. Ölçme aracından kaynaklanan faktörler
   Soru sayısı: Doğrudan güvenirliği etkileyen bir faktör soru sayısıdır. Zorluk derecesi adaylara uygun, kullanışlı sayıda soru sorulmalıdır.
   Soruların dili: Herkesin farklı anlam çıkarabileceği, herkesin farklı yorum yapabileceği sorular sormak Testin zor sorulardan başlaması
2. Testi alan bireyden ya da grubun özelliklerinden kaynaklanan faktörler Testi alan cevaplayıcıların sınav sırasındaki güdüleri, yorgunlukları, hastalıkları, kaygıları, test konularına yönelik tutumları vb. faktörler test puanlarının gerçek puanlardan uzaklaşmasına neden olabilir.
3. Testi uygulama koşulları ve zaman Sınav koşullarının tüm bireyler için eşit ve uygun olmaması Sınav görevlisinin tutumunun kaygıyı artıracak şekilde olması Gurultu, ışık vb. Suresi çok kısa testler, kişilerde kaygıya neden olur, teste çok uzun sure vermek kişilerin yeterince güdülenmelerini engeller, kopyaya sebep olabilir

Örnek Durumlar

Çalışanların işlerine bağlılık ve istek derecelerini ölçmeye yönelik bir anket uygulanıyor olsun. Eğer, anket haftanın değişik günlerinde doldurulmuşsa farklı cevapların verileceği açıktır. Pazartesi sabahı ile Cuma öğlen sonrası verilecek cevaplar değişik olur. Böyle bir çalışma için araştırmacı, mümkün olduğunca nötr bir zaman seçmelidir.

Kendini güvende hissetmeyen denekler, sorulara genellikle gerçekte düşündükleri şekilde değil de üstünü memnun edecek şekilde cevap verme eğilimindedirler. Araştırmacı, bu riskin farkında olmalı ve bu tür bir önyargıyı en aza indirmek için deneklerin kimliklerini ortaya çıkaracak sorulardan kaçınmalıdır.

Araştırmacı veri toplama metodu olarak mülakatı seçmiş olsun. Böyle bir çalışmada ne kadar değişik sayıda mülakatçı varsa o kadar değişik cevap almak mümkündür. Araştırmacılar elde ettiği cevapları deneğin kastettiğinden farklı şekilde yorumlayabilirler.

Testin başında, cevaplayıcılar için bir yönerge bulunmalıdır. Cevaplama işleminin nasıl yapılacağı, testin nasıl puanlanacağı; test, seçmeli maddelerden oluşuyorsa şans başarısı için düzeltme yapılıp yapılmayacağı; testte kaç soru bulunduğu ve testin cevaplandırılması için ne kadar zaman verildiği bu yönergede cevaplayıcıların anlayacağı açıklıkla belirtilmiş olmalıdır.

Güvenirliği Artırmanın Yolları

• Soru sayısını arttırmak; Soruları öz, açık ve net ifadelerle hazırlamak
• Öğrencilerin sınava karşı olan motivasyonunu artırmak, öğrencileri güdülemek, kaygı düzeylerini azaltmak
• Test sorularını kolaydan zora doğru sıralamak
• Sınav suresini ne çok az ne de çok uzun olmayacak şekilde ayarlamak
• Puanlayan kişi kaynaklı tesadüfi hata kaynaklarını azaltmak (psikoloji, yorgunluk vb.), cevap anahtarı kullanılması
• Ölçmenin yapıldığı ortamı sınava uygun hale getirmek

Güvenirlik Belirleme Yöntemleri

Güvenirlik belirleme yöntemleri tek uygulamaya dayalı, birden çok uygulamaya dayalı ve puanlayıcı güvenirliği olmak üzere üç ana başlık altında toplanır.

Ders kapsamında, birden çok uygulamaya dayalı ve puanlayıcı güvenirliği özetle tanımlanacak, test merkezlerinde ve sınıf içi uygulamalarda en sık kullanılan tek uygulamaya dayalı yöntemlerden KR-20 ve Cronbach alfa yöntemleri üzerinde daha fazla durulacaktır.

Test-Tekrar Test Yöntemi

Aynı testi aynı gruba, farklı zamanlarda tekrarlı olarak uygulamaya ve aradaki korelasyona dayanır. Bulunan korelasyon değeri, güvenirlik katsayısıdır. Bu katsayının en az 0.70 olması önerilir. Bir testten elde edilen puanların, değişik zamanlara göre ne derece genellenebileceğinin ölçüsüdür. Ölçülen değişkenin zaman içerisinde az değişime uğradığı, aracın kararlılığı hakkında bilgi edinileceği zamanlarda kullanılır.

Eşdeğer Formlar Yöntemi

İki eşdeğer test formunun, aynı gruba peş peşe uygulanmasına dayanır. İki formdan elde edilen puanlar arasındaki korelasyon, eşdeğerlik katsayısıdır. Bu katsayının 1’e yakın olması beklenir. Test-tekrar test yönteminin dezavantajı olan soruların hatırlanması ihtimali ortadan kaldırılır. İki uygulama arasında zaman olması gerekliliği de ortadan kalkar.

Puanlayıcı Güvenirliği

İki ya da daha fazla puanlayıcının, farklı bireylere ve farklı maddelere ilişkin yaptıkları puanlamalar arasındaki tutarlılığın derecesidir. Puanlayıcıların, aynı bireylere ait testlere bağımsız olarak verdikleri puanların arasındaki korelasyondur.

Tek Uygulamaya Dayalı Yöntemler

Kuder Richardson; KR-20 ve KR-21

0 ve 1 seklinde puanlama yapılan testler için kullanılır (Doğru veya yanlış) KR-20 maddelerin güçlük düzeyi biliniyorsa, KR-21 ise güçlük düzeyi bilinmiyorsa kullanılır.

Cronbach Alfa

0 ile 1 arası bir değerdir, Puanlaması 0-1 den farklı yapılan soru tipleri icin kullanılır. Likert tipinde, çok kategorili puanlamalarda kullanılır.