Effects of Content Balancing and Item Selection Method on Ability Estimation in Computerized Adaptive Tests

Problem Durumu: Son yillardaki teknolojik gelismelerin olcme ve degerlendirme alanina katkilariyla birlikte geleneksel anlamda kagit kalem testleri artik eski populerligini yitirmeye baslamistir. Gelisen bilgisayar teknolojisi, hem olcme isleminin suresinin kisalmasini hem de daha gecerli ve guvenilir testlerin isekosulmasini mumkun hale getirmistir. Ozellikle bireyin yetenek duzeyine uygun sinav sorulariyla karsilasmasi zaman ve kullanilan sure acisindan onemli bir tasarruf saglamaktadir. Bu, ancak bilgisayar ortaminda bireye uyarlanmis test (BOBUT) uygulamasi ile mumkun olabilmektedir. BOBUT uygulamasi, baslatma kurali, madde secim yontemi, yetenek kestirimi, icerik dengeleme ve test sonlandirma gibi onemli sureclerden olusmaktadir. Bu sureclerin belki de en onemlisi madde secim yontemidir. Bu calismada BOBUT uygulamasinin en onemli asamalarindan olan madde secim yontemleri ele alinmistir. Alanyazindaki madde secimine yonelik calismalar incelendiginde madde secim yontemlerinin icerik dengeleme (content balancing) kullanildiginda farkli yetenek duzeylerindeki bireylerin ortuk puanlari uzerinde nasil bir etki gosterdiginin halihazirda henuz incelenmedigi gorulmustur. Arastirmanin Amaci: Bu arastirmanin amaci BOBUT uygulamalarinda icerik dengeleme kullanildiginda madde secim yontemindeki degisikligin yetenek kestirimine etkisini yaygin olarak kullanilan Fisher’in en yuksek bilgi (Fisher’s maximum information) ve onun onemli bir alternatifi oldugu daha onceki Alper SAHIN –Durmus OZBASI / Eurasian Journal of Educational Research 69 (2017) 21-36 35 arastirmalarda tespit edilen agirliklandirilmis bilgi orani (Likelihood weighted information) yontemlerini kullanmak suretiyle belirlemek ve icerik dengeleme uzerine sonraki donemlerde yapilacak calismalara isik tutmaktir. Arastirmanin Yontemi: Arastirmada kullanilan veriler Monte-Carlo simulasyon yontemi ile elde edilmistir. Bu baglamda, arastirmanin verileri icin yetenek duzeyleri -3 ile +3 arasinda normal dagilim gosteren 4 farkli buyuklukte 250, 500, 750 ve 1000 birey gruplari olusturulmustur. Yetenek kestirimlerinde en yuksek olabilirlik kestirim (Maximum likelihood estimation) yontemi kullanilmistir. Benzetim ile olusturulan bireyler bu asamada elde edilen gercek yetenek duzeylerine gore alti alt yetenek grubuna ayrilmistir (Orn. -3 < θ < -2 = grup 1, -2 < θ < -1 = grup 2, … vb.). Madde havuzu icin her birine yonelik 50’ser madde bulunan 10 farkli konu alaninda toplam 500 madde benzetim yontemiyle uretilmistir. Madde parametreleri a parametresi icin 0 ile 1.5, b icin -3 ile +3 ve c icin ise 0 ile 0.25 arasinda sabit (uniform) dagilim gosterecek sekilde uretilmistir. Birey ve maddelerin elde edilmesi sonrasi bir dizi Post-hoc benzetim calismasi gerceklestirilmistir. Bu calismalar, birey yetenek baslangic duzeyi -0.5 ile +0.5 araliginda olacak, en kisa test uzunlugu her bir konu alanindan %10 oraninda madde icerecek sekilde en az 10 madde kullanilacak ve yetenek duzeyi kestirimi standart hata degeri 0.25’ten kucuk oldugunda testi sonlandiracak sekilde ayarlanmistir. Post-hoc benzetimler 10 kez tekrarlanmistir. Arastirmanin Bulgulari: Farkli madde secme yontemleri kullanildiginda, gercek ve kestirilen yetenek duzeyleri arasindaki korelasyonlar (r) 4 farkli buyuklukteki grup ve bu gruplarin her birinde 6 farkli yetenek araligindaki bireyler icin ayri ayri incelenmistir. Buna gore 250 kisilik grup icin Fisher’in en yuksek bilgi yontemi kullanildiginda, gercek ve kestirilen yetenek duzeyleri arasinda en yuksek korelasyon r=0.94 olarak bulunmustur. En dusuk korelasyon (r=0.26) ise madde secme kurali olarak agirliklandirilmis bilgi fonksiyonu kullanildiginda elde edilmistir. Sinavi alan kisi sayisi 500’e ciktiginda ise en yuksek korelasyon madde secme kurali olarak agirliklandirilmis bilgi orani kullanildiginda elde edilmistir (r=0.75). Kisi sayisi 750’ye ciktiginda en yuksek korelasyon katsayilari her iki yontem icin de cok yakin bulunmustur (rfisher=0.75; ragirliklandirilmis=0.76). Benzer bir durum, orneklem sayisi 1000’e ciktiginda da gecerli olmus ve benzer en yuksek korelasyonlar elde edilmistir (rfisher=0.74; ragirliklandirilmis=0.75). Farkli birey gruplarinda her alt yetenek duzeyi icin iki madde secme kurali ayri ayri uygulandiginda elde edilen tahmini yetenek duzeyleri ile bireylerin gercek yetenek duzeyleri arasindaki ortalama karesel hata (MSE; Mean Squared Error) degerleri karsilastirilmistir. Buna gore, en dusuk MSE degeri 250 kisilik grupta agirliklandirilmis bilgi orani yontemi kullanildiginda 1. alt yetenek grubunda elde edilmistir (MSE=0.10). Yine ayni madde secme kuralinda alt yetenek grubu 6’da ise MSE=1.11 ile diger yetenek gruplarina gore daha yuksek bir deger almistir. Birey sayisi 500’e ciktiginda, agirliklandirilmis bilgi orani yontemi kullanildiginda alt yetenek grubu 1 MSE=0.12 ile en dusuk deger almistir. En yuksek MSE ise alt grup 6’da MSE=1.22 olarak hesaplanmistir. Birey sayisi 750’ye ciktiginda ise agirliklandirilmis bilgi yontemi kullanildiginda MSE degeri en dusuk alt yetenek Alper SAHIN –Durmus OZBASI / Eurasian Journal of Educational Research 69 (2017) 21-36 36 grubu 1’de (MSE=0.11) elde edilmistir. En yuksek MSE (1.35) ise yine alt grup 6’da elde edilmistir. Birey sayisi 1000’e ciktiginda da benzer sonuclar elde edilmistir. En dusuk MSE degeri grup 1’de, en yuksek MSE degeri ise yine grup 6’dan elde edilmistir. Her iki madde secme yonteminin kestirim kalitesi kullanilan ortalama madde sayilari acisindan da karsilastirilmistir. 250 kisinin sinavi aldigi durumda, en fazla sayida madde, madde secme kurali olarak agirliklandirilmis bilgi orani yontemi kullanildiginda alt yetenek grubu 6’da ortaya cikmistir (kullanilan madde sayisi 41.77). En dusuk ortalama madde sayisi (31.03) ise alt yetenek grubu 1’den elde edilmistir. Sinavi alan birey sayisi 500’e ciktiginda ise, en yuksek ortalama madde sayisi madde secme kurali olarak agirliklandirilmis bilgi yontemi kullanildiginda grup 6’da elde edilirken, en dusuk madde sayisi Fisher’in en yuksek bilgi yontemi kullanildiginda 5. alt yetenek grubundan elde edilmistir (22.78). Bu durum sinavi alan birey sayisi 750 ve 1000 oldugunda da degismemis, en yuksek ve en dusuk ortalama madde uygulanan yetenek araliklari ve bunlara ait madde secme kurallari degismemistir. Bir baska ifade ile sinavi alan birey grubu 750 ve 1000 oldugunda en yuksek madde kullanimi her iki birey grubunda da madde secme kurali olarak agirliklandirilmis bilgi orani yontemi kullanildiginda grup 6’da sirasiyla ortalama 45.81 ve 44.1 seklinde elde edilmistir. En dusuk ortalama madde kullanimi ise madde secme kurali olarak Fisher’in en yuksek bilgi yontemi kullanildiginda grup 5’te sirasiyla 22.71 ve 22.65 seklinde elde edilmistir. Arastirmanin Sonuclari ve Onerileri: Calismada elde edilen tum bulgular goz onune alindiginda, icerik dengeleme kullanildiginda, agirliklandirilmis bilgi orani yonteminin literaturde gectigi sekliyle Fisher’in en yuksek bilgi yontemine aslinda tamamen ustunluk saglamadigi, bu ustunlugun yetenek degeri -3 ile 0 araliginda olan bireyler icin gecerligi oldugu, yetenek duzeyi 0’in uzerine ciktigi durumlarda ise Fisher’in en yuksek bilgi yonteminin yetenek kestiriminde daha basarili oldugu sonucuna varilmistir. Bu durum 0’dan kucuk yetenek duzeylerinde agirliklandirilmis bilgi orani yonteminin, 0’dan buyuk yetenek duzeylerinde Fisher’in en yuksek bilgi yonteminin kullanilmasini saglayacak bir madde secme algoritmasinin her iki yontemin de eksiklerini giderebileceginden hareketle her durumda BOBUT uygulamalarinda daha basarili yetenek duzeyi kestirimleri elde edilmesini saglayacak boyle bir algoritmanin gelistirilmesi onerilmektedir.