Investigating the Performance of Omega Index According to Item Parameters and Ability Levels

Problem Durumu: Coktan secmeli maddeler saglamis oldugu birtakim avantajlardan dolayi genis olcekli sinavlarda sikca kullanilmaktadir. Butun sinavlarda oldugu gibi coktan secmeli maddelerden olusan testlerin de gecerlik ve guvenirligi bireyler hakkinda karar vermede oldukca onemli bir role sahiptir. Sinav sureclerinde bireylerin cesitli sekillerde kopya cekme davranisi gosterme egiliminde oldugu bilinmektedir. 21. yuzyilda teknoloji giderek ivmelenen bir sekilde gelisim gostermistir. Teknolojide meydana gelen bu gelismelerin bireylerin yaraticiligi ile birlesmesi ve bireyler arasindaki rekabetin artmasi sonucu cok cesitli kopya cekme turleri ortaya cikmistir. Testin uygulanmasi oncesinde, test uygulamasi surecinde ve sonrasinda olusabilecek hile karistirma girisimlerini engellemek agirlikli olarak test guvenligini ilgilendiren sureclerdir. Istenmeyen bir durum olusmamasi adina test guvenligi uzerinde hassasiyetle durulmalidir. Eger gerekli hassasiyet gosterilmezse, dogacak sonuclarin maliyeti agir olabilmektedir. Bu hassasiyete ragmen bir kopya durumu olustugu takdirde, kopyayi tespit edebilmek icin alternatif yol arayislarina girilmistir ve bircok kopya belirleme yontemi gelistirilmistir. Bu yontemlerin en cok itibar edilenleri istatistiksel yontemlerdir. Istatistiksel yontemlerin performansina yonelik yapilan arastirmalarda ise madde tepki kuramina dayali olan ω indeksinin kopya belirlemede one ciktigi gorulmustur. Alanyazinda ω indeksinin hangi kosullar altinda calistigini incelemek uzere cesitli arastirmalar bulunmaktadir. Ayni zamanda I. Tip hata orani ve gucu bu kosullar altinda diger indekslerle karsilastirilmistir. Bunlardan cogu cesitli orneklem buyuklugu, test maddesi ve kopya orani ile bireylerin yetenek duzeyleri caprazlanarak ω indeksinin performansi ortaya konmaya calisilmistir. Arastirmanin Amaci: Bu calismanin amaci alanyazinda henuz ortaya konmayan ω indeksinin madde gucluk, madde ayirt edicilik ve yetenek sinirlandirmalari altindaki performansini incelemektir. Onder SUNBUL - Seha YORMAZ/ Eurasian Journal of Educational Research 74 (2018) 207-226 225 Arastirmanin Yontemi: Calismada bes secenekli coktan secmeli 80 maddeden olusan veri seti GEN3PL_Raw DATA_V2 yardimiyla elde edilmistir. Veri standart normal yetenek dagilimina N(0~1) sahip 10000 birey icin uretilmistir. Olcekleme sabiti olan D ise 1.00 olarak alinmistir. a ve b madde parametreleri iki kategoriye ayrilarak incelenmistir. a parametresinde dusuk ayirt edici maddeler icin (0.10 – 0.80) araliklari, yuksek ayirt edici maddeler icin (0.81 – 1.50) araliklari ele alinmistir. b parametresinde kolay maddeler icin (-2.50 – 0.00) araliklari, zor maddeler icin (0.01 – 2.50) araliklari ele alinmistir. Parametre araliklari caprazlanarak dort hucreli tablo elde edilmis ve boylece dort farkli madde grubu ortaya cikmistir. Her bir madde grubu icin 20 maddelik veri ureterek toplamda 4x20=80 maddelik veri seti elde edilmistir. 1. Madde Grubu kolay ve dusuk ayirt edici maddelerden, 2. Madde Grubu zor ve dusuk ayirt edici maddelerden, 3. Madde Grubu kolay ve yuksek ayirt edici maddelerden ve 4. Madde Grubu zor ve yuksek ayirt edici maddelerden olusmaktadir. Kaynak ve kopyaci bireyin yeteneginin, ω indeksinin performansi uzerine etkisini incelemek icin (-3.00 – -1.50, -1.50 – 0.00, 0.00 – 1.50, 1.50 – 3.00) olmak uzere dort kategoriye ayrilmistir. Kopyaci ve kaynak cifti icin yapilan caprazlamalar sonucu olusan 16 hucre icin kopya durumu olusturup her bir veri icin indeksin gucu incelenmistir. I. Tip hata icin ise kopya durumu olusturulmadan inceleme yapilmistir. Islemler icin 100 replikasyon yapilmistir. Her replikasyondan elde edilen sonuclar kullanilarak belirlenen α duzeylerine (0.001, 0.01 ve 0.05) gore indeksin I. Tip hata oranlari ve kopya belirleme gucleri hesaplanmistir. I. Tip hata calismasinda 16 farkli kosulla 100 replikasyon sonucunda 16x1000= 16000 kopya cekmeyen birey cifti icin ω indeksine ait ciktilar elde edilmistir. Guc calismasinda ise sabit kopya orani (%25) ile 2x2x16x1x100=6400 birey cifti icin ciktilar elde edilmistir. Madde parametrelerinin uretimi, ω indeksinin hesaplanmasi ve veri ve ciktilarin elde edilmesinde R programlama dili kullanilmistir. Arastirmanin Bulgulari: I. Tip hata calismasinda elde edilen bulgulara gore ω indeksinin I. Tip hata orani ilgili alfa duzeyine genellikle yakin ya da altinda degerler almistir. Bu degerler 0.11 ile 0.00 arasinda degismektedir. I. Tip hata oraninin 0.11 oldugu durumlar, -1.50 – 0.00 yetenek araliginda yer alan kopyacinin 0.00 altindaki yetenek duzeyine sahip kaynaktan cektigi kopya durumlarinda gozlenmistir. Guc calismasi sonucunda kolay ve dusuk ayirt edici maddelerden olusan 1. madde grubundan elde edilen bulgulara gore indeksin gucu 1.00 ve 0.14 arasinda degismektedir. Alfa duzeyi 0.05’ten 0.001’e dustukce gucte azalma egiliminin oldugu gorulmektedir. Dusuk yetenek duzeyine sahip kaynagin yer aldigi kopya durumlarinda guc bir miktar artmakta ve en yuksek gucun kaynagin yetenek duzeyinin 3.00 ve -1.50 araliginda oldugu durumlarda gozlenmistir. 0.05 ve 0.01 alfa duzeyinde kopyacinin yetenek duzeyinin dustugu durumlarda gucte artisin oldugu gorulmektedir. Madde grubu 2’de ise dusuk ayirt edici maddeler olmasina ragmen tum kopyaci ve kaynagin yetenek duzeylerinin caprazlanmasinda ω indeksinin gucunun 1.00’e yakin oldugu ortaya cikmistir. 226 Onder SUNBUL - Seha YORMAZ/ Eurasian Journal of Educational Research 74 (2018) 207-226 Kolay ve yuksek ayirt edici maddelerin yer aldigi madde grubunda ise indeksin gucunun genelde oldukca dusuk oldugu gorulmustur. Kaynagin yetenek duzeyinin arttigi ve kopyacinin yetenek duzeyinin azaldigi kopya durumlarinda gucun artma egiliminde oldugu ve kopyaci ve kaynak ciftinin yetenek duzeyi -3.00 ile 1.50 araliginda iken gucun bu grupta en yuksek degerler aldigi ortaya cikmistir. Diger kosullarda ise sadece 0.05 alfa duzeyinde -3.00 ve -1.50 yetenek duzeyi araligi haricinde tum alfa duzeyinde ve tum kosullarda ω indeksinin performansinin dusuk oldugu gorulmustur. Zor ve yuksek ayirt edici maddelerin kopya cekildigi durumlarda ise ω indeksinin gucu 0.56 ile 1.00 arasinda degismektedir. Birey ciftlerinin yetenek duzeylerine ait kombinasyonlarin tumunde cogunlukla gucun 1.00’e yakin oldugu ortaya cikmistir. Arastirmanin Sonuclari ve Onerileri: ω indeksinin I. Tip hata orani bazi durumlar haricinde tum kosullar ve tum alfa duzeylerinde birbirine yakin ve dusuk degerler almistir. Ancak ozellikle kopyacinin yetenek duzeyinin dusuk oldugu durumlarda I. Tip hata oraninda fazla artisin oldugu gorulmektedir. Arastirmacilar dusuk yetenek duzeyine sahip kaynagin yer aldigi kopya durumlarinda ω indeksini kullanirken dikkatli olmalidirlar. Guc calismasi sonucunda ise madde guclugunun indeksin gucunu oldukca etkiledigi gorulmektedir. Kolay maddelerde cekilen kopyayi belirlemede indeksin gucunde anlamli bir azalmanin oldugu ortaya konmustur. Kolay maddeden kopyanin cekildigi durumlarda en iyi sonuclar kopyaci ve kaynagin yetenek duzeyinin -3.50 ile -1.50 araliginda oldugunda ortaya cikmistir. Madde ayirt ediciligin ise gucluk kadar indeksin gucunde etkili olmadigi ortaya cikmistir. Ancak ω indeksi, ayirt edici ve zor maddelerden cekilen kopyayi belirlemede en guclu, ayirt edici ve kolay maddelerden cekilen kopyayi belirlemede ise en zayif oldugu gorulmustur.