The effect of test instruction and risk taking tendency on psychometric properties of multiple choice tests<p>Test yönergesi ve risk alma eğiliminin çoktan seçmeli testlerin psikometrik özelliklerine etkisi

The research is a quasi-experimental research which aims to investigate the effect of test instruction and risk taking tendency on the psychometric properties of multiple choice tests. The study group of the research comprised of 220 undergraduate students studying at different departments of Ankara University Faculty of Educational Sciences in 2014-2015 spring term. An achievement test of measurement and evaluation course consisting of 24 items was applied to students in the study group. The test was applied to four similar groups with different instructions. A risk taking scale was applied to determine the risk taking tendency of the students. The data were analyzed by using one way ANOVA, dependent sample t-test, independent sample t-test, Feldt test, Fisher’s z test, Pearson correlation coefficient, Spearman’s rank-order correlation coefficient and confirmatory factor analysis. The findings showed that corrected score means, uncorrected score means and reliability coefficients calculated from corrected scores of tests applied with different instructions were significantly different whereas reliability coefficients calculated from uncorrected scores were not significantly different. The validity of the test applied with the instruction stating that no correction for guessing would be made was the highest one. In general, risk taking tendency did not significantly change test scores. Extended English abstract is in the end of PDF (TURKISH) file. ÖzetBu araştırma, test yönergesi ve risk alma eğiliminin çoktan seçmeli testlerin psikometrik özellikleri üzerindeki etkisini incelemeyi amaçlayan yarı deneysel bir araştırmadır. Araştırmanın çalışma grubu, 2014-2015 bahar döneminde Ankara Üniversitesi Eğitim Bilimleri Fakültesinde öğrenim gören 220 öğrenciden oluşmaktadır. Çalışma grubundaki öğrencilere ölçme ve değerlendirme dersi başarısını ölçen 24 maddelik çoktan seçmeli test uygulanmıştır. Başarı testi birbirine benzer dört öğrenci grubuna farklı yönergelerle uygulanmıştır. Öğrencilerin risk alma eğilimini belirlemek için risk alma ölçeği uygulanmıştır. Veriler; tek faktörlü varyans analizi, ilişkili örneklemler için t-testi, ilişkisiz örneklemler için t-testi, Feldt testi, Fisher z testi, Pearson korelasyon katsayısı, Spearman sıra farkları korelasyon katsayısı ve doğrulayıcı faktör analizi teknikleriyle analiz edilmiştir. Araştırmadan elde edilen bulgular, farklı yönergelerle uygulanan testlerin ham puan ortalamaları, düzeltilmiş puan ortalamaları ve düzeltilmiş puana göre hesaplanan güvenirlik katsayıları arasında manidar fark olduğunu; buna karşın ham puanlara göre hesaplanan güvenirlik katsayıları arasında manidar fark olmadığını göstermektedir. Şans başarısı için herhangi bir düzeltme yapılmayacağını bildiren yönergeyle uygulanan testin geçerliği, diğer yönergelerle uygulanan testlerin geçerliğinden yüksek çıkmıştır. Risk alma eğilimi genel olarak test puanlarında manidar değişikliğe yol açmamıştır.