Akademik Veri Yönetim Sistemi
Tıp Eğitimi Dünyası, cilt.21, sa.63, ss.95-103, 2022 (Hakemli Dergi)
Amaç: İçinde bulunduğumuz Covid-19 pandemi sürecinde uzaktan eğitimin popüler hale gelmesi ile yapılan çevrimiçi sınavlarda kişilerin yetenek düzeyini daha doğru şekilde belirlemek ve sınav stratejilerini çözümlemek için bilgisayar uyarlamalı test kullanımı giderek önem kazanmaktadır. Bu çalışmada, uzaktan eğitim sürecinde öğrencilerin yetenek düzeylerinin bilgisayar uyarlamalı test ve kağıt-kalem testi ile kestirimlerinin karşılaştırılması amaçlanmıştır.
Yöntem: Araştırma, Mart 2020 – Aralık 2020 tarihleri arasında gerçekleştirilen kesitsel ve metodolojik bir araştırmadır. Araştırmanın çalışma evrenini Erzincan Binali Yıldırım Üniversitesi, Gazi Üniversitesi, Erciyes Üniversitesi ve Kastamonu Üniversitesi Spor Bilimleri Fakültelerinde öğrenim gören beden eğitimi ve spor öğretmenliği 4. sınıf öğrencileri oluşturmaktadır. Bu çalışmada R programlama dili (ver. 3.6.2) ve RStudio (ver. 1.2.5033) yazılımı kullanılarak analizler gerçekleştirilmiştir. Kişi sayısı 176; madde bankasındaki madde sayısı 80 (4 farklı alanın (egzersiz fizyolojisi, psikomotor gelişim, antrenman bilgisi, egzersiz ve beslenme) her birinden uzmanlar tarafından hazırlanan 20’şer soru ile oluşturulmuştur); bilgisayar uyarlamalı test durdurma kriteri için standart hata <0,5 olarak alınmıştır. Kağıt-kalem testi ve bilgisayar uyarlamalı test θ değerlerinin uyumları sınıf içi korelasyon katsayısı ile değerlendirilmiştir. Kişilere ait bilgisayar uyarlamalı test kestirimleri catR paketindeki “randomCAT” fonksiyonu ile gerçekleştirilmiştir. Bilgisayar uyarlamalı testten elde edilen kişinin yetenek düzeyi, θ’ya ait standart hata ve kullanılan madde sayısı analiz sonucunda sunulmuştur. Bilgisayar uyarlamalı testte madde seçimi için maksimum Fisher bilgi kriteri kullanılmıştır. Yetenek düzeyi kestirimlerinde iteratif yaklaşımlar için en çok olabilirlik kestirimi kullanılmıştır.
Bulgular: Klasik test skoru (0-100 skalasında) ve bilgisayar uyarlamalı test arasında orta düzeyde uyum saptanmıştır (sınıf içi korelasyon katsayısı:0,682, güven aralığı %95GA=0,594-0,765, F(175,175)=17,1; p<0.001). Çalışmada, kağıt kalem testinden elde edilen cevaplardan madde yanıt teorisi doğrultusunda elde edilen yetenek düzeyleri ve bilgisayar uyarlamalı test ile yetenek düzeyi kestirimleri incelendiğinde uyumun mükemmel düzeyde (sınıf içi korelasyon katsayısı:0,90; %95GA:0,866-0,924) olduğu görülmüştür. Ayrıca bilgisayar uyarlamalı testin kağıt-kalem testine göre soru sayısını %80 oranında azalttığı bulunmuştur.
Sonuç: Bu çalışmadan elde edilen sonuçlar, bilgisayar uyarlamalı test uygulaması ile daha kısa sürede, daha az madde sayısı ile güvenli sonuçlar elde edilebileceğini ve testin tamamlanmasından kısa süre sonra sonuçların izlenebileceğini göstermektedir.
Aim: With the popularity of distance education in the current Covid-19 pandemic, the use of computerized adaptive testing is becoming increasingly important in order to determine the ability level of individuals more accurately and to analyze the exam strategies in online exams. In this study, it is aimed to compare the estimations of students' ability levels in the distance education with computerized adaptive testing and paper-pencil test.
Methods: This study is a cross-sectional and methodological study which was conducted between March 2020 and December 2020. The study population consists of 4th class students which were studying physical education and sports teaching at Erzincan Binali Yıldırım University, Gazi University, Erciyes University and Kastamonu University Sports Sciences Faculties. In this study, analyzes were performed by using R programming language (ver. 3.6.2) and RStudio (ver. 1.2.5033) software. Number of people was 176; the number of items in the question bank was 80 (formed with 20 questions each prepared by experts from each of 4 different fields (exercise physiology, psychomotor development, training information, exercise and nutrition)); the standard error for the computerized adaptive test stopping criterion was taken as <0.5. The agreement of Paper-And-Pencil Test and computerized adaptive test θ values were evaluated with the intraclass correlation coefficient. CAT estimates of individuals were performed with the “randomCAT” function in the catR package. The ability level of a person was obtained with computerized adaptive test application, the standard error of θ and the number of items used were presented as a result of the analysis. Maximum Fisher information criterion was used for question selection in computerized adaptive test. Maximum likelihood estimation was used for iterative approaches in the ability level estimations.
Results: There was moderate agreement between the classical test score (on a 0-100 scale) and the computer-adapted test (intraclass correlation coefficient: 0.682, confidence interval 95%CI=0.594- 0.765, F(175.175)=17.1; p<0.001). In this study, the ability level estimations by using the item response theory from the answers obtained from the paper-and-pencil test and the ability level estimations with the computer adaptive test were examined. It was seen that the agreement was at an excellent level (intraclass correlation coefficient: 0.90; 95%CI: 0.866-0.924). Also it was also found that computerized adaptive test reduced the number of addressed questions by 80% when compared to Paper-And-Pencil Test.
Conclusions: The results obtained from this study show that with the application of computer-adapted testing, safe results can be obtained in a shorter time, with less number of items, and the results can be monitored shortly after the completion of the test.