Akademik Veri Yönetim Sistemi
23. Ulusal ve 6. Uluslararası Biyoistatistik Kongresi, Ankara, Türkiye, 26 - 29 Ekim 2022
Amaç: Bu çalışmadaki amaç, makine öğrenme yöntemlerinin değerlendirmesinde kullanılan performans ölçütlerinden hangilerinin benzer ve hangilerinin farklı bilgi içerdiğini belirleyerek performans değerlendirmesinde kullanılacak ölçüt gruplarını belirlemektir. Gereç ve Yöntem: Literatürde makine öğrenme yöntemlerinin karşılaştırılmasında kullanılan ve özellik olarak birbirinden 41 farklı gerçek veri setinin her biri %70’i eğitim ve %30’u test seti olarak ayrıldı. Bu ayırma işlemi rasgele olarak 300 kere tekrarlandı. Her bir tekrarda lojistik regresyon analizi uygulanarak oluşturulan modellerin test veri setlerinde PÖ’leri elde edildi. Her bir veri seti için, ölçütler üzerinde faktör analizi yapılarak hangi PÖ’lerinin birliktelik gösterdiği kayıt edildi. Bulgular: Performans ölçütleri veri setlerindeki bağımlı değişkenin prevalansına göre <0.25, 0.25-0.39 ve 0.40-0.5 setlerine ayrılarak değerlendirildiğinde Performans ölçütleri grup sayısı ve bu gruplarda yer alan performans ölçütleri farklılık göstermektedir. Bu PÖ arasında prevelansa göre farklı PÖ gruplarında yer alan ölçütleri; RMSE, MCC, Cohen Kappa ve YI olduğu gözlenmiştir. Sonuç: Makine öğrenme yöntemlerinin performanslarını karşılaştırırken ACC, Adj_F ve (AUCROC veya RMSE) den biri kullanıldığında üç PÖ den ikisinin aynı grupta yer alması nedeniyle ilk iki PÖ başarısına daha fazla ağırlık verilmesi neden ile yanlış yöntem başarılı bulunabilmektedir. Önerimiz bağımlı değişkenin prevalasına göre belirlenen gruplarda oluşan PÖ gruplarından birer PÖ seçilerek yöntemlerin karşılaştırılmasıdır.
Anahtar Kelimeler: Performans ölçütleri, makine öğrenme