ความสอดคล้องของค่า Acceptability Index กับผลการสอบ MCQ ของนักศึกษาแพทย์ชั้นปีที่ 5 รายวิชาเวชศาสตร์ปฐมภูมิ 2 คณะแพทยศาสตร์โรงพยาบาลรามาธิบดี มหาวิทยาลัยมหิดล

Abstract

บทนำ: ภาควิชาเวชศาสตร์ครอบครัว คณะแพทยศาสตร์โรงพยาบาลรามาธิบดี มหาวิทยาลัยมหิดล มีนโยบายในการสร้างและจัดทำข้อสอบที่เป็นมาตรฐานด้านเวชศาสตร์ครอบครัว เพื่อประเมินความรู้และความสามารถของนักศึกษาแพทย์ วัตถุประสงค์: เพื่อหาความสอดคล้องของค่า AI (Acceptability index) ที่ถูกกำหนดกับค่าความยากง่าย (P) ของผลการสอบ MCQ (Multiple choice question) ของนักศึกษาแพทย์ เพื่อนำผลที่ได้ไปเป็นแนวทางในการกำหนดค่า AI ของข้อสอบ MCQ ให้มีความเที่ยงตรง ซึ่งมีผลต่อการพิจารณาระดับผลการเรียน วิธีการศึกษา: กลุ่มตัวอย่างคือ ผลการสอบ MCQ ของนักศึกษาแพทย์ชั้นปีที่ 5 คณะแพทยศาสตร์โรงพยาบาลรามาธิบดี มหาวิทยาลัยมหิดล จำนวน 178 ราย ในรายวิชาเวชศาสตร์ปฐมภูมิ 2 ปีการศึกษา 2558 วิเคราะห์ข้อมูลโดยใช้สถิติเชิงบรรยายด้วยโปรแกรม SPSS version 18.0 เพื่อหาความสัมพันธ์ระหว่างค่า AI และค่า P ของผลการสอบ MCQ ผลการศึกษา: ข้อสอบ 4 ชุด จำนวน 237 ข้อ เป็นข้อสอบที่ค่า AI มีความสอดคล้องกับค่า P จำนวน 62 ข้อ คิดเป็นร้อยละ 26.16 และข้อสอบที่ค่า AI ไม่มีความสอดคล้องกับค่า P จำนวน 175 ข้อ คิดเป็นร้อยละ 73.84 จากการวิเคราะห์โดยหาค่าสัมประสิทธิ์สหสัมพันธ์ของเพียร์สัน (Pearson’s product moment correlation coefficient) พบว่า ข้อสอบชุดที่ 2 เป็นข้อสอบชุดเดียวในจำนวน 4 ชุด ที่ค่า AI มีความสัมพันธ์ทางบวกกับค่า P อย่างมีนัยสำคัญทางสถิติที่ระดับ 0.01 และเป็นชุดที่มีค่าอำนาจจำแนกของข้อสอบในระดับดีมาก (r = 0.44) ส่วนข้อสอบชุดที่ 1, 3 และ 4 มีค่า AI ที่ไม่มีความสัมพันธ์กับค่า P อย่างมีนัยสำคัญทางสถิติ และมีค่าอำนาจจำแนกของข้อสอบในระดับต่ำมาก พอใช้ และต่ำ ตามลำดับ สรุป: การวิเคราะห์ค่า AI ของคณะกรรมการวิเคราะห์ข้อสอบยังไม่สอดคล้องกับความยากง่ายของข้อสอบและผลการสอบมากนัก ซึ่งจะนำไปสู่การพัฒนาปรับปรุงต่อไป

Background: Department of Family Medicine, Faculty of Medicine Ramathibodi Hospital, Mahidol University has an aim to create and produce standardized tests for student assessment in terms of medical knowledge and skill. Acceptability index (AI) of a test affects grading results. The examiner should set appropriate AI for validity of grading. Objective: This descriptive research aim to identify correlation between AI and Difficulty index (P) of multiple choice question (MCQ) exam results of fifth-year medical students. This is to find and develop appropriate AI for grading. Methods: One hundred and seventy-eight exam results of fifth-year medical students in Primary Care 2 rotation, Faculty of Medicine Ramathibodi Hospital, Thailand in year 2015 were selected to find the correlation between AI and P of MCQ exam results. Data analysis was undertaken using SPSS version 18, descriptive statistics. Results: The findings indicate that there were 4 sets of MCQ, 237 items in total. Sixty-two items (26.16%) had correlation between AI and P but 175 items (73.84%) had not. The analysis by Pearson’s product moment correlation coefficient found that the only one set of all four MCQ sets had a positive correlation between AI and P with statistically significant at P ≤ 0.01 and had a high level of the discrimination power (r = 0.44). The others of MCQ set had no correlation between AI and P and level of discrimination power were low. Conclusions: The evidence showed that the most AI of the exams had low correlation with P. It lead to improve item analysis process.