Effects of online frame-of-reference rater training on scoring accuracy in objective structured clinical examination
Issued Date
2023
Copyright Date
2023
Resource Type
Language
eng
File Type
application/pdf
Access Rights
open access
Rights
ผลงานนี้เป็นลิขสิทธิ์ของมหาวิทยาลัยมหิดล ขอสงวนไว้สำหรับเพื่อการศึกษาเท่านั้น ต้องอ้างอิงแหล่งที่มา ห้ามดัดแปลงเนื้อหา และห้ามนำไปใช้เพื่อการค้า
Rights Holder(s)
Mahidol University
Suggested Citation
Zarina Sadad (2023). Effects of online frame-of-reference rater training on scoring accuracy in objective structured clinical examination. Retrieved from: https://repository.li.mahidol.ac.th/handle/123456789/116899
Title
Effects of online frame-of-reference rater training on scoring accuracy in objective structured clinical examination
Alternative Title(s)
การศึกษาผลการฝึกอบรมผู้ประเมินแบบออนไลน์โดยกรอบอ้างอิงต่อความแม่นยำในการประเมินทักษะทางคลินิก
Author(s)
Advisor(s)
Abstract
The objective structured clinical examination (OSCE) is an important tool to assess clinical skill in health science education. The quality of the OSCE relies on reliability and validity. Frame-of-reference training (FORT) might be an effective strategy to improve rating accuracy and the reliability of the OSCE. This study aims to evaluate the effect of FORT in the medical area, in comparison to the control group, on accuracy and inter-rater reliability in the OSCE. This research was an experimental study that compared one group of examiners who had undergone FORT with the control, considering the effectiveness outcomes in FORT. The study was conducted among the medical staff of the Faculty of Medicine Vajira hospital. The research instrument in this study was three mock OSCEs. Two sets of three mock OSCEs were used as pretests and posttests. The proportion of correct responses, distance accuracy and Borman’s differential accuracy were used to determine scoring accuracy. Inter-rater reliability was estimated with the intraclass correlation coefficients and 95% confidence intervals. The sample population was 42 participants: 21 per control group and 21 per experimental group. This study's results indicated no difference in three scoring accuracy parameters between the FORT group and control group after training. This study also showed that FORT positively impacted rating accuracy in the history-taking skill according to the results from distance accuracy and Borman’s differential accuracy indexes (P <0.001). There was an improvement in the ICCs values in the FORT group from the history-taking skill in both PE in a patient with abdominal pain (from 0.73 to 0.92), and management in epistaxis (from 0.69 to 0.80). Implication of the thesis: On the bright side of this study’s result, health science faculties can utilize FORT as the specific training session for the OSCE station, which aims to assess the competency in the history-taking skill.
การประเมินทักษะทางคลินิกเป็นการวัดและประเมินผล โดยมุ่งเน้นเพื่อประเมินทักษะทางคลินิกในการศึกษาด้านวิทยาศาสตร์สุขภาพ คุณภาพของประเมินผลขึ้นอยู่กับความน่าเชื่อถือและความถูกต้อง การฝึกอบรมผู้ประเมินโดยกรอบอ้างอิง (Frame-of-Reference Training: FORT) อาจเป็นกลยุทธ์ที่มีประสิทธิภาพในการปรับปรุงความแม่นยำในการให้คะแนนและความน่าเชื่อถือในการประเมินทักษะทางคลินิก วัตถุประสงค์ของการศึกษานี้คือเพื่อประเมินผลของการฝึกอบรมผู้ประเมินโดยกรอบอ้างอิง โดยเปรียบเทียบกับผลของกลุ่มควบคุมต่อความแม่นยำและความน่าเชื่อถือระหว่างผู้ประเมินในการประเมินทักษะทางคลินิก งานวิจัยนี้เป็นการศึกษาทดลองที่เปรียบเทียบความแม่นยำในการประเมินและความสอดคล้องระหว่างผู้ประเมินที่ได้รับการอบรมโดยการฝึกอ
การประเมินทักษะทางคลินิกเป็นการวัดและประเมินผล โดยมุ่งเน้นเพื่อประเมินทักษะทางคลินิกในการศึกษาด้านวิทยาศาสตร์สุขภาพ คุณภาพของประเมินผลขึ้นอยู่กับความน่าเชื่อถือและความถูกต้อง การฝึกอบรมผู้ประเมินโดยกรอบอ้างอิง (Frame-of-Reference Training: FORT) อาจเป็นกลยุทธ์ที่มีประสิทธิภาพในการปรับปรุงความแม่นยำในการให้คะแนนและความน่าเชื่อถือในการประเมินทักษะทางคลินิก วัตถุประสงค์ของการศึกษานี้คือเพื่อประเมินผลของการฝึกอบรมผู้ประเมินโดยกรอบอ้างอิง โดยเปรียบเทียบกับผลของกลุ่มควบคุมต่อความแม่นยำและความน่าเชื่อถือระหว่างผู้ประเมินในการประเมินทักษะทางคลินิก งานวิจัยนี้เป็นการศึกษาทดลองที่เปรียบเทียบความแม่นยำในการประเมินและความสอดคล้องระหว่างผู้ประเมินที่ได้รับการอบรมโดยการฝึกอ
Degree Name
Master of Science
Degree Level
Master's degree
Degree Department
Faculty of Medicine Siriraj Hospital
Degree Discipline
Health Science Education
Degree Grantor(s)
Mahidol University