Development and validation of rubric for assessment of practice in Thai traditional therapeutic massage

Abstract

The purpose of this study is to validate content validity, internal structure validity, and inter-rater reliability of practice in Thai traditional therapeutic massage’s rubric. This study was divided into three parts. To validate the content validity, five experts were invited to evaluate the rubric using IOC and give suggestions for rubric development. The developed rubric was sent to experts to reconsider until all experts approved. Then clinical supervisors received training on the rubric. To validate internal consistency validity, a trained clinical supervisor assessed the student during massage patient and used Cronbach’s alpha to test. To validate inter-rater reliability, two trained clinical supervisors assessed the student during massage patient and used ICC to test. The findings indicated that the rubric IOC's content validity ranged from 0.4 to 1.0. While internal structure validity of each category and overall rubric, Cronbach’s alpha ranged from 0.430-0.728 and 0.736, respectively. Inter-rater reliability of rubric, ICC ranged from 0.016-0.743. The developed rubric passed three content validity evaluations, and the majority of the criteria had good test content validity. The internal structure validity of the rubric was good for the overall, while each category's internal structure validity and inter-rater reliability were weak. To enhance validity and reliability, assessment should be used to decide whether to delete the knowledge and other skills category or raise the requirements. Additionally, the rater training procedure has to be enhanced to boost inter-rater reliability.

วัตถุประสงค์ของการศึกษานี้ เพื่อทดสอบความเที่ยงตรงเชิงเนื้อหา ความเที่ยงตรงเชิงความสอดคล้องภายในและความเชื่อมั่นระหว่างผู้ประเมินของแบบประเมินรูบริคฝึกปฎิบัติหัตถเวชกรรมแผนไทย การศึกษาแบ่งออกเป็น 3 ส่วน ในการทดสอบความเที่ยงตรงเชิงเนื้อหา ผู้ทรงคุณวุฒิจํานวน 5 คน ถูกเชิญมาประเมินรูบริคโดยใช้ IOC และให้ข้อเสนอแนะเพื่อพัฒนาแบบประเมิน แบบประเมินที่พัฒนาแล้วจะถูกส่งให้ผู้ทรงคุณวุฒิพิจารณาใหม่จนกว่าผู้ทรงคุณวุฒิจะเห็นด้วยทุกคน จากนั้นอาจารย์จะได้รับการอบรมแบบประเมินรูบริค ในการทดสอบความเที่ยงตรงเชิงความสอดคล้องภายใน อาจารย์ผู้ประเมิน 1 คน ประเมินนักศึกษาขณะนวดรักษาผู้ป่วย และใช้สัมประสิทธิ์ แอลฟาของครอนบากในการทดสอบ ในการทดสอบความเชื่อมั่นระหว่างผู้ประเมิน ให้อาจารย์ผู้ประเมิน 2 คน ประเมินนักศึกษาขณะนวดรักษาผู้ป่วย และใช้สัมประสิทธิ์ สหสัมพันธ์ภายในชั้นในการทดสอบ ผลการศึกษา พบว