A design and development of mouth segmentation for vision-based mouth opening measurement

Abstract

Dysphagia is a difficulty toward swallowing process occurring from oral cavity to stomach. The quantitative measurement is jaw range of motion (ROM) which is a distance between upper and lower incisors, called mouth opening. Recently, inexpensive automatic vision-based mouth opening measurement is developed. The basis of mouth opening measurement, which is mouth segmentation, is proposed. Mouth segmentation is challenging due to illumination, low chromatic contrast, and complex mouth appearance. Deep learning techniques solve mouth segmentation with a state-of-the-art performance. This thesis presents a novel approach to mouth segmentation by Mobile DeepLabV3 with decode and auxiliary heads, data augmentation, online hard example mining (OHEM), and transfer learning. CelebAMask-HQ and the mouth dataset from 15 healthy subjects in the Department of Rehabilitation Medicine, Ramathibodi Hospital, are used in validation for mouth segmentation performance. Extensive data augmentation, OHEM, and transfer learning were performed. This technique achieved better performance on CelebAMask-HQ than existing segmentation techniques with a mean Jaccard similarity coefficient (JSC), a mean classification accuracy, and a mean Dice similarity coefficient (DSC) of 0.8640, 93.34%, and 0.9267, respectively. This technique also achieved better performance on the mouth dataset with a mean JSC, a mean classification accuracy, and a mean DSC of 0.8834, 94.87%, and 0.9367, respectively. The proposed technique achieved inference time usage per image of 48.12ms. From the results, it gained better mouth segmentation performance than existing techniques. This makes it suitable for further development of mouth opening measurement.

ภาวะการกลืนลำบากเป็นความยากในการกลืนซึ่งเกิดขึ้นตั้งแต่ปากจนถึงกระเพาะอาหาร การตรวจร่างกายในเชิงปริมาณสำหรับภาวะการกลืนลำบากคือการวัดพิสัยของการเคลื่อนไหวบริเวณกราม โดยวัดระยะห่างระหว่างฟันกรามบนและฟันกรามล่างหรือที่เรียกว่าการวัดการอ้าปาก ปัจจุบันมีการพัฒนาเทคนิคการนำกล้องวิดีโอสำหรับการวัดการเคลื่อนไหวโดยอัตโนมัติและเป็นเทคนิคการวัดที่มีราคาไม่แพง ในวิทยานิพนธ์นี้ ผู้วิจัยได้นำเสนอเทคนิคการแยกส่วนพื้นที่บริเวณปากสำหรับการเป็นพื้นฐานของการวัดการอ้าปาก ซึ่งเป็นหัวข้อที่ยากเนื่องจากมีความแตกต่างด้านสภาพแวดล้อมด้านแสงสว่าง ร่วมกับมีความแตกต่างของสีน้อยระหว่างปากและพื้นที่บริเวณรอบ และมีความแตกต่างของรูปร่างของปาก ปัจจุบันเทคนิคการแยกส่วนพื้นที่บริเวณปากเชิงลึกสามารถแยกส่วนพื้นที่บริเวณปากได้อย่างแม่นยำ ในวิทยานิพนธ์นี้ ผู้วิจัยได้นำเสนอเทคนิคการแยกส่วนพื้นที่บริเวณปากด้วยเทคนิค Mobile DeepLabV3 ที่พัฒนาต่อยอดด้วย Decode และ Auxiliary Head, Data Augmentation, Online Hard Example Mining และ Transfer Learning ร่วมกับทดสอบกับชุดข้อมูล CelebAMask-HQ และชุดข้อมูลปากที่เก็บข้อมูลในคนปกติจำนวน 15 คน จากแผนกเวชศาสตร์ฟื้นฟู โรงพยาบาลรามาธิบดี ผลการทดสอบพบว่าเทคนิคที่พัฒนาขึ้นให้ความแม่นยำมากกว่าเทคนิคอื่นในชุดข้อมูล CelebAMask-HQ โดยให้ค่า mean Jaccard similarity coefficient (JSC), mean classification accuracy และ mean Dice similarity coefficient (DSC) เท่ากับ 0.8640, 93.34% และ 0.9267 ตามลำดับ ร่วมกับเทคนิคที่พัฒนาขึ้นให้ความแม่นยำมากกว่าเทคนิคอื่นในชุดข้อมูลที่เก็บในคนปกติ โดยให้ค่า mean JSC, mean classification accuracy และ mean DSC เท่ากับ 0.8834, 94.87% และ 0.9367 ตามลำดับ เทคนิคที่พัฒนาขึ้นยังแยกส่วนพื้นที่บริเวณปากโดยใช้ระยะเวลา 48.12 ms จากผลการทดสอบพบว่าเทคนิคที่พัฒนาขึ้นสามารถแยกส่วนพื้นที่บริเวณปากแม่นยำกว่าเทคนิคอื่น และเหมาะสมต่อการพัฒนาการวัดการอ้าปากในลำดับต่อไป