Reduction of computing resources in deep learning frameworks for knee mr images of acl tears
5
Issued Date
2022
Copyright Date
2022
Resource Type
Language
eng
File Type
application/pdf
No. of Pages/File Size
xii, 88 leaves
Access Rights
open access
Rights
ผลงานนี้เป็นลิขสิทธิ์ของมหาวิทยาลัยมหิดล ขอสงวนไว้สำหรับเพื่อการศึกษาเท่านั้น ต้องอ้างอิงแหล่งที่มา ห้ามดัดแปลงเนื้อหา และห้ามนำไปใช้เพื่อการค้า
Rights Holder(s)
Mahidol University
Bibliographic Citation
Thesis (M.Eng. (Electrical Engineering and Electronics))--Mahidol University, 2022)
Suggested Citation
Pavinee Jaturapisanukul Reduction of computing resources in deep learning frameworks for knee mr images of acl tears. Thesis (M.Eng. (Electrical Engineering and Electronics))--Mahidol University, 2022). Retrieved from: https://repository.li.mahidol.ac.th/handle/123456789/113906
Title
Reduction of computing resources in deep learning frameworks for knee mr images of acl tears
Alternative Title(s)
การลดทรัพยากรในการคำนวณด้วยวิธีการเรียนรู้เชิงลึก สำหรับภาพเอ็มอาร์รอยขาดของเส้นเอ็นไขว้หน้าข้อเข่า
Author(s)
Abstract
The convolutional neural networks (CNNs) model almost completely solves computer vision problems in image classification. It consistently demonstrates high accuracy when applied to a standard computer. Therefore, the challenge is compressing the CNNs model to operate efficiently on resource-constrained devices. However, compressing usually aims at general image classification, which is often improper for medical tasks. Physicians also use tablets to investigate patients' images promptly; thus, developing a tablet application to assist a doctor's interpretation is a concern. The stanfordML research group developed a benchmark CNNs model, MRNet, to diagnose knee MRIs with their public dataset. This study focused on an approach to classifying knee anterior cruciate ligament tears in MRNet. The researcher compressed MRNet's convolutional layers and optimized them by replacing their filters with medical-image-processing 2n form filters and adding symmetric padding to fix a shift problem. Next, the researcher utilized MRI-cut selection by splitting the dataset according to their cuts and fed them to the model as the input data. The highest accuracy was from Coronal/Sagittal views, which were used as the new input data. The researcher then measured the classification results within the MRNet dataset. The trained-from-scratch MRNet served as a baseline model; it yielded an average error rate of 8.50%, while the compressed model produced 12.94%, whereas the number of parameters was pruned by 52.250%. The number of FLOPs was pruned by 46.145%, and the model required only Coronal and Sagittal views.
โมเดลโครงข่ายประสาทคอนโวลูชันสามารถแก้ปัญหาการจำแนกประเภทภาพได้อย่างแม่นยำ โดยเฉพาะการใช้โมเดลในอุปกรณ์คอมพิวเตอร์ที่มีทรัพยากรคำนวณตามมาตรฐาน ทว่ามีข้อจำกัดในการใช้งานโมเดลในอุปกรณ์ที่มีทรัพยากรคำนวณน้อย จึงเกิดเป็นหัวข้อวิจัยที่จะปรับย่อโมเดลโครงข่ายประสาทแบบคอนโวลูชัน การปรับย่อโดยพื้นฐานจะมุ่งเป้าที่การจำแนกรูปภาพทั่วไป ซึ่งไม่สามารถใช้งานร่วมกับภาพถ่ายทางการแพทย์ แม้ว่าแพทย์ในปัจจุบันได้มีการใช้งานแท็บเล็ตคอมพิวเตอร์เป็นเครื่องมือสนับสนุนเมื่อต้องการวิเคราะห์ภาพถ่ายทางการแพทย์แบบรวดเร็ว ในการศึกษานี้จึงนำโมเดลของ stanfordML ชื่อว่า MRNet (Bien et al., 2018) เพื่อวินิจฉัยโรคเกี่ยวกับเข่า มาเป็นโมเดลต้นแบบในการวินิจฉัยและจำแนกภาพอาการฉีกขาดของเอ็นไขว้หน้าข้อเข่าจากภาพเอ็มอาร์ไอ โดยนำโมเดล MRNet มาปรับย่อระดับชั้นคอนโวลูชันนอล เปลี่ยนตัวกรองคุณสมบัติรูปภาพให้เหมาะสมกับการใช้ประมวลผลภาพถ่ายทางการแพทย์ด้วยตัวกรองขนาดเลขคู่ (2n Form Filters) ร่วมกับการเติมช่องสมมาตร (Symmetric Padding) เพื่อแก้ไขปัญหาภาพที่ถูกกรองมีการเลื่อนไถล และได้แบ่งชุดข้อมูลภาพตามชนิดของภาพตัดเพื่อเป็นข้อมูลเข้าในการฝึกสอนโมเดลเพื่อลดจำนวนของภาพที่ใช้ในการประมวลผล ซึ่งผลที่ได้คือ โมเดล MRNet ต้นฉบับได้ค่าความผิดพลาดเฉลี่ยที่ 8.50% ส่วนโมเดลปรับย่อได้ 12.94% โดยจำนวนพารามิเตอร์ถูกลดทอนไป 52.250% และจำนวนขั้นตอนคำนวณ FLOPs ลดทอนไป 46.145% และใช้ภาพเพื่อการวินิจฉัยแค่สองมุมมอง คือ Coronal และ Sagittal เท่านั้น
โมเดลโครงข่ายประสาทคอนโวลูชันสามารถแก้ปัญหาการจำแนกประเภทภาพได้อย่างแม่นยำ โดยเฉพาะการใช้โมเดลในอุปกรณ์คอมพิวเตอร์ที่มีทรัพยากรคำนวณตามมาตรฐาน ทว่ามีข้อจำกัดในการใช้งานโมเดลในอุปกรณ์ที่มีทรัพยากรคำนวณน้อย จึงเกิดเป็นหัวข้อวิจัยที่จะปรับย่อโมเดลโครงข่ายประสาทแบบคอนโวลูชัน การปรับย่อโดยพื้นฐานจะมุ่งเป้าที่การจำแนกรูปภาพทั่วไป ซึ่งไม่สามารถใช้งานร่วมกับภาพถ่ายทางการแพทย์ แม้ว่าแพทย์ในปัจจุบันได้มีการใช้งานแท็บเล็ตคอมพิวเตอร์เป็นเครื่องมือสนับสนุนเมื่อต้องการวิเคราะห์ภาพถ่ายทางการแพทย์แบบรวดเร็ว ในการศึกษานี้จึงนำโมเดลของ stanfordML ชื่อว่า MRNet (Bien et al., 2018) เพื่อวินิจฉัยโรคเกี่ยวกับเข่า มาเป็นโมเดลต้นแบบในการวินิจฉัยและจำแนกภาพอาการฉีกขาดของเอ็นไขว้หน้าข้อเข่าจากภาพเอ็มอาร์ไอ โดยนำโมเดล MRNet มาปรับย่อระดับชั้นคอนโวลูชันนอล เปลี่ยนตัวกรองคุณสมบัติรูปภาพให้เหมาะสมกับการใช้ประมวลผลภาพถ่ายทางการแพทย์ด้วยตัวกรองขนาดเลขคู่ (2n Form Filters) ร่วมกับการเติมช่องสมมาตร (Symmetric Padding) เพื่อแก้ไขปัญหาภาพที่ถูกกรองมีการเลื่อนไถล และได้แบ่งชุดข้อมูลภาพตามชนิดของภาพตัดเพื่อเป็นข้อมูลเข้าในการฝึกสอนโมเดลเพื่อลดจำนวนของภาพที่ใช้ในการประมวลผล ซึ่งผลที่ได้คือ โมเดล MRNet ต้นฉบับได้ค่าความผิดพลาดเฉลี่ยที่ 8.50% ส่วนโมเดลปรับย่อได้ 12.94% โดยจำนวนพารามิเตอร์ถูกลดทอนไป 52.250% และจำนวนขั้นตอนคำนวณ FLOPs ลดทอนไป 46.145% และใช้ภาพเพื่อการวินิจฉัยแค่สองมุมมอง คือ Coronal และ Sagittal เท่านั้น
Degree Name
Master of Engineering
Degree Level
Master's degree
Degree Department
Faculty of Engineering
Degree Discipline
Electrical Engineering and Electronics
Degree Grantor(s)
Mahidol University