Smart capture for fact verification

Abstract

Importing images from screen capture into an Optical Character Recognition (OCR) programme on a smartphone in order to convert these images into text will be an important step before they can be sent to a chat-bot. Thus far, these steps have not been able to give accurate results at all, and have been unable to selectively exclude unnecessary information from the image such as time, percentage of remaining battery, network, and user name. This research investigates how best to monitor images from screen capture, using 30 samples from the LINE application. The nature of the conversation and the background was different in each sample. Image Processing was used to identify the region of interest in a specific section of conversation, and then to delete the parts that are not of interest. The acquired images are then submitted to the OCR procedure to compare the accuracy of the results. This process was found to improve accuracy from 50% up to 95%. The results of this research can increase the efficiency of OCR and be used to develop better performance chat-bot applications.

การนำภาพที่ได้จากการจับภาพหน้าจอบน Smartphone เข้ากระบวนการแปลงภาพให้เป็นตัวอักษรหรือ Optical Character Recognition (OCR) ซึ่งจะเป็นส่วนที่สำคัญก่อนจะส่งต่อให้แชทบอท จากขั้นตอนที่กล่าวมานี้จะไม่สามารถให้ผลลัพธ์ที่ถูกต้องทั้งหมดได้ และยังมีบางส่วนของภาพที่ไม่จำเป็น เช่น เวลา, เปอเซนแบตเตอรี่, เครือข่าย และ ชื่อผู้สนทนา งานวิจัยนี้มีวัตถุประสงค์เพื่อหาวิธีการตรวจสอบภาพที่ได้จากการจับภาพหน้าจอ โดยเลือกใช้กลุ่มตัวอย่างของแอพพลิเคชั่น LINE จำนวน 30 ตัวอย่าง ที่มีลักษณะการสนทนาและพื้นหลังที่มีความต่างกัน โดยใช้หลักการทำงานของการประมวลผลภาพหรือ Image Processing เพื่อระบุขอบเขตที่สนใจเฉพาะของบทสนทนาและลบส่วนที่ไม่สนใจออก จากนั้นนำภาพที่ได้มาผ่านขั้นตอน OCR เพื่อเปรียบเทียบความถูกต้องของผลลัพธ์ที่ได้มาเป็นตัวอักษรทั้งก่อนและหลังงานวิจัย โดยจากงานวิจัยพบว่ากระบวนการดังกล่าวจะช่วยกรองให้เหลือเฉพาะพื้นที่ที่สนใจ และเพิ่มความถูกต้อง คิดเป็นร้อยละ 95 จากเดิม ร้อยละ 50 จากผลงานวิจัยนี้สามารถเพิ่มประสิทธิภาพของ OCR ได้ และสามารถนำไปพัฒนาแชทบอทให้มีประสิทธิภาพดียิ่งขึ้น