Integration and comparison of web application automated testing frameworks with Devops cloud development tools for software tester

Abstract

Nowadays, most tech companies have changed their software development life cycle from a waterfall model to an Agile model. The Agile model aims to bring out software applications as fast as possible to serve the best outcome for customers’ needs and to support their requirements which tend to change rapidly. However, fast delivery can lead to defects/bugs more easily. Therefore, software testers should have some tools to help examine whether an application will work properly. DevOps is a model for testing and releasing. Automation is a key component of DevOps that can reduce time for testing and increase the stability of an application. The purpose of this study was to design an automation testing method and find the best tool for software testers using DevOps cloud tools and a CI/CD pipeline. The results collected from the pipeline showed pipeline runtime and success rate. All cloud platform tools have an average runtime of around $2$ minutes. Azure DevOps tends to be suitable for software testing due to its high success rate. Moreover, Azure DevOps provides useful utilities and dashboards. IMPLICATION OF THE THESIS. Further research should be conducted to compare web automation test cloud platform tool service pricing year plan to compare runtime and success rate of cloud platform tools and to compare web automation test by selecting another web application to perform schedule run and compare results from the pipeline.

ในปัจจุบันบริษัททางด้านเทคโนโลยีได้มีการปรับเปลี่ยนวิธีการในการพัฒนาซอฟต์แวร์แอปพลิเคชันจากวิธีการทำงานแบบขั้นบันได เป็นวิธีการทำงานแบบอไจล์ ที่เน้นความคล่องแคล่วและว่องไว โดยวิธีการทำงานแบบอไจล์มีวัตถุประสงค์เพื่อการส่งมอบซอฟต์แวร์แอปพลิเคชันให้ลูกค้าอย่างเร็วที่สุด และเพื่อรองรับความต้องการของลูกค้าที่ต้องการปรับเปลี่ยนตลอดเวลา ซึ่งวิธีการทำงานที่รวดเร็วนั้นอาจจะส่งผลกระทบในเรื่องของความผิดพลาดในการทำงานของซอฟต์แวร์แอปพลิเคชันได้มากขึ้นเช่นเดียวกัน ดังนั้น นักทดสอบโปรแกรมควรจะมีตัวช่วยในการที่จะหาการทำงานที่ผิดพลาดของซอฟต์แวร์แอปพลิเคชันได้อย่างทันท่วงที จึงมีแนวทางในการทำงานซึ่งก็คือ DevOps ซึ่งการทำงานรูปแบบนี้จะเน้นไปในเรื่องของการทดสอบและการส่งมอบงานอย่างต่อเนื่อง ซึ่งหัวใจหลักของการทำงานแบบ DevOps ก็คือการใช้เครื่องมืออัตโนมัติเข้ามาช่วยในการทำงาน เพื่อที่จะสามารถลดเวลาในการทดสอบและเพิ่มประสิทธิภาพให้กับซอฟต์แวร์แอปพลิเคชันได้ยิ่งขึ้น เป้าหมายของงานวิจัยนี้เพื่อที่จะออกแบบการทดสอบซอฟต์แวร์แอปพลิเคชันแบบอัตโนมัติสำหรับนักทดสอบโปรแกรมและค้นหาเปรียบเทียบว่าเครื่องมือไหนที่เหมาะสมสำหรับการใช้ทดสอบซอฟต์แวร์แอปพลิเคชัน โดยใช้เครื่องมือการทดสอบทางด้าน DevOps ที่อยู่บนคลาวด์แพลตฟอร์ม และเปรียบเทียบความสามารถของเครื่องมือบนคลาวด์แพลตฟอร์มว่าเครื่องมือไหนที่เหมาะสมในการใช้งานเพื่อทดสอบซอฟต์แวร์แอปพลิเคชันได้ดีที่สุด ผลการทดสอบที่ได้จากการทดสอบโปรแกรมผ่านทางเครื่องมือบนคลาวด์แพลตฟอร์มพบว่า เครื่องมือที่นำมาทดสอบมีระยะเวลาในการทดสอบอยู่ที่ประมาณ 2 นาที ซึ่งค่าที่ได้มีค่าไม่ต่างกัน แต่ Azure DevOps มีอัตราการสำเร็จในการทดสอบโปรแกรมที่สูงที่สุด จึงเป็นเครื่องมือที่เหมาะสมในการนำมาประยุกต์ใช้ในการทดสอบซอฟต์แวร์แอปพลิเคชัน นอกจากนี้ยังได้มีสิ่งอำนวยความสะดวกต่างๆ ที่จำเป็นจะต้องใช้ในการทดสอบโปรแกรม รวมถึงหน้ากระดาน (dashboard) เพื่อใช้ในการสรุปผลที่ได้จากการทดสอบโปรแกรม การนำผลของวิทยานิพนธ์ไปใช้ การทดสอบโปรแกรมโดยประยุกต์ใช้ร่วมกับเครื่องมือ DevOps คลาวด์แพลตฟอร์ม จะสามารถตรวจพบปัญหาที่เกิดขึ้นกับโปรแกรมได้อย่างทันท่วงที สามารถทราบถึงความสามารถของคลาวด์แพลตฟอร์มแต่ละตัวในความเหมาะสมต่อการใช้งานร่วมกับการทดสอบโปรแกรมอัตโนมัติ ซึ่งสามารถเอาไปใช้งานในอนาคตทั้งในเรื่องของการทดสอบโปรแกรมในส่วนของซอฟต์แวร์แอปพลิเคชันอื่นๆ หรือทำการสมัครสมาชิกเพื่อเปิดใช้งานคุณสมบัติพิเศษจาก DevOps คลาวด์แพลตฟอร์ม เพื่อศึกษาและเปรียบเทียบความสามารถในการทดสอบโปรแกรมอัตโนมัติ ทั้งในเรื่องของระยะเวลาในการทดสอบและอัตราความสำเร็จ