Test suite optimization for human-in-the-loop testing processes in industry: Addressing slow test feedback and risks from untested changes

Abstract

Background. Software underpins the digital infrastructure that sustains modern societies. The importance and complexity of software systems necessitate rigorous testing to ensure their quality and, in particular, their correctness. In industrial contexts, humans play a significant role in software testing. They plan and conduct manual tests, make critical decisions about test completion, and monitor for risks, for example, arising from untested code changes. As software systems become more complex, the challenges of testing increase, consuming more time amidst limited resources. At the same time, compiling a test plan and deciding when all risks have been mitigated are particularly demanding tasks for the humans involved. Objective. In this dissertation, we seek to optimize human-in-the-loop testing processes in industrial practice by enhancing their efficiency and effectiveness. We target two optimization levers: (1) adopting automated test optimization techniques to improve manual testing; (2) supporting test management and quality assurance in the labor-intensive task of allocating test effort and assessing test completion. To accomplish the former, we explore optimization opportunities in manual testing, in particular, established optimization techniques from automated testing. We strive to understand the prerequisites and limitations for their transferability to existing manual testing processes, and how effective these techniques can be. To realize the latter, we prioritize untested code changes according to estimated risk. Methods and Results. To achieve our objective, we have conducted a series of empirical studies on human-in-the-loop testing, using methods such as field experiments and sample studies with industry partners. Manual test suites offer great optimization opportunities, since they often suffer from long run times—up to five person-months for our industry partners. Based on historical data and stakeholder interviews with our industry partners, we demonstrate the transferability and effectiveness of optimization techniques from automated to manual testing. Our results show that applying test case selection and prioritization to manual testing captures up to 81% of failures while reducing execution time by 43%. The second optimization lever addresses the labor-intensive code and test reviews which our industry partners conduct to mitigate the risks of untested code changes. We explore risk factors for code changes and propose a simple risk-based prioritization approach for untested code changes. In our evaluation using historical quality assurance documents from our industry partners, this approach was able to prioritize risky changes significantly higher than less risky changes. Our studies have demonstrated the suitability and effectiveness of the proposed solutions in practice, and after our studies, many subjects have been convinced to adopt our solutions by embedding them in their testing process. Conclusion. We demonstrate a variety of optimization opportunities and levers for human-in-the-loop software testing. Our empirical studies provide evidence of the feasibility and effectiveness of our optimization techniques in industry contexts. This dissertation constitutes a solid foundation for future research on human-in-the-loop testing processes and facilitates adoption by practitioners through detailed optimization guidelines. Both are crucial contributions to the future of software engineering.

Hintergrund. Software bildet das Fundament der digitalen Infrastruktur, auf der moderne Gesellschaften aufbauen. Um die Softwarequalität und in erster Linie die Korrektheit dieser bedeutenden und komplexen Softwaresysteme sicherzustellen, sind gründliche Tests unerlässlich. Im industriellen Kontext spielen Menschen im Softwaretesten eine wichtige Rolle. Sie planen und führen manuelle Tests durch, sie treffen kritische Entscheidungen über den Testabschluss und sie überwachen Risiken, die beispielsweise durch ungetestete Codeänderungen entstehen. Mit der zunehmenden Komplexität von Softwaresystemen wachsen auch die Herausforderungen beim Testen. Das Testen wird dadurch zeitaufwendiger, während die verfügbaren Ressourcen begrenzt bleiben. Besonders anspruchsvolle Aufgaben für die beteiligten Personen sind das Erstellen eines Testplans und die Entscheidung, wann das Testen abgeschlossen ist. Ziele. In dieser Dissertation zielen wir darauf ab, menschengestützte Testprozesse aus der Industrie zu optimieren, indem wir die Effizienz und Effektivität des Testens steigern. Wir konzentrieren uns auf zwei Hebel für die Optimierung: (1) die Übertragung von Testoptimierungstechniken für automatisierte Tests auf das manuelle Testen; (2) die Unterstützung des Testmanagements und der Qualitätssicherung bei der arbeitsintensiven Steuerung des Testaufwands und der Bewertung, ob das Testen abgeschlossen werden kann. Um Ersteres zu erreichen, untersuchen wir Optimierungsmöglichkeiten für das manuelle Testen, insbesondere etablierte Optimierungstechniken aus dem automatisierten Testen. Wir versuchen zu verstehen, unter welchen Voraussetzungen und mit welchen Einschränkungen sie auf bestehende manuelle Testprozesse übertragen werden und wie effektiv diese Techniken dabei sein können. Für Zweiteres setzen wir auf eine risikobasierte Priorisierung ungetesteter Codeänderungen. Methodik und Ergebnisse. Um unser Ziel zu erreichen, haben wir eine Reihe empirischer Studien zu menschengestützten Testprozessen durchgeführt. Dabei kamen Methoden wie Feldexperimente und Fallstudien mit Industriepartnern zum Einsatz. Manuelle Testsuiten bieten vielfältige Optimierungsmöglichkeiten, denn sie leiden häufig unter langen Laufzeiten – bei unseren Industriepartnern dauert die Ausführung einer manuellen Testsuite bis zu fünf Personenmonate. Auf Grundlage historischer Daten und Stakeholder-Befragungen mit unseren Industriepartnern zeigen wir, dass Optimierungstechniken wirksam vom automatisierten auf das manuelle Testen übertragen werden können. Unsere Ergebnisse demonstrieren, dass die Auswahl und Priorisierung von Testfällen bis zu 81 % der Fehler bei manuellen Tests erfasst und gleichzeitig die Ausführungszeit um 43 % reduziert. Der zweite Hebel für die Optimierung adressiert arbeitsaufwendige Code- und Testreviews, die unsere Industriepartner durchführen, um das Risiko ungetesteter Codeänderungen zu mindern. Hierfür untersuchen wir Risikofaktoren für Codeänderungen und schlagen auf dieser Grundlage einen einfachen risikobasierten Priorisierungsansatz für nicht getestete Codeänderungen vor. Bei der Evaluierung anhand historischer Qualitätssicherungsdokumente unserer Industriepartner war unser Ansatz in der Lage, risikoreiche Änderungen signifikant höher zu priorisieren als weniger risikoreiche. Unsere Studien haben die Praxistauglichkeit und Wirksamkeit der vorgeschlagenen Lösungen bestätigt. Viele der Beteiligten waren nach unseren Studien so überzeugt von unseren Lösungen, dass sie diese in ihren Testprozess integriert haben. Schlussfolgerung. Wir demonstrieren eine Vielzahl von Optimierungsmöglichkeiten und dort ansetzende Hebel für menschengestützte Testprozesse. Unsere empirischen Studien belegen die Anwendbarkeit und Effektivität unserer Optimierungstechniken im Industriekontext. Diese Dissertation bildet eine solide Grundlage für zukünftige Forschung im Bereich menschengestützter Testprozesse und erleichtert Praktikern die Implementierung durch detaillierte Optimierungsrichtlinien. Beide Aspekte liefern einen entscheidenden Beitrag zur Zukunft des Software Engineerings.