Innerhalb der beiden Themenschwerpunkte verfolgt der Arbeitskreis TKI folgende Ziele. Für das Testen von KI-Systemen möchten wir u.A.
- Gemeinsamkeiten und Unterschiede zwischen dem Testen "herkömmlicher" Software und KI-basierter Software herausarbeiten und geeignet präsentieren;
- das vorhandene Wissen zum Test von KI-Systemen katalogisieren und verbreiten;
- Empfehlungen zum Test von KI-Systemen erstellen bzw. an der Erstellung solcher Empfehlungen mitwirken.
Die Nutzung von KI-Systemen zur Unterstützung des Testens möchten wir aktuell für folgende Bereiche untersuchen
- Testfall- und Testdatengenerierung;
- Identifikation von Fehler(muster)n in Software-Artefakten;
- Fehlervorhersage;
- Testfall-Auswahl und -Optimierung;
- Risikoanalysen und allgemeine Testmanagement-Aufgaben.
Dabei streben wir eine enge Zusammenarbeit mit den Fachgruppen des Fachbereichs "Künstliche Intelligenz" (FB KI) der GI und anderen interessierten Organisationen an.
Bericht vom AK-Treffen zur TAV49 am 16.2.2024 an der TH-Köln in Gummersbach
Kurzbericht
Der Arbeitskreis "Testen und Künstliche Intelligenz" (TKI) traf sich zur TAV49 am 16.02.2024 von 10:00-16:00 Uhr mit 8 Teilnehmer:innen unter dem Motto "AI4Testing – Where are we now?". Wir setzten die auf der TAV48 begonnene Analyse zum aktuellen Stand von Wissenschaft und Technik in Bezug auf KI-Unterstützung der Softwaretest-Aktivitäten zunächst fort. Dazu analysierten wir das in der Zwischenzeit veröffentlichte aktuelle Paper von Wang et al. zum Thema "Software Testing with Large Language Models: Survey, Landscape, and Vision" [1]. Ziel war es, die dort zur Klassifikation der Literatur verwendeten Kategorien auf die Aktivitäten des Testprozesses nach ISTQB [2] abzubilden. Das Ergebnis ist in Abb. 1 dargestellt und zeigt, dass nach unserer Einschätzun i.W. die Aktivitäten Testanalyse, Testentwurf, Testrealisierung und Testdurchführung von LLMs unterstützt werden. Damit schlossen wir die Analyse vorerst ab.
Danach führten wir zunächst eine "Expertenschätztung" durch und stuften auf einer Skala von 1 bis 5 ein, ob LLMs die einzelnen Aktivitäten des ISTQB-Testprozesses eher generell (1) oder aber eher nur projektspezifisch (5) unterstützen können. Das Ergebnis zeigt Tab. 1.
| Aktivität | Einschätzung |
| Testplanung | 2 |
| Testüberwachung und -steuerung | 3 |
| Testanalyse | 4 |
| Testentwurf | 4 |
| Testrealisierung | 2 |
| Testdurchführung | 2 |
| Testabschluss | 2 |
Tab. 1: Einschätzung der LLM-Unterstützung
Zum Abschluss planten wir als auf den Ergebnissen dieses Treffens aufbauende Aktivität, für ein geeignetes Testobjekt eigene Prompting-Experimente mit ChatGPT zu den o.g. Aktivitäten des Testprozesses durchzuführen. Als vorläufiges Testobjekt dient dabei eine der beiden folgenden frei zugänglichen Demo-Webanwendungen (https://demowebshop.tricentis.com, https://www.codeproject.com/Articles/5346604/BookCars-Car-Rental-Platform-with-Mobile-App#live-demo).
Literatur:
[1] Wang, J.; Huang, Y.; Chen, C.; Liu, Z.; Wang, S. & Wang, Q.: Software Testing with Large Language Models: Survey, Landscape, and Vision. IEEE Transactions on Software Engineering, Vol. 50, 2024, pp. 911-936.
[2] ISTQB Certified Tester - Foundation Level. Lehrplan V3.0, ISTQB, 2023
Bericht vom AK-Treffen am 16. Juni 2023 in Paderborn
Am Anfang des Treffens des Arbeitskreises TKI (Testen von und mit KI-Systemen) auf dem 48. Treffen der FG TAV in Paderborn haben wir nach eine kurzen Vorstellungsrunde zunächst spontan über die wahrgenommenen Auswirkungen von ChatGPT auf das Testen, die Informatik und den ganzen Rest diskutiert. Es folgte ein Abgleich der Interessengebiete, nachdem dann das Thema „Auswirkungen von ChatGPT, Bert und anderen Large Language Models (LLMs) auf den Softwaretest“ für die nächsten Aktivitäten ausgewählt wurde. Idee ist, in der Literatur mögliche positive und negative Auswirkungen auf die Aktivitäten der Position Test und QS zu recherchieren und nach ihrer Relevanz und Eintrittswahrscheinlichkeit zu kategorisieren.
Bericht vom AK-Treffen am 03./04. November 2022
Am Anfang des Treffens des Arbeitskreises TKI (Testen von (und mit) KI-Systemen) auf dem 47. Treffen der FG TAV in München wurde kurz über die bisherigen Arbeiten des Arbeitskreises berichtet, insbesondere die Mithilfe am Lehrplan des ISTQB „Certified Tester® AI Testing“ (CT-AI). Darüber hatte Mario Winter am Vortag einen sehr spannenden Vortrag gehalten. Bei der Reflektion ist die Frage aufgekommen, welche Unternehmen am CT-AI interessiert sind oder interessiert sein könnten.
Diese Frage ergab unseren ersten zukünftigen Arbeitspunkt und leitete über in die allgemeine Planung zukünftiger Aktivitäten des TKI. Mario Winter hatte in seinem Vortrag einen Arbeitspunkt zu Leistungsmetriken und Überdeckungskriterien vorgeschlagen, David Faragó stellte die Frage, wie gut der ISTQB-Lehrplan moderne ML-Paradigmen abdeckt. So ergaben sich folgende Arbeitspunkte:
- Welche Firmen und Domänen sind an AI-Test-Zertifikaten interessiert? Wieso sind die anderen Firmen und Domänen nicht daran interessiert?
- Validierung der im jetzigen ISTQB-Lehrplan besprochenen Funktionalen Leistungsmetriken für AI sowie die Aussagekraft von Überdeckungsmaßen für neuronale Netzwerke.
- Wie gut werden die Paradigmenwechsel im Supervised-ML (Training from scratch vs Finetuning & Transfer-Learning vs Few-Shot-Training & Prompt-Programming vs Zero-Shot-Downstream-Tasks) im Lehrplan abgedeckt? Welche Teile passen auf alle Paradigmen, was muss für die neueren Paradigmen am Lehrplan geändert werden?
Die Planung wird offline fortgesetzt, es sollen auch Zwischentreffen zur Bearbeitung der Punkte erfolgen. Alle Anwesenden waren interessiert an zukünftigen Treffen und stimmten der Einrichtung eines Email-Verteilers zu, an dem sich weitere Interessierte gerne anmelden können: ak-tki@lists.gi.de