Innerhalb der beiden Themenschwerpunkte verfolgt der Arbeitskreis TKI folgende Ziele. Für das Testen von KI-Systemen möchten wir u.A.
- Gemeinsamkeiten und Unterschiede zwischen dem Testen "herkömmlicher" Software und KI-basierter Software herausarbeiten und geeignet präsentieren;
- das vorhandene Wissen zum Test von KI-Systemen katalogisieren und verbreiten;
- Empfehlungen zum Test von KI-Systemen erstellen bzw. an der Erstellung solcher Empfehlungen mitwirken.
Die Nutzung von KI-Systemen zur Unterstützung des Testens möchten wir aktuell für folgende Bereiche untersuchen
- Testfall- und Testdatengenerierung;
- Identifikation von Fehler(muster)n in Software-Artefakten;
- Fehlervorhersage;
- Testfall-Auswahl und -Optimierung;
- Risikoanalysen und allgemeine Testmanagement-Aufgaben.
Dabei streben wir eine enge Zusammenarbeit mit den Fachgruppen des Fachbereichs "Künstliche Intelligenz" (FB KI) der GI und anderen interessierten Organisationen an.
Bericht vom AK-Treffen am 16. Juni 2023 in Paderborn
Am Anfang des Treffens des Arbeitskreises TKI (Testen von und mit KI-Systemen) auf dem 48. Treffen der FG TAV in Paderborn haben wir nach eine kurzen Vorstellungsrunde zunächst spontan über die wahrgenommenen Auswirkungen von ChatGPT auf das Testen, die Informatik und den ganzen Rest diskutiert. Es folgte ein Abgleich der Interessengebiete, nachdem dann das Thema „Auswirkungen von ChatGPT, Bert und anderen Large Language Models (LLMs) auf den Softwaretest“ für die nächsten Aktivitäten ausgewählt wurde. Idee ist, in der Literatur mögliche positive und negative Auswirkungen auf die Aktivitäten der Position Test und QS zu recherchieren und nach ihrer Relevanz und Eintrittswahrscheinlichkeit zu kategorisieren.
Bericht vom AK-Treffen am 03./04. November 2022
Am Anfang des Treffens des Arbeitskreises TKI (Testen von (und mit) KI-Systemen) auf dem 47. Treffen der FG TAV in München wurde kurz über die bisherigen Arbeiten des Arbeitskreises berichtet, insbesondere die Mithilfe am Lehrplan des ISTQB „Certified Tester® AI Testing“ (CT-AI). Darüber hatte Mario Winter am Vortag einen sehr spannenden Vortrag gehalten. Bei der Reflektion ist die Frage aufgekommen, welche Unternehmen am CT-AI interessiert sind oder interessiert sein könnten.
Diese Frage ergab unseren ersten zukünftigen Arbeitspunkt und leitete über in die allgemeine Planung zukünftiger Aktivitäten des TKI. Mario Winter hatte in seinem Vortrag einen Arbeitspunkt zu Leistungsmetriken und Überdeckungskriterien vorgeschlagen, David Faragó stellte die Frage, wie gut der ISTQB-Lehrplan moderne ML-Paradigmen abdeckt. So ergaben sich folgende Arbeitspunkte:
- Welche Firmen und Domänen sind an AI-Test-Zertifikaten interessiert? Wieso sind die anderen Firmen und Domänen nicht daran interessiert?
- Validierung der im jetzigen ISTQB-Lehrplan besprochenen Funktionalen Leistungsmetriken für AI sowie die Aussagekraft von Überdeckungsmaßen für neuronale Netzwerke.
- Wie gut werden die Paradigmenwechsel im Supervised-ML (Training from scratch vs Finetuning & Transfer-Learning vs Few-Shot-Training & Prompt-Programming vs Zero-Shot-Downstream-Tasks) im Lehrplan abgedeckt? Welche Teile passen auf alle Paradigmen, was muss für die neueren Paradigmen am Lehrplan geändert werden?
Die Planung wird offline fortgesetzt, es sollen auch Zwischentreffen zur Bearbeitung der Punkte erfolgen. Alle Anwesenden waren interessiert an zukünftigen Treffen und stimmten der Einrichtung eines Email-Verteilers zu, an dem sich weitere Interessierte gerne anmelden können: ak-tki@lists.gi.de