Insights: Qualität von KI – Testen von Chatbots und semantischer Korrektheit

Im Insights Qualität von KI – Testen von Chatbots und semantischer Korrektheit werden Testansätze von Large Language Models am Beispiel von Testen von Chatbots vorgestellt und über die Möglichkeiten des Testens von semantischer Korrektheit gesprochen.

In dieser Präsentation betrachten Bastian Kerr und Marco Kropp (beide QualityMinds) verschiedene praktische Use Cases und mögliche Fehlerquellen bei der Nutzung von KI-Modellen, insbesondere im Kontext der Text- und Audioverarbeitung. Wir zeigen anhand konkreter Beispiele, wie scheinbar kleine Probleme, wie etwa bei der automatischen Markdown-Formatierung, in spezifischen Anwendungsszenarien unerwünschte Auswirkungen haben können. Besondere Herausforderungen entstehen durch inkonsistentes Verhalten, technische Artefakte aus dem Training der Modelle, sowie möglicher Halluzinationen. Wir präsentieren Lösungsansätze und Empfehlungen, wie Unternehmen diese Herausforderungen erkennen und durch sorgfältige Testvorgehen sowie gezielte Prompt-Optimierungen minimieren können.

Im Panel diskutieren u.a. Markus Schell (Mercedes), Danjiel Pirs (Robert Bosch) und Matthias Eichenseher (Siemens).