Warum Sie mit ChatGPT & Co. nicht einfach E2E-Tests erstellen können
Als Business Analyst, Requirements Engineer oder Product Owner kennen Sie diese Situation bestimmt: Sie beschreiben einen scheinbar simplen Testfall und denken sich: “Das kann doch nicht so schwer sein… hier klicken, dort etwas eingeben und das Ergebnis prüfen.” Dann kommt die Sprint-Planung und Sie erfahren, dass die Testautomatisierung deutlich mehr Entwicklungsaufwand kostet als erwartet - und die Umsetzung wird gestrichen oder drastisch vereinfacht.
Dann kam ChatGPT. Plötzlich dachten alle: “KI wird alles richten!” Endlich müssten wir uns nicht mehr mit instabilen Tests und endlosen Debugging-Schleifen herumärgern.
Aber wie bei den meisten Dingen, die zu schön klingen, um wahr zu sein, steckt der Teufel im Detail. In diesem Artikel zeige ich Ihnen, warum aktuelle KI-Tools noch nicht die Lösung für Ihre Testautomatisierung sind - und was Sie trotzdem tun können.
Der Traum: “ChatGPT, schreib mir einen Test!”
Stellen Sie sich vor, Sie könnten einfach zu ChatGPT oder Claude sagen: “Erstelle mir einen Test, der prüft, ob ein Benutzer sich anmelden und sein Profil aktualisieren kann” - und bekommen einen funktionierenden Test zurück. Schluss mit den Kommunikationshürden zwischen Ihnen und den Entwicklern. “Ich schreibe meine Tests jetzt selbst. Und sie testen auch das, was ich meine.”
Die Realität: Das funktioniert leider noch nicht zuverlässig. Warum?
Problem 1: Die KI sieht Ihre Anwendung nicht
ChatGPT kann Ihnen zwar Test-Code generieren, aber die KI hat keine Ahnung, wie Ihre Anwendung tatsächlich aussieht. Sie arbeitet blind und muss raten, welche Buttons wo stehen und wie sie heißen.
Das ist, als würden Sie jemandem am Telefon erklären, wie er komplexe IKEA-Möbel zusammenbauen soll - ohne dass derjenige die Anleitung oder die Teile sehen kann.
Problem 2: Jede Anwendung ist anders
Selbst wenn die KI perfekten Code schreibt, passt dieser nur zu einer hypothetischen Standard-Anwendung. Ihre echte Anwendung hat andere Button-Namen, andere Feldbezeichnungen und eine andere Struktur.
Die Verlockung: “Lass die KI direkt testen!”
Der nächste Gedanke liegt nahe: Warum nicht die KI direkt den Browser steuern lassen? Sie beschreiben den Testfall in natürlicher Sprache, und die KI führt ihn selbstständig aus.
Das funktioniert tatsächlich! Moderne KI-Modelle können Screenshots analysieren und komplexe Webseiten bedienen. Tools wie Claude Desktop mit Playwright MCP oder ähnliche Lösungen können beeindruckend gut durch die Anwendung navigieren und genau das tun, was Sie beschreiben.
Aber: Die versteckten Kosten
Was zunächst wie die perfekte Lösung aussieht, hat einen entscheidenden Haken:
- Jeder Testlauf ist teuer: Pro Test sind dutzende KI-Aufrufe nötig, die schnell ins Geld gehen
- Jeder Testlauf ist langsam: Was normalerweise Sekunden dauert, kann zu Minuten werden
- Tests sind unberechenbar: Die KI könnte beim gleichen Test unterschiedlich vorgehen
- Skalierung unmöglich: Stellen Sie sich vor, Sie wollen 50 Tests in Ihrer CI-Pipeline laufen lassen
Es ist, als würden Sie einen brillanten, aber schmerzhaft langsamen und teuren QA-Mitarbeiter einstellen, der bei jedem Test von vorne anfängt und nie aus Erfahrungen lernt.
Was Sie als Fachexperte wissen sollten
Ihre Expertise ist der Schlüssel
Auch wenn die Technik noch nicht perfekt ist: Sie als Fachexperte sind unverzichtbar. Sie kennen die fachlichen Anforderungen, verstehen die Geschäftsprozesse und können die besten Testszenarien definieren. Das kann keine KI ersetzen.
Der beste Ansatz: Hybrid-Lösung
Die vielversprechendste Lösung kombiniert Ihre fachliche Expertise mit KI-Unterstützung:
- Sie beschreiben den Test in natürlicher Sprache (das können Sie am besten)
- KI führt den Test einmal aus und “lernt” dabei die Anwendung kennen
- Das System generiert automatisch stabilen Test-Code für die Zukunft
- Generierte Tests können wiederholt ausgeführt werden undzwar zuverlässig, reproduzierbar und schnell
- Bei Änderungen können Sie den Test neu generieren lassen, ohne programmieren zu müssen
Worauf Sie bei Tools achten sollten
Falls Sie KI-basierte Testtools evaluieren, achten Sie auf folgende Punkte:
- Benutzerfreundlichkeit: Können Sie Tests wirklich ohne Programmierkenntnisse erstellen?
- Kosteneffizienz: Werden Tests nach der Erstellung ohne weitere KI-Kosten ausgeführt?
- Integration: Passt das Tool in Ihre bestehenden Prozesse (Jira, Azure DevOps, etc.)?
- Wartbarkeit: Können Sie Tests selbstständig anpassen, wenn sich Anforderungen ändern?
Die Zukunft: Was auf Sie zukommt
Auch wenn die aktuellen Tools noch Limitationen haben, wird sich das schnell ändern. In naher Zukunft werden Sie wahrscheinlich:
- Tests direkt aus Jira-Stories generieren können
- Automatische Validierung Ihrer User Stories auf Testbarkeit erhalten
- Self-Service Testautomatisierung betreiben, ohne auf Entwickler-Ressourcen zu warten
Fazit: KI als Brücke, nicht als Wundermittel
KI-Testautomatisierung ist nicht der magische Knopf, der perfekte Tests auf Knopfdruck erstellt. Aber sie kann die Brücke zwischen Ihrer fachlichen Expertise und der technischen Umsetzung sein.
Ihr Mehrwert bleibt: Sie definieren die besten Testfälle, verstehen die Anforderungen und kennen die kritischen Geschäftsprozesse.
KI unterstützt: Bei der technischen Umsetzung und macht Testautomatisierung für Sie zugänglich.
Die Zukunft der Testautomatisierung liegt nicht darin, menschliche Expertise zu ersetzen, sondern sie mit intelligenten KI-Systemen zu verstärken. Als Fachexperte sind Sie dabei unverzichtbar - die Technik macht es Ihnen nur einfacher, Ihre Expertise in automatisierte Tests umzusetzen.