Ab wann lohnt sich Testautomation?
Faktoren zur Bewertung der Wirtschaftlichkeit von Testautomation
Obwohl sich viele Projekte immer wiederholen oder ähneln ist der Inhalt jedoch meist anders – nicht zuletzt aufgrund der eingesetzten Technologien oder Produkte.
Googelt man diese Frage und versucht über das Internet eine Antwort zu finden, kommt oft die Aussage, dass es sich lohnen muss. Also die getätigte Investition in der Testautomatisierung soll einen positiven Return on Investment ausweisen. In dieser Berechnung können beispielsweise die totalen Kosten (Labour Costs), Anzahl Test-Stufen (z.B. DEV, SIT, UAT), Anzahl betroffener Applikationen oder Anzahl der eingesetzten Technologien, Anzahl redundanter Testfälle, die Zeit der manuellen Testausführung, die Anzahl der Releases pro Jahr und viele weitere Faktoren eine Rolle spielen. Eine Berechnung dieser Faktoren kann sehr komplex werden und eine grosse Herausforderung darstellen. Einige Zahlen sind schwer zu eruieren und die Beschaffung der notwendigen Informationen – bei gewissen Faktoren – um eine korrekte Berechnung aufstellen zu können, kann zeitraubend sein oder schlimmstenfalls sich als „Mission Impossible“ herausstellen.
Zu viele Kennzahlen erhöhen die Komplexität
Wie kann man nun konkret feststellen, ob sich Testautomation lohnt?
Zunächst schauen wir uns die logischen Faktoren an:
Grundsätzlich lohnt sich Testautomation bei Tests, die häufiger durchgeführt werden. Diese Tests als Tester immer wiederholen zu müssen, kann mühselig werden und die Aufmerksamkeitsspanne kann mit der Zeit dramatisch sinken. Somit steigt die Flüchtigkeitsfehler-Rate, was wiederum die Testqualität stark sinken lässt und das Risiko möglicher Bugs, die übersehen werden, steigt. Der Automationsroboter hingegen kennt den Ermüdungsfaktor nicht und hat keine Probleme einen Test X-Mal zu wiederholen. Der Qualitätsstandard bleibt auch nach einer Million Ausführungen bestehen.
Die Zeit ist ein Faktor, der im Testing nicht unterschätzt werden darf. Manuelle Tester (Menschen) führen die Tests während der normalen Büroarbeitszeit aus. Somit entstehen während einer Testphase „Testunterbrüche“. Der Roboter hingegen braucht keine Auszeiten, keinen Feierabend, keine sozialen Kontakte, kein Wochenende, keine Kaffee zwischendurch oder auch keine Rauchpausen (sofern der Roboter ein Diesel-Modell ist). Selbstverständlich wäre ein 24-Stunden-Test-Betrieb auch mit manuellen Testern möglich. Dafür werden „nur“ Tester benötigt, die auf unserem Globus so verteilt sind, dass jede Zeitzone abgedeckt werden kann. Das ganze Vorhaben muss jetzt „nur“ noch von jemanden koordiniert werden und schon wäre das 24-Stunden-Dilemma gelöst. Nicht zu vergessen, um einige Beispiele zu nennen, dass in der „Koordination“ die Sprachbarrieren, die verschiedenen Kulturen und Arbeitsweisen sowie Arbeitszeiten mitberücksichtigt werden müssen. Eine weitere Herausforderung kann die globale Software-Verteilung und dessen Betrieb sein sowie ein Standard herstellen, der auf globaler Ebene gleich ist.
Ein Roboter langweilt sich nicht, immer dieselben Tests auszuführen und ermüdet nicht
Ein wichtiger Faktor, der bei unserer Frage ebenfalls berücksichtigt werden muss, ist der Kostenfaktor eines manuellen Testers. Also was kostet mich ein manueller Tester und wie viele Tester benötige ich, damit ich mein Testset innerhalb der vorgegebenen Zeit ausführen kann? Natürlich könnte man diese Kosten weiter aufbrechen und beispielsweise den Kosten-Nutzen-Faktor analysieren. Das würde aber die Veranschaulichung unserer Frage um einiges komplexer machen.
Was würde es mich hingegen kosten, wenn ich dieses Testset automatisieren würde? Hierbei müssen Lizenzkosten mit einbezogen werden, die Kosten eines Automationsspezialisten bzw. Automationsexperten sowie allfällige Wartungskosten bei Systemanpassungen.
Somit können wir mit dieser Erkenntnis festhalten, dass die Initialkosten bei einer Testautomation höher sind als bei einem manuellen Setup. Jedoch sinken diese Kosten mit der Zeit, da der Wartungsaufwand geringer sein wird als der Aufwand einer manuellen Testausführung. Der Aufbau eines Automationssets soll mit bedacht und Brain-Power aufgebaut werden, um zukünftigen Herausforderungen entgegen zu wirken. D.h. ist die Methodik der Automation durchdacht und zukunftsgerichtet, wird die zukünftige Wartung einfacher, schneller und kostengünstiger werden.
Die Initialkosten bei einem Testautomations-Setup sind höher, nehmen aber mit der Zeit schnell ab
Zusammen mit unserer Partnerin, der pom+ Consulting AG, hatten wir die Möglichkeit bei einem grossen Schweizer Finanzdienstleister obiger direkt Frage nachzugehen und konnten eine fundierte Analyse liefern.
Durch das Aufbrechen der Komplexität war es uns möglich, eine ausführliche Antwort zu finden. Das Vorgehen bzw. die Methodik war «straight forward». Als ersten Schritt haben wir die relevanten Informationen gesammelt (u.a. Technologien des Systems, das getestet werden soll; bestehende Testsfälle, Testumgebungen, aktuelles Testvorgehen und Releases pro Jahr, uvm.) und im Team mit dem Kunden die Evaluationskriterien identifiziert und definiert. Mit dieser Definition konnten wir eine Basis herstellen, die uns erlaubte, eine unabhängige Analyse vorzunehmen. Als nächsten logischen Schritt haben wir das definierte Testset geprüft, ob es sich aus technischer Sicht lohnt eine Testautomation zu betreiben. Als letzten Schritt haben wir die ökonomische Sicht hinzugezogen, um die Finanzierungssicht darzustellen.
Schaffe dir mit einem einfachen Berechnungs-Tool Hilfe und verschaffe einen Überblick
Damit du dir einen ersten Eindruck machen kannst, ob sich Testautomation in deinem Unternehmen lohnt, kannst du dir den Infometis Automation Calculator 2.0 downloaden und im Excel mit den Zahlen herumjonglieren.
Klingt spannend?
Natürlich steht dir unser Team für eine neutrale Evaluation gerne zur Verfügung.
