Vortrag zur Ethik -- German Testing Day 2016

Das Thema Ethik ist en vogue auf den Veranstaltungen zum Testing. Das ist auch gut nachzuvollziehen durch immer mehr autonome Systeme in unserer Umwelt, die unter Umständen selber über Leib und Leben entscheiden müssen (autonomes Auto, dass möglicherweise einen Unfall hat).

Der Referent Tobias Geyer (@the_qa_guy) hat für mich einige interessante Aspekte in seinem Vortrag gebracht. So stellte er ein paar Beispiele eines sozialen Netzwerkes dar und hinterfragte die Ethik der Vorgehensweise. Im weiteren stellte er vorhandene Codes of Ethics von IEEE, ACM und ISTQB und Testguru James Bach vor und verglich diese miteinander. Außerdem unterzog er seine Beispiele einer Prüfung bezüglich der Codes.

Seine Schlussfolgerung und sein Aufruf in der Diskussion:

• Wir sind alle als Tester mit verantwortlich für die Ethik in der Softwareentwicklung. Wir können und dürfen uns dieser Verantwortung nicht entziehen
• Das German Testing Board sollte sich der Ethik annehmen und das Thema vorantreiben 

Wir haben nach Ende des Vortrags noch intensiv die Pause für Diskussion genutzt. Dabei kamen von verschiedenen Personen unterschiedliche Statements:

• Wir brauchen eine breite gesellschaftliche Diskussion
• In recht unbekannten Gruppierungen (z. B. GTB) hat dies zu wenig Breitenwirkung
• Wenn ein Board es schafft, die Diskussion in die Gesellschaft zu tragen, wäre das super
• Der Gesellschaft scheint das Thema noch nicht wichtig genug
• Es sind nicht nur Tester, sondern alle Mitglieder von SW Entwicklungsteams für Ethik-Themen gefragt. Also auch PL, PO, ScM, Entwickler ...
• Nicht immer können Menschen Partei für die Ethik ergreifen (was wenn man Familie zu ernähren hat - kündigt man einfach? - wahrscheinlich nicht)

Inspirierend. Aufweckend. Die Diskussion ist noch lange nicht am Ende. Ich hoffe auf Fortsetzung bei weiteren Events und über soziale Netzwerke...

Vorträge am German Testing Day 2016

Bei vier parallelen Tracks muss man sich immer für einen Track entscheiden. Ein paar Statements/Ideen aus den von mir besuchten Vorträgen.

Navigieren, wo nie ein Test zuvor gewesen ist

• Session based testing sollte man für kreative Tests nutzen; diese Art fördert die Neugierde
• Der Kunde verhält sich viel öfter anders, als man sich das vorher vorgestellt hat

Das Ende des End-to-End Tests?

Ein wenig provokativ aber mit interessanter Idee war dieser Vortrag von @MSchlabinger. Im Schnitt haben 38 Systeme Beziehungen untereinander, für die man E2E Tests durchführen muss. Für eine gute Testabdeckung müssen viele Mocks und Stubs geschrieben werde. Doch diese kosten die Entwickler Zeit. Also verfällt man auf UI Tests und damit zur Ice Cream Testautomatisierung (Umkehrung der Pyramide und bekanntes Anti-Pattern). Dies ist teuer, instabil und unterliegt ständiger Anpassung. Ganz zu schweigen von der späten Durchführung. Deshalb wirbt er für eine Service-Virtualisierung. Diese basiert auf den Daten, die die Services austauschen. Diese können zum Beispiel aus "Mittschnitten" des Echtbetriebes gewonnen werden. Die Tests auf Basis der Virtualisierung können einfacher also die umfangreichen Mocks umgesetzt werden und werden damit von den Entwicklern umgesetzt. Auf jeden Falls ein Ansatz, den man überdenken sollte.

Testmanagement in agiler Transition

Der Referent @KayGrebenstein stellte seine Überlegungen vor, wie sich die Aufgaben des Testmanagers aus klassischen Projekten im agilen Umfeld wiederfinden. So konnte er darlegen, dass sich die operativen Aufgaben (Testmanager) auf die verschiedenen Rollen in einem agilen Team verteilen und aus seiner Sicht auch vollständig wahrgenommen werden. Die Rolle des Testmanagers muss damit aus seiner Sicht im agilen nicht speziell besetzt werden. Die strategischen Aufgaben (Qualitätsmanager) sind jedoch nicht im agilen Entwicklungsteam angesiedelt. Dafür muss die Gesamtorganisation sorgen. Das kann zum Beispiel durch Gilden (kommt ursprünglich von Spotify) geschehen, die sich gezielt um Themenstellungen kümmern und vorantreiben.

Gut gefallen hat mir auch das Mindset, dass in seinem Unternehmen herrscht. "Jeder ist für Qualität verantwortlich".

Keynotes auf dem German Testing Day 2016

Zwei interessante Keynotes gab es auf dem German Testing Day 2016 in Frankfurt.

Johannes Mainusch (@docjoe), der lange bei Xing und Otto als Entwicklungschef war, berichtete in der morgendlichen Keynote darüber wie sich Organisationen aufstellen sollten, um erfolgreich zu sein. Dabei kam er zu folgenden interessanten Schlussfolgerungen.

"Software Architecture fails" (jedenfalls in den letzten Jahrzehnten). Das Problem ist in der Regel, dass Architekturen nicht vertikal konzipiert sind sondern horizontal (und so weiter wachsen). Dies führt zu einer starken Abhängigkeit, die Änderungen sehr schwer wenn nicht unmöglich machen. Die Matapher dazu: "Software ist wie Fichtenholz - wenn man sie nicht frühzeitig spaltet, wird sie unspaltbar".

Zu Änderungen in der Organisation gab er folgende Erfahrungen weiter:

• Wenn ich dauernd was ändere, wird es weniger steuerbar und damit schlecht
• Leider wollen Manager dauernd was ändern - Daseinsberechtigung/vor allem bei neuen Managern
• Ändere langsam 

"Zentrale QA fails". Das Testen und die Qualitätssicherung gehören in das Entwicklungsteam. Mit dieser Aussage stützt er voll den agilen Gedanken der cross-funktionalen Teams.

"Richte die Organisation und die Teams auf das Deployment aus". Hätten wir vor 9 Jahren noch über einen Auslieferungszyklus von 2 Wochen "wow" gesagt, sind Continuous Integration und Continuous Deployment das Ziel. Einen Change durchzuführen "darf nicht weh tun" und muss in wenigen Minuten erfolgen können...

Der Blogger und Autor Tim Cole (@TCole1066) berichtete über die Aspekte des digitalen Wandels generell und in Deutschland im Besonderen. Aus seiner Sicht ist das Thema Vernetzung ein ganz zentrales Thema. Denn der derzeitige Wandel führt zu einer Vernetzung auf allen Ebenen der Technik, Systeme und der Gesellschaft. Dazu müssen wir uns auf Veränderung einstellen und diese auch gestalten.

"Du kannst nicht vernetzen ohne zu verändern".

Weiterhin ging er auf ein typisch deutsches Dilemma ein. Wir dürfen nicht nur reden und ständig diskutieren über Veränderung. Wir brauchen Mut zur Veränderung. Wir brauchen Mut für Neues.

"Wir müssen die Zukunft gestalten."

Kurzweilig (Beispiel) und eloquent vorgetragen war es eine tolle Keynote zum Abschluss des German Testing Days 2016

ASQF Testing-Day: Agiles Testen vs. ISO 29119

Einen sehr unterhaltsamen und informativen Vortrag hielten zwei Referenten der imbus AG zum Thema Agiles Testen vs. ISO 29119. Beide Referenten polarisierten geschickt mit der Zuspitzung der beiden Positionen

• Agiles Testen ist doch: "jeder macht was er und wann er will" und "da wird ja gar nichts geplant"
• ISO Norm ist doch: "da ist alles starr und fix vorgegeben" und "das lässt mir keine Freiheitsgrade"

Und eigentlich liegen beide Themen gar nicht so weit auseinander. Denn für beide Vorgehensweisen, egal ob agil oder stark an der Norm orientiert, gilt aus Sicht der Referenten:

• Nutze das aus der Norm, was interessant für das aktuelle Projekt ist (was bietet einen Mehrwert für das Projekt) - damit bietet auch die Norm Flexibilität
• Nutze eine Norm (oder Teile der Norm) als Vorlage für Verbesserungen oder auch als Vorlage für test cases
• kläre wieviel Dokumentation benötigt wird ("just enough documentation")
• wie sieht ein Testreport am Ende eines Sprints oder Meilensteines aus? wieviel muss er enthalten? kann die Norm hier Hilfestellung geben.

Nicht nur der Vortrag war kurzweilig. Auch beim Get Together waren die Referenten interessante Gesprächspartner.

ASQF Testing-Day: Test meets Security

Einen spannenden Vortrag gab es auf dem ASQF Testing Day in Erlangen. Dieser beschäftigte sich mit dem Thema des Security-Testing. Aus meiner Sicht stellte der Referent folgende Eckpfeiler dar:

• Die zunehmende Vernetzung (Fahrzeuge, Industrie 4.0, etc.) rückt die Security-Tests stärker in den Focus
• Derzeit nimmt der Referent zur IT-Sicherheit einen deutlichen Paradigmenwechsel wahr (Security wird immer wichtiger)
• Die Tests sollten sich nicht nur auf die Applikationen beziehen sondern auch die IT-Infrastruktur berücksichtigen
• Wesentlicher Bestandteil des Testens sind unit-Tests
• Schwachstellen in Applikationen setzen sich aus zwei Kategorien zusammen:
• Entwurfsfehler
• Programmierfehler
• Zur Prüfung auf Programmierfehler sollten automatisierte Fuzzing-Tests durchgeführt werden
• diese sind mit unit-Tests zu automatisieren
• so kann eine hohe Variation in den Tests erreicht werden
• dieses können zur Regression immer wieder ausgeführt werden
• Modellbasiertes Testen ist für diese Tests sehr gut geeignet und sollte in Betracht gezogen werden

Letztendlich zeigte der Vortrag, dass man bei der Entwicklung das Thema Eingaben und Dateneingabeformate immer intensiv beim Test berücksichtigen muss.

Testing, Checking oder einfach nur testen?

Der Testexperte Gojko Adzic (Link zu seinem Blog) hat in einem seiner Artikel eine interessante These aufgenommen. Die besagt, dass das Testen eigentlich aus zwei unterschiedlichen Disziplinen oder Arten besteht:

1. Das Überprüfen erwarteter Ergebnisse. In Testfällen wird beschrieben, wie sich eine Anwendung verhalten soll. Dies wird dann überprüft. Diese Disziplin wird als checking bezeichnet. Gängige Tests sind dafür Unit-Tests, Tests von Datenformaten, Datenmigrationen, Schnittstellen etc.
2. Die Analyse der Anwendung auf das Verhalten bei Nutzung. Damit wird getestet, ob sich eine Anwendung unerwartet verhält. Ob Undefiniertes und Unbekanntes auftritt. Diese Disziplin wird als testing bezeichnet. Darunter fällt z. B. usability testing und exploratives Testen.

Eine spannende Unterscheidung. Denn die Tests, die unter checking fallen, bieten sich auch stark für Automatisierung an und sind in der Regel vom Entwickler (z. B. im Pairprogramming) umzusetzen. Das testing wird dann von erfahrenen Testern manuell durchgeführt.

Agile Testquadranten

Auch im agilen Projekt muss man jederzeit in den Sprints alle Qualitätsfaktoren im Blick haben. Doch welche Tests sollten wie durchgeführt werden? Welches Ziel verfolgen die Tests? Dazu geben die vier agilen Testquadranten Auskunft:

Agile Testquadranten nach Crispin/Gregory

Im ersten Quadrant befinden sich die Tests, die Team unterstützend wirken und technisch orientiert sind. Das Test Driven Development ist eine Voraussetzung für die vielen Regressionstests, die in der agilen Vorgehensweise notwendig sind.
Im zweiten Quadranten sind die Tests aufgeführt die das Team ausführt, damit sichergestellt wird, dass die Funktionen so umgesetzt wurden, wie diese geplant waren. Auch bei diesen Tests kommt die Testautomatisierung zum Einsatz, jedoch mit deutlich geringerem Umfang. Als Vorgehensweisen kommen oft Acceptance Test Driven Development (ATDD Link wikipedia) und Business Driven Development (BDD Link wikipedia) zum Einsatz.
In den dritten Quadranten fallen die Tests, welche die Geschäftstauglichkeit des Produktes hinterfragen. Es sind die Tests, die die Software sehr intensiv aus Sicht des Endbenutzers betrachten. Diese werden manuell durchgeführt.
Die Tests des vierten Quadranten sind spezielle Tests, die oft auch Experten mit speziellem Wissen für Tests (z. B. für die Security-Tests) oder für die Werkzeuge (z. B. Last- und Performancetests) benötigen. In großen Organisationen werden diese oft in Testcentern gebündelt, damit nicht jedes Team mit hohem Aufwand die Infrastruktur und Know-How aufbauen muss.

Magisches Quadrat der agilen Softwareentwicklung

Das magische Quadrat der Softwareentwicklung beschreibt die vier Einflussfaktoren. Das sind

• die Kosten (im Prinzip das verfügbare Personal für das Entwicklungsteam)
• die im Projekt vorgegebene Qualität
• der Termin zu der das Produkt oder Release fertig gestellt werden soll
• die Features, die im Produkt/Release umgesetzt werden sollen

Magisch, weil die Beeinflussung eines Faktors auch sofort auf die anderen Faktoren einwirkt. Es ist natürlich verständlich, dass ein Team in der gleichen Zeit nicht so viel entwickeln kann, wenn ein Mitarbeiter länger ausfällt. Oft tritt in der Praxis der Fall ein, dass ein Team mit der Entwicklung der Features im Rückstand ist. Statt diese Anzahl anzupassen, wird dann meistens bei der Qualität (Verringerung oder Entfall von Tests) eingespart.

Im agilen Ansatz gibt es im Prinzip nur noch eine Variable in den Einflussfaktoren. In einem geschützten Team (Personal stabil) werden bei gleich bleibender Qualität (durch Test Driven Development und festgelegten Definition of Dones) bis zu einem bestimmten Termin (festgelegt durch den Sprintzyklus) eine variable Menge an Features entwickelt. Fehlen zum Go live notwendige Features, müssen entsprechend weitere Sprints durchgeführt werden. Ist der Termin jedoch fix, ist nur die umgesetzte Anzahl an Anforderungen/Features variabel.

Was ist Software Qualität? Ein Beispiel

Was ist Software Qualität? Die Frage ist gar nicht so leicht zu beantworten. Denn unter Qualität versteht jeder Mensch etwas Anderes, denn jeder hat andere eine andere Sicht auf das Produkt und andere Anforderungen (oder gleiche mit unterschiedlichen Prioritäten) an ein Produkt.

Sicherlich stehen oft die funktionalen Qualitätsfaktoren im Vordergrund:
Was kann die Software? Rechnet sie richtig? Zeigt sie die Ergebnisse richtig an? Sind die Daten korrekt und sicher abgelegt? Dort wird viel Aufwand in die Qualitätssicherung investiert. Diese Punkte stehen immer im Fokus.

Aber wie sieht es mit den nichtfunktionalen Qualitätsfaktoren aus?
Einheitliche Benutzungsoberflächen. Einfache Bedienung. Effiziente Umsetzung der Arbeitsprozesse in die Software. Das sind z. B. Faktoren die unter die Usability fallen.

Und es gibt noch eine Menge andere Faktoren, wie die Wartbarkeit der Software, die Testautomatisierbarkeit, die Skalierbarkeit uvm. Man muss sich immer fragen, welche QS-Maßnahmen werden in diesen Gebieten durchgeführt? Wie wird die Qualität in diesen Themen konstruiert?

Aus Kundensicht spielt auch die Laufzeit eine wesentliche Rolle. Ein Faktor dabei ist sicherlich auch, wieviele Daten über das Netz übertragen werden. In LANs ist das wichtig, im mobilen Netz noch viel wichtiger. Werden viele Daten übertragen, können die Apps auf dem Smartphone langsamer werden. Das Risiko von Verbindungsabbrüchen steigt. Und die Flatrates der Kunden (oft bieten die Provider 200 oder 300 MB an) können ggf. für den Monat nicht ausreichen, was dann erhebliche Geschwindigkeitseinbußen zur Folge hat.

Seit Mitte 2014 hat Google die Smartphone-Apps auf ein einheitliches Design umgestellt und dies mit Android 5.0 konsequent fortgeführt. Es ist prima über alle Apps und das System eine einheitliche und einfache Bedienung zu erhalten. Doch der Datenverbrauch der Apps und Hintergrunddienste erhöhte sich mit den neuen Apps und Android 5.0 deutlich. Wenn Kunden bei gleichem Nutzungsverhalten neue Mobilfunkverträge abschließen, damit am 20. eines Monats nicht die Drosselung zuschlägt, wurden Qualitätsfaktoren bei der Entwicklung vernachlässigt. Auch wenn dann durch minor Releases nachgebessert wird, hat man für einen gewissen Zeitraum Qualitätseinbußen.

Nur wenn alle Aspekte berücksichtigt werden, liefert man ein Produkt mit "guter Qualität" aus...

Fehlermanagement in mehreren Entwicklungslinien

In der Regel hat man ja verschiedene Versionen (Releases) einer Software. Eine beim Kunden verfügbare Version und mindestens eine Variante für die Weiterentwicklung. Nun tritt in einer Komponente (unterschiedliche Versionen) ein Fehler auf. Wie organisiert man nun das Bug-Tracking und den Ausbau? Dazu gibt es zwei prinzipielle Ansätze:

1. Im Bug-Tracker wird für jeden Softwarestand ein Bug angelegt
2. Im Bug-Tracker hat man einen Bug, der für alle Versionen gilt.

Was bedeutet dies nun, wenn man für jede Version einen Bug im System hat (1):

• Für jede Version muss man einen Bug im System einstellen (Aufwand ist aber eher ein kleiner) und bearbeiten.
• Transparenz, wie weit die Umsetzung für die jeweilige Version ist. Das ist gut für das Team, da beim Ausfall eines Kollegen (z. B. Krankheit) sofort offensichtlich wird, was noch offen ist.
• Es wird offensichtlich, in welchen Versionen der Fehlerausbau zu testen ist (unabhängig ob dies automatisiert oder manuell geschieht).

Und wie sieht es beim Ansatz (2) aus:

• Haben die Entwickler ihre Aufgaben wirklich gut im Griff (keine Ablenkung durch neue Prioritäten, neue Probleme etc.) reicht nur ein Eintrag im Bug-Tracker. Bei kleinen Teams ist dies ggf. eine praktikable Vorgehensweise.
• Es ist allerdings zu klären für welche Version der Bug im System angelegt wird (das wird vor allem schwer, wenn verschiedene Releases beim Kunden verfügbar sind).
• Die Transparenz über den Fortschritt bei Fehlerausbau und Test in den verschiedenen Versionen hat man natürlich nicht. Und wenn der Entwickler mal krank wird, ist nicht so einfach erkennbar, was bereits erledigt wurde.

Gerade in größeren Teams und Organisationen und bei Verfügbarkeit von drei (Freigabe-Release, Pilot-Release, aktuelles Release in der Entwicklung) oder mehreren Releases tendiere ich wegen der Übersichtlichkeit zur Lösung (1). Auch weil jeder Bug gleichzeitig ein Requirement für ein Release ist und damit deutlich wird was alles für das Release zu tun ist. Aber letztendlich muss jeder für sich entscheiden, welche Vorgehensweise für die eigene Organisation besser geeignet ist.

Testing Zeitschriften im Web

In den letzten zwei Jahren hat sich bei den Zeitschriften zum Testen doch einiges getan. Vor allem gibt es recht neues deutsches Test Magazin. Nachfolgend ein Update zum Artikel von vor zwei Jahren. Kostenlos verfügbare Zeitschriften:

• Testing Experience Deutsch
  erscheint einmal im Quartal - http://www.testing-experience.de/
• Testing Experience Englisch
  sehr umfangreiche Zeitschrift, die zweimonatlich erscheint - http://www.testingexperience.com/
• Professional Tester
  sehr bekannte englischsprachige Zeitschrift, zweimonatlich - http://www.professionaltester.com/
• Tea-time with Testers
  monatliche Zeitschrift - http://www.teatimewithtesters.com/
• Testing Circusenglischsprachige Zeitschrift, die monatlich erscheint - http://www.testingcircus.com/
• Testmagazine - The European Software Testerzweimonatlich - http://www.testingmagazine.com/

Der Change von klassischen Vorgehensweisen zum Agilen

Warum ändert man die Vorgehensweise in der Softwareentwicklung? Warum wird man agil, wenn man vorher klassisch Software erstellt hat? Na klar. Man möchte die Qualität erhöhen. Bezüglich der Kundenanforderungen. Bezüglich der Stabilität. Und auch bei den weiteren Qualitätsfaktoren.
Doch die agilen Projekte liefern in der Regel keine besseren Ergebnisse als klassische Vorgehensweisen, wie die Umfrage Softwaretest ermittelt hat.

Doch was sind die Ursachen? Die Diskussionen mit Experten im letzten Seminar haben dabei folgende mögliche Gründe zu Tage gebracht:

• Alle Beteiligten benötigen einen Mindshift von klassisch zu agil. Teilweise geht nicht.
• "no test - no code"
  Wer den Code nicht richtig gut getestet hat, darf diesen nicht einchecken. Sonst läuft es niemals.
• "Agilität ohne Test Driven Development geht gar nicht" (Zitat Prof. Dr. Mario Winter)
• Ohne testgetriebene Ansätze (TDD, XP, Pairing etc.) sind agile Vorgehensweisen absolut fragwürdig. Das ist dann nur "Hacken".
• Ohne eine Definition of Done wird auch keine Qualität herauskommen
• Planning Poker ohne Berücksichtigung der Testing Tasks (oder der jeweiligen Testaufwände in den user stories) ist nur Selbstbetrug

Halbe Sachen gehen also gar nicht. Ein Change-Prozess braucht viele Coaches und eine Basis, die für Veränderung bereit ist. Sonst wird aus einem Wasserfall nur ein "agiler Wasserfall"...

Neue Sicht zum explorativen Testen

Das explorative Testen ist den letzten Jahren immer mehr ins Gespräch gekommen. Vor allem im agilen Umfeld hat man immer wieder vom Einsatz gehört. Was ich bisher darüber gehört hatte, hatte mich jedoch nicht überzeugt:
Wer keine systemtischen Testverfahren verwendet, wer keine Requirements definiert und wer keine richtige Vorgehensweise hat, der macht eben exploratives Testen. Unstrukturiert und chaotisch...
So habe ich bisher gedacht. Doch eine Veranstaltung mit Prof. Dr. Mario Winter (Link FH Köln) hat mir eine neue Perspektive gegeben (natürlich liegt an seinem Aufbau und Inhalten dieser Methode).

Exploratives Testen

• ist eine zielgerichtete Vorgehensweise um Fehler zu finden (Test-Chartas)
• ist eine strukurierte und kreative Methode (Testing-Touren und Session-basiert)
• ist für die Tester sehr motivierend
• dient als Ergänzung zu systematischen Testverfahren
• ist natürlich auch eine Methode, die man nutzen kann, wenn kaum (oder keine) Konzepte vorhanden sind 

Vor allem in agilen Projekten ist der Einsatz sehr spannend. Neben dem Seminar (extrem empfehlenswert) ist auch ein Buch von James Whittaker (Testing Evangelist) sehr zu empfehlen (Link zu Amazon) 

Später mehr zur Methodik...

Fazit vom German Testing Day 2013

Viele Eindrücke und viele Gespräche gab es auf dem German Testing Day 2013. Doch welche Dinge sind bei uns hängen geblieben? Welche Statements haben uns beeindruckt? Und was lohnt es, umgesetzt zu werden?

• Tester werden weiterhin eine wichtige Rolle in Softwareentwicklungs-Projekten haben, doch die Skills müssen erweitert werden (wenn nicht schon geschehen)


Test Engineers sind hochqualifizierte Personen, mit Fähigkeiten die über das reine Testen hinaus gehen - da muss man sich selber fragen, ob man die Anforderungen noch erfüllt...
Testautomatisierung hat durch die agilen Projekte stark an Bedeutung gewonnen
Manuelle Tests sind weiterhin notwendig. Aber nicht Alles muss/kann/soll automatisiert werden
Entscheidend für den Erfolg von agilen Projekten und agilem Test ist das Mindset. Ohne eine entsprechende Einstellung werden sich keine Erfolge einstellen
• Qualitätssicherung und vor allem "Testing" sind endgültig in der agilen Welt angekommen und bilden dabei keinen Widerspruch, sondern waren schon immer implizit vorhanden

Beide Keynotes waren beeindruckend. Testing @ ebay von Michael Palotas  kann einem schon die Augen öffnen und wer die Chance hat, mal den ehemaligen Schiedsrichter Dr. Markus Merk live zu hören, sollte diese wahrnehmen. Diese Keynote zum Thema "Sicher entscheiden" wäre die Reise alleine schon wert gewesen.

Alles in allem hat sich der German Testing Day 2013, wie auch schon der in 2011, wirklich gelohnt. Am 02.07.2014 findet die dritte Auflage statt. Schauen wir mal...

Ach: Auch Location und Catering waren ziemlich gut. Dies sollte nicht unerwähnt bleiben.

Fazit von Alex und Frank

Vorträge am German Testing Day 2013

Nach der Keynote gab es einige weitere spannende Vorträge. Nachfolgend einige interessante Aussagen der Referenten zu den verschiedenen Themen:

Scrum-Projekte

• Testing ist eine "gefühlt destruktive Aufgabe". Deshalb muss im Team der Wert dieser Aufgabe klar sein (bzw. gemacht werden)
• Testing Aktivitäten sind nicht verhandelbar!
• Die Notwendigkeit der Testautomatisierung wird systematisch unterschätzt.
• Agile Methoden müssen geschult werden. Ein agiles Mindset muss entstehen. Agile Projekte mit Halbwissen gehen schief.
• Scrum-Master ohne IT-Background tun sich sehr schwer.

Mobile Entwicklung

• Testing im mobile Bereich ist bei den nicht-funktionalen Anforderungen nochmal komplexer (z. B. Netzverfügbarkeit, Bandbreite)
• Die Hardwarevielfalt macht die Test-Planung und Testumgebung komplexer (welche Geräte und Betriebssysteme teste ich)
• Der mobile Markt und damit die Anforderungen an die Software/den Test verändern sich sehr schnell

Tracability

• In komplexen Entwicklungsumgebung kann zur Steuerung die werkzeuggestützte Verwaltung der Traceability zu deutlichen Fortschritten führen. Werkzeuge (u. a. OpenSource) gibt es auch dafür.
• Damit können z. B. folgende Fragen schnell beantwortet werden:
• Welchen Test muss ich durchführen, weil sich ein Feature geändert hat
• Welcher Code ist durch geänderte Anforderungen betroffen
• Der Kunde wünscht eine Änderung. Welche Anforderungen ändern sich? Welche Tests müssen nochmal durchgeführt werden?
• ....
• Aber: Die Dokumentation und Verwaltung muss vollständig gelebt werden. Sonst ist es nur Aufwand ohne den letztendlichen Nutzen.

Keynote vom German Testing Day 2013

Eine beeindruckende Keynote mit dem Thema Testing @ ebay hat Michael Palotas auf dem German Testing Day 2013 gehalten. In der Stunde hat er wahres Feuerwerk an Aussagen losgelassen. 

Sicherlich können die Vorgehensweisen bei ebay nicht auf jedes Unternehmen übertragen werden, aber einzelne Ideen sind immer anwendbar. Hier der Versuch diese festzuhalten und zu strukturieren:

Skills und Vorgehensweise:

In 3-5 Jahren haben "normale Tester" keinen Job mehr. Produkte werden heute anders gebaut als noch vor einigen Jahren. Die kleinen Inkremente, die erstellt werden, benötigen ein anderes Vorgehen
• UI-Testautomatisierung: Suites waren und sind ein big failure:
  Suites sind doch oft schon nach drei Sprints ohne Wirkung. Die mangelnde Disziplin in vielen Projekten sorgt dafür, dass die Suites nicht mehr aktuell sind. Schlimm ist es, wenn dann Testfälle herausgenommen werden, um einen "grünen" Zustand zu erreichen.
• Stecke die Energie in die Vermeidung von Fehlern (z. B. in das Testen von UseCases), statt in das Finden und die Verwaltung (sekundäre Artefakte) von Fehlern.
• Qualität entsteht nur gemeinsam im Team. Entwickler und Tester müssen und dürfen sich nicht abschotten.


Aus Effizienzgründen sollten man die Projekte mit so wenig Mitarbeitern wie möglich starten. Zu viele bringen zuviel Overhead
• Manuelle Tests sind nach wie vor unersetzlich
• "fast feedback" aus den Tests ist erwünscht und notwendig in der agilen Entwicklung. Effizienz steht hier im Vordergrund.

Haltung der Mitarbeiter:

Test Driven Development benötigt ein entsprechendes Mindset
• Agile Entwickler benötigen Testing Know-how und ein Testing Mindset
• Agile Tester müssen entwickeln können, um die Entwickler zu verstehen und Sie unterstützen zu können - Domainen-Wissen ist nicht mehr alles


Qualität entsteht nur, wenn die Organisation Qualität lebt
In vielen Projekten liegt der Focus auf der Diskussion, ob man einen Fehler gefunden hat, anstatt diesen sofort zu beheben

Weitere spannende Aussagen:

"THE RACE TO ZERO" ist ein Fehler. Die Kosten für qualitätssichernde Maßnahmen können nicht auf Null gesenkt werden. Qualität kostet.
Outsourcing bringt nicht wirklich etwas bei den Kosten und der Qualität. Auch in Europa kann hohe Qualität mit hoch bezahlten Menschen erreicht werden. Summa summarum zumindest kostenneutral, aber mit höherer Qualität


Tester (Test Engineers) werden bei Ebay genauso gut bezahlt wie Entwickler. Bei guten Leuten darf man nicht sparen (beim Hygienefaktor Geld)
• Freiräume sind für Mitarbeiter enorm wichtig (kennt man ja auch von anderen amerikanischen Unternehmen) - Vertrauen und eine lange Leine sind hier unverzichtbar

Alex und Frank

Pyramide der agilen Testautomatisierung

In agilen Projekten steht und fällt die Qualitätssicherung mit der Testautomatisierung. Doch mit welcher Art der Testautomatisierung? Dazu bietet die Pyramide der agilen Testautomatisierung Anhaltspunkte. Mir persönlich gefällt die nachfolgende Variante von M. Cohn recht gut. Die weiteren Varianten von Mezaros und Crispin unterscheiden sich aus meiner Sicht aber auch nur geringfügig.

Wie die Pyramide verdeutlicht, wird der Erfolg der agilen Testautomatisierung weitgehend durch die Unit-Tests bestimmt. Diese sollten am gesamten Anteil an der Testautomatisierung ca. 70% ausmachen. Sie sind auch verhältnismäßig einfach zu erstellen. UI-Tests werden in der Regel spät erstellt, müssen intensiv gewartet werden (bei jeder Oberflächenänderung) und sind auch wegen der Werkzeuge recht teuer (was allerdings kein Argument sein sollte, komplett darauf zu verzichten).
Natürlich muss der tatsächliche Umfang manueller und automatischer Tests individuell im Projekt festgelegt werden. Und die Art der Applikation bestimmt auch, ob Unit-Tests 70% oder doch nur 60% ausmachen. Die Pyramide gibt jedoch einen wichtigen Hinweis, wie die einzelnen Ebenen zu gewichten sind.

Testen kann doch jeder, oder?

Ein wirklich spannenden Vortrag zum Testen in agilen Projekten hat heute Michael Fischlein bei einer ASQF Veranstaltung gehalten. Nicht nur inhaltlich war das hörenswert, auch die agile Form des Vortrags war sehr gelungen.
Die Zuhörer als Product Owner haben die Inhalte (es waren viele User Stories vorgegeben) ausgewählt und priorisiert, die im Vortrag (Sprint) präsentiert wurden. Nach dem Review bildete eine Retro zum Vortrag den Abschluss. Äußerst gelungen der Weg, über die Vortragsmethodik agile Vorgehensweisen zu vertiefen.

Seine fachliche Kernaussage: Testen kann nicht jeder!
Man kann nicht einfach einen Studenten (nichts gegen diese) hinsetzen. Man kann nicht diejenigen zum Tester im agilen Projekt machen, die sonst kaum oder nicht richtig einsetzbar sind.

Und warum kann es nicht jeder:

• Im agilen Projekt mit den klaren Timeboxen kann keine Zeit vertrödelt werden. Die Testfälle müssen hochwertig sein und effizient ausgeführt werden. Die Tests müssen gut vorbereitet sein. Gutes Basiswissen zum Test (Certified Tester FL /AL) ist absolut notwendig.
• Da agil vorgegangen wird, dürfen auch Kenntnisse wie z. B. zum explorativen Testen nicht fehlen.
• Die hohe Automatisierung in agilen Projekten bedeutet, dass Grundverständnis zu Automatisierungswerkzeugen, und -vorgehensweisen verfügbar sein muss (also mindestens rundimentäre Programmierkenntnisse).
• Das notwendige agile Mindset der Person verlangt umfangreiche social Skills, Selbständigkeit und effiziente Selbststeuerung

Es handelt sich also um einen gut ausgebildeten Generalisten. Im Gespräch kam aber rüber, dass dies im Management vieler Unternehmen nicht so gesehen wird. Es besteht also Handlungsbedarf, um agile Projekte nicht schon frühzeitig scheitern zu lassen. 

Rolle des Testers im agilen Umfeld

Agil. Das Schlagwort schlechthin. Egal auf welcher Tagung/Veranstaltung man ist, alles dreht sich um agile Vorgehensweisen. Auch beim letzten ASQF Testing Day war dies wieder der Fall. Ich versuche die wesentlichen Aussagen aus einigen Vorträgen zusammen zu fassen:

• Unit Tests sind fester Bestandteil der Entwicklung (und sollten mit einer Ziel-Testabdeckung in der Definition of Done festgeschrieben werden)
• Testen im agilen besteht zwangsläufig aus Testautomatisierung und (aber auch!) aus manuellen Tests
• Die Integrationstests sind automatisiert und laufen maximal im Sprint +1 (ideal im selben Sprint)
• Alle Tests laufen entwicklungsbegleitend (nicht am Ende des Projekts !!)
• Teammitglieder, die die Rolle des Testers wahrnehmen sollten frühzeitig eingebunden werden (Planning Meeting / Daily Scrum)
• Die Testautomatisierung übernehmen die Software Engineer in Test (SET), ggf. ein separates Testing-Team (wer es sich leisten kann)
• Für die Testautomatisierung sollte bei der DoD eine Coverage festgelegt werden. Das macht die Messung für die Erreichung der Sprint-/Entwicklungsziele deutlich einfacher
• Bugfixing hat die Prio 1. Es wird nicht weiterentwickelt, wenn die abgelieferte Qualität im letzten Meilenstein/Sprint nicht stimmt. Das spricht mir aus der Seele  :-)

Folgendes fällt mir dazu ein:

• Bindet irgendjemand den Tester nicht richtig bzw. frühzeitig ein? (scheinbar schon, sonst kämen die Aussagen ja nicht)
• Welche Rolle nimmt der Tester ein? Des letzten in der Kette, der eine ungeliebte, in Augen einiger wohl auch ziemlich wertlose Rolle, wahrnimmt... - dann sollte das Team drüber nachdenken
• Der Tester wird mehr und mehr zum Engineer

Soft-Skills eines Testers (TE)

Hatte sich der Beitrag Welche Skills braucht ein Tester? eher mit den Hard Skills befasst (und die Anforderungen sind nicht gering), so möchte ich nachfolgend einige Soft Skills beschreiben, die nach meiner Ansicht einen guten TE (Test Engineer) ausmachen.

Verlässlich sein
Wenn alle Probleme korrekt und umfangreich dokumentiert werden, kann der Entwickler oder Architekt diese gut nachvollziehen. Das führt nicht zu langen und überflüssigen Diskussionen. Man erwirbt sich nach einer gewissen Zeit auch das Vertrauen bei Anderen, so dass die dokumentierten Abweichungen ernsthaft und zeitnah bearbeitet werden.

Nachhaltig sein
Nutze Werkzeuge und Checklisten. Gestalte die Tests so, dass die Abläufe und Ergebnisse für jeden transparent sind. Nur so sind die Tests auch wiederholbar und Ergebnisse belastbar. "Mach es ordentlich..."

Genau sein
Es zählen nicht nur die schweren Fehler. Auch Schreibfehler in Dialogen gehören nicht in eine Software mit hoher Qualität. Die Aufmerksamkeit des TEs gehört damit allen Details der Software.

Keine Kompromisse zur Qualität eingehen
Was nicht passt, passt einfach nicht. Das muss auf den Tisch. Geht man Kompromisse ein, kommt es zum schleichenden Qualitätsverlust, der mittel- und langfristig für den Kunden dramatisch sein wird.

Ehrliches Reporting zur eigenen Arbeit
Nicht alles kann 100% getestet werden. Nicht jeder Test hat wie geplant funktioniert. Der Zeitdruck bis zu einer Freigabe führt zum Testen nach Risikogesichtspunkten. Und da gibt es auch mal Lücken. Kein Problem, wenn es allen klar ist, und das Risiko begrenzt ist.

Skeptisch sein
Man sollte nicht glauben, dass das abgelieferte Programm fehlerfrei ist und auch das macht, was in der Spezifikation definiert ist. Deswegen sollte man genau prüfen, und alle erworbenen Fähigkeiten dazu einsetzen, Fehler zu finden. Denn es gibt immer welche...

Die Software aus Kundenperspektive betrachten
Versuche beim Test alles aus Sicht des Kunden zu betrachten. Auch wenn das Konzept die Dinge so vorsieht, wie sie dann umgesetzt sind. Das User Interface. Die Stabilität. Die Funktionen. Kann der Kunde so damit leben? Und betrachte die Prozesse. Was ist, wenn er die Software doch anders nutzt?

Kooperativ sein
Jeder macht mal Fehler. Auch der TE. Deshalb versuche immer einen Weg mit deinen Partnern (Entwickler, Projektleiter, Management, Tester, u. A.) zu finden, der auf Kooperation basiert. Ständige Konfrontation bringt einen nicht weiter. Ist man verlässlich, kann man auch sachlich jedes Gefecht positiv ausfechten.

Kommunikativ sein
Mit seinen Partnern muss man die Ergebnisse eines Tests auch besprechen. Es bringt einen nicht weiter, eine Auswertung mit dem Kommentar hinzuwerfen "Das ist Mist". Und für die Partner muss man bei Fragen auch Rede und Antwort stehen.

Lerne aus den Fehlern
Manche Probleme treten immer wieder auf. Nutze dieses Wissen für die Tests, auch wenn das Testkonzept einen interessanten Testfall nicht vorsieht. Exploratives Vorgehen ist sicher auch eine Fähigkeit eines wirklich guten TEs.

Schon wieder eine Menge Qualifikationen, die ein guter TE besitzen sollte. Und die meisten Skills kann man nicht so einfach im Seminar oder Buch erlernen...