Der erste ErgebnistypErgebnistypen sind (abstrakte) Ergebnise, wie sie in einem Projektplan genannt werden. Die verwedenten Ergebnistypen sind… More im Test ist das TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More („Test PlanEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More“). Er bildet das Gegenstück zum Projektmanagementplan im Projektmanagement„Projektmanagement ist der Einsatz von spezifischen Kenntnissen, Fähigkeiten, Werkzeugen und Techniken, um für Menschen etwas… More, jedoch in einer anderen Struktur und mit einem höheren Detailierungsgrad. Die Erstellung eines Testkonzepts in jedem Softwareentwicklungsprojekt ist essentiell. Dies gilt auch bei der vielfach gehörten Argumentation „aber wir wissen doch, wie es geht und was wir machen wollen“.

Das TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More beschreibt den Inhalt, den Ansatz/Strategie, sowie den Zeitplan der Testaktivitäten. Die Testgegenstände und zu testenden Funktionen sollten identifiziert werden. Daraus ableitend sollte eine konkrete Aufgaben- und Verantwortlichkeitszuordnung stattfinden. Zusätzlich ist eine Risikobetrachtung durchzuführen.

Sollten die Inhalte „schon bekannt“ sein und der Test „wie immer“ durchzuführen sein, kann die Erstellung einer Kopie aus dem letzten Projekt auch nicht sehr schwer sein. Es ist jedoch zu vermuten, dass es dann doch einige wichtige Unterschiede gibt, über die man sich vor dem Start der Testdurchführung im Klaren sein sollte. Im Folgenden werden die Komponenten des Testkonzepts im Einzelnen beschrieben. Während der IEEE829 Standard davon ausgeht, dass all diese Punkte in einem einzigen ErgebnistypErgebnistypen sind (abstrakte) Ergebnise, wie sie in einem Projektplan genannt werden. Die verwedenten Ergebnistypen sind… More (und möglichst noch in der vorgegebenen Reihenfolge) abgebildet werden sollen, dürfte dies in der Praxis in den seltensten Fällen der Fall sein.

Nach der Erläuterung der Komponenten, bei denen jede für sich eine absolute Existenzberechtigung hat, werden wir jeweils diskutieren, wie diese in einem Testprojekt optimaler verwaltet werden können, als sie in einer einzigen Datei abzulegen. Der Bedarf, diese Information geschickter zu verwaltet resultiert zum aus Überlegungen der Pflegbarkeit und WiederverwendbarkeitDer Grad, zu dem ein Arbeitsergebnis in mehr als einem System oder beim Bau anderer… More zum anderen dem Bedarf die Testmethode auch neueren, iterativeren Entwicklungsansätzen verfügbar zu machen.
Auf der anderen Seite liefert eine Konsolidierung aller Informationen in einem Dokument einen einfacheren Zugriff durch alle Mitglieder des Test-Teilprojekt, welche oft nicht während der gesamten Projektlaufzeit mit dem Projekt beschäftigt sind und daher einen anderen und gezielteren Informationsbedarf als andere Projektmitarbeiter haben. (Hierzu ist weiter unten der ErgebnistypErgebnistypen sind (abstrakte) Ergebnise, wie sie in einem Projektplan genannt werden. Die verwedenten Ergebnistypen sind… More Testanweisungen definiert, welche die optimale Verwaltung von Teilen des TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More – gegenüber einer Darstellung in einem einzigen Dokument – wieder heilt.) Festzuhalten ist an dieser Stelle, dass (in aller Regel) alle unten genannten Informationen zu ermitteln und zu verwalten sind.

Bei großen Projekten kann das TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More selbst hierarchisch aufgebaut sein. Das heißt es gibt ein Mastertestkonzept (master test planEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More), welcher sich auf alle Teststufen bezieht. Informationen, welche nur pro Teststufe gültig sind, werden dann in den Stufentestkonzepten (level test planEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More) hinterlegt.

Einführung
Die Einführung Testkonzepts enthält einen Überblick über die zu testenden Softwarekomponenten und Funktionen. Zusätzlich ist eine ReferenzEine Referenz oder Empfehlung ist ein schriftliches Dokument mit einer positiv wertenden Empfehlung zu einer… More auf das Projektmandat, den Projektplan, den QS-Plan, das KonfigurationsmanagementTechnische und administrative Maßnahmen zur Identifizierung und Dokumentation der fachlichen und physischen Merkmale eines Konfigurationselements,… More, bestehende (interne) Richtlinien und relevante (externe) Standards.

Hinweis: Bei großen Projekten sind hierarchische TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More möglich. Der übergeordnete TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More enthält übergreifend gültige Informationen und betrachtet das Zusammenspiel der untergeordneten Testkonzepte. Die untergeordneten Testkonzepte betrachten dann meist Teilkomponenten der Gesamtlösung. Eine Unterteilung nach Teststufen erscheint möglich, wenn die Testbeteiligten in einer anderen Teststufe disjunkt sind. Evtl. könnte dies ein „abgespektes“ TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More für eine spezielle Testergruppe für die jeweilige Teststufe sein. Dies könnte der meist gut abgrenzbaren nicht-funktionalen Tests (z.B. Performancetest), der AbnahmetestFormales (meist funktionales) Testen. Es wird durchgeführt, um einem Auftraggeber oder einer bevollmächtigten Instanz dieEntscheidung… More (acceptance test) oder der Benutzerakzeptanztest sein.

Testelemente
Die Testelemente inkl. Ihrer Versionierung sind Gegenstand des Tests. Des weiteren die notwendigen techn. Voraussetzungen, um diese einzusetzen. In der Praxis wird man typischerweise diese Information nur generisch im TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More festhalten. Die genaue Reihenfolge der Lieferung und die dazugehörige Versionierung wäre dem Entwicklungsplan zu entnehmen. Bei der tatsächlichen Testdurchführung wird dann der aktuelle Stand der Versionierung festgehalten. (siehe Release Notes). Kritisch wird die Liste der Testelemente im TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More, wenn es im Test technische Abhängigkeiten zwischen den Versionen der Testobjekte gibt. Dann ist tatsächlich eine detaillierte Planung notwendig, wobei die Testausführungsplanung sich von der Entwicklungsplanung unterscheiden kann (Reihenfolge und Abhängigkeiten). (Aus diesem Grunde ist beispielsweise der ErgebnistypErgebnistypen sind (abstrakte) Ergebnise, wie sie in einem Projektplan genannt werden. Die verwedenten Ergebnistypen sind… More „test item transmittal reportEin Dokument, das im Rahmen der Übergabe von der Entwicklung zum Test zu Beginn der… More“ von erheblicher Bedeutung für die erfolgreiche Testdurchführung.) Des weiteren sollten Querverweise/Referenzen auf Anforderungsdokumente (fachliche Spezifikation, FachkonzeptIn IT Projekten beschreibt das Fachkonzept (Analysedokument) die funktionalen Anforderungen an eine Software und zeigt… More), Designdokumente (DV-KonzeptDas DV-Konzept (ausführlich Datenverarbeitungskonzept) oder IT-Konzept ist eine Fortführung des Fachkonzeptes bei der Erstellung von… More), Handbücher (Anwenderhandbuch, Betriebshandbuch, Schulungsunterlagen) und Installationsanweisungen enthalten sein. Hinweise zu bekannten Fehlerzuständen, welche vom Test ausgeschlossen werden sollten beschrieben sein (bekannte und akzeptierte FehlerEine Abweichung zwischen erwartetem Ergebnis und tatsächlichem Ergebnis eines Testfalls. Nach Analyse der Abweichung kann… More). Testelemente werden in der Regel pro Testobjekt gruppiert.

Funktionen
Das Kapitel Funktionen enthält die Beschreibung der zu testenden Funktionen (Funktionsgruppen). Hier wird typischerweise auf Analysedokumente/Anforderungsdokumente verwiesen, bzw. auf eine bereits zerlegte Form (bzw. noch durchzuführende Analyse) der Anforderungsrepräsentation in einem Testmanagementtool.

Der Scope der zu testenden Funktionen kann sich von den zu entwickelnden Funktionen unterscheiden (siehe Kapitel „Nicht-Funktionen“). Es können Aussagen zur Testpriorität von Funktionengemacht werden.

Nicht-Funktionen
Eine klare Abgrenzung der nicht zu testenden Funktionen ist erforderlich. Während im Projektantrag, bzw. den Analysedokumenten (fachliche Spezifikation und FachkonzeptIn IT Projekten beschreibt das Fachkonzept (Analysedokument) die funktionalen Anforderungen an eine Software und zeigt… More) eine Abgrenzung der nicht zu entwickelnden Funktionalitäten enthält, kann sich der Umfang der nicht zu testenden Funktionalitäten davon unterscheiden.

Beispielsweise ist es möglich, dass bereits vorhandene Funktionen erneut im Zusammenhang mit den neuen Funktionen getestet werden müssen. Andererseits können neue Funktionen bewusst aus dem Testscope entfernt werden, weil sie Teil einer erwiesenermaßen funktionsfähigen StandardsoftwareAkronym für commercial off the shelf software, also Standardsoftware. More sind (Etwa die Sortierfunktionalität einer Liste in einer StandardsoftwareAkronym für commercial off the shelf software, also Standardsoftware. More; hier geht man ggf. von einer grundlegenden Funktionsfähigkeit aus. Es muss lediglich geprüft werden, ob für die angeforderte Liste die Sortierfunktionalität eingeschaltet ist.).

Teststrategie / Testansatz
Der Testansatz beschreibt die übergreifende Strategie des Testens. Hier wird die Gruppierung von Funktionen und ihre Priorisierung diskutiert. Des weiteren werden die unterschiedlichen Teststrategien (Testarten, Testtypen) sowie die Teststufen erläutert. Daraus leiten sich die Testziele pro Teststufe ab. (beispielsweise Strategien wie „erst die Teile, dann das Ganze“, indem man vom Modultest über den Systemtest zum Systemintegrationstest geht. Oder „erst intern, dann extern“, indem man die volle Funktionsfähigkeit von internen Komponenten sicherstellt, bevor teure externe Schnittstellensysteme für den Test verwendet werden.)

Welcher Testansatz für das jeweilige Projekt verwendet wird hängt von vielen Faktoren ab: Spielt die Vorgehenszielpriorität eine große Rolle, können Ressourcenoptimierung vs. Zeitoptimierung vs. Abdeckungsoptimierung eine Rolle spielen.

Weitere denkbare Ansätze wären Risikoerwägungen, welche aus Komplexitätsgesichtspunkten oder aus den erwarteten operationalen Risiken des Endsystems abgeleitet werden. Auch Einschränkungen bei der Verfügbarkeit von speziellen Ressourcen oder Testanlagen können die Teststrategie beeinflussen. Grundsätzlich sollte die Teststrategie in ausreichendem Detail beschrieben sein, so dass sich die Folgeaktivitäten der Testkoordinatoren in der Testvorbereitung danach ausrichten können. Insgesamt ist dieses Kapitel das wichtigste Kapitel im TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More, da hier die Weichenstellung für den gesamten Testprozess erfolgt. Des weiteren zeigen die Erläuterungen, dass von einer zu starken Standardisierung im Projektmanagement„Projektmanagement ist der Einsatz von spezifischen Kenntnissen, Fähigkeiten, Werkzeugen und Techniken, um für Menschen etwas… More oder im TestmanagementTestmanagement ist die Koordination aller Tätigkeiten im gesamten Testprozess. Hier werden profersionelle Methoden des Testens… More Abstand genommen werden muss, um optimal auf die Bedürfnisse des jeweiligen Projekts Rücksicht zu nehmen.

Testerfolgskriterien und Misserfolgskriterien
Die Definition der Testerfolgskriterien (und der Kriterien für Misserfolg) sind zu Testbeginn mit am schwierigsten sinnvoll zu definieren. Die Folge davon ist, dass dieses Kapitel oft mit Aussagen, wie „Es dürfen maximal 10 schwere FehlerEine Abweichung zwischen erwartetem Ergebnis und tatsächlichem Ergebnis eines Testfalls. Nach Analyse der Abweichung kann… More in der Software verbleiben.“ Es ist offensichtlich, dass solch abstrakte Festlegungen ohne Bezug zum Projektumfang, den kritischen Komponenten, etc. schwer sinnvoll zu definieren sind. Eine Detaillierung im Rahmen der Testvorbereitung erscheint daher sinnvoll.

Eine wichtige Funktion haben diese Festlegungen dennoch: Sie zwingen den Auftraggeber während der Abstimmung des Testkonzepts über die möglichen Ergebnisse des Tests nachzudenken. Diese Festlegungen sollten entsprechend dokumentiert werden.

Testabbruchkriterien und Wiederaufnahmekriterien
Die verbindliche Definition von Testabbruchkriterien sind die Versicherung des Testmanagers gegen Fehlleistungen von Dritten. Was könnte einen Testabbruch hervorrufen? Hierzu gehören Punkte wie, fehlender AnnahmetestAuch Sanitytest, Annahmetest oder Smoke-Test. Eine Teilmenge aller definierten/geplanten Testfälle, die die Hauptfunktionalität einer Komponente… More (d.h. die initiale Softwarequalität ist nicht ausreichend), fehlende Testumgebungsverfügbarkeit oder eine zu langsame Fixrate bei der Behebung von Abweichungen. Ein häufiges Problem von Projekten ist, dass sich alle Verzögerungen des Projekts bis in die Testdurchführungsphase des Projekts akkumuliert haben, ohne dass dies vom ProjektleiterPrimär ist der Projektleiter (auch Projektmanager) für die operative Planung und Steuerung des Projektes verantwortlich…. More eindeutig in den Teststatus und die Erwartungshaltung der StakeholderStakeholder eines Projektes sind alle Personen, die ein Interesse am Projekt haben oder von ihm… More eingepreist worden wäre. Gerade bei Projekten mit einem fixen Endetermin (heutzutage also alle strategischen, wichtigen Projekte von Unternehmen) regiert Prinzip Hoffnung: Der ProjektleiterPrimär ist der Projektleiter (auch Projektmanager) für die operative Planung und Steuerung des Projektes verantwortlich…. More kann (politisch) auf der einen Seite nicht in der ersten Projekthälfte schon eine Verzögerung von n Monaten kommunizieren, auf der anderen Seite hofft er, dass in der Testphase „schon nicht zu viele FehlerEine Abweichung zwischen erwartetem Ergebnis und tatsächlichem Ergebnis eines Testfalls. Nach Analyse der Abweichung kann… More auftauchen“. Dies bedeutet im Klartext, dass das Projekt bis zum Beginn der Testdurchführung ernsthafte Probleme hat, obwohl der Projektstatus „grün“ ist. Damit wird automatisch der Testmanager „schuld“, wenn der Status nun von grün nach rot springt, weil die Testziele nicht erreicht werden können.

Umso wichtiger ist eine klare Festlegung von Testabbruchkriterien. Je nach Grund des Testabbruchs sollten die Tätigkeiten der Wiederaufnahme festgehalten werden. (Beispielsweise ein neuer AnnahmetestAuch Sanitytest, Annahmetest oder Smoke-Test. Eine Teilmenge aller definierten/geplanten Testfälle, die die Hauptfunktionalität einer Komponente… More, Rücksetzung der Testbasisdaten, etc.)

ErgebnistypenErgebnistypen sind (abstrakte) Ergebnise, wie sie in einem Projektplan genannt werden. Die verwedenten Ergebnistypen sind… More des Tests
An dieser Stelle im TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More kann die Summe der ErgebnistypenErgebnistypen sind (abstrakte) Ergebnise, wie sie in einem Projektplan genannt werden. Die verwedenten Ergebnistypen sind… More gelistet und beschrieben werden. Je nach Projekt, können diese auch in einem übergreifenden QM-Plan, bzw. Ergebnistypenliste auftauchen und dort beschrieben werden.

Aufgaben im Test
Hier werden die Aufgaben im Rahmen der Vorbereitung und Durchführung für das spezifische Projekt identifiziert und beschrieben. Existiert ein Testmanagement-Rahmenwerk im Unternehmen, kann die Liste in vielen Fällen auf die reine Nennung der Aktivitäten im jeweiligen Projekt reduziert werden.
Da der Zweck eine Planungs- und Handlungsanweisung ist, sollten die projektspezifische Informationen natürlich beschrieben werden.

Testumgebung
Die Anzahl und die Eigenschaften der Testumgebungen sollte beschrieben sein. Dazu gehören auf der einen Seite die Hardwareeigenschaften der Testumgebung. In vielen Fällen ist die Hardware-Ausstattung der Testumgebung kleiner, als die der Produktionsumgebung, da kleiner Datenmengen getestet werden. Auf der anderen Seite können vergleichbare Last- & Performance-Tests nur bei vergleichbarer Hardwareausstattung durchgeführt werden.

Auf der anderen Seite ist die notwendige Softwareausstattung zu beschreiben, so dass die Softwarewareversorgung rechtzeitig erfolgen kann. Grundsätzlich gilt, dass die Softwareausstattung möglichst ähnlich der späteren Produktionsumgebung entsprechen soll, also insbesondere gleiche Versionen für Betriebssystem, Datenbank, …

Des weiteren müssen die verwendeten Testtools beschrieben werden. Dazu gehören technische Testtools, wie Lasttest-Software, Automatisierungssoftware, Analysewerkzeuge etc. und Testmanagement-Tools zur Verwaltung von Anforderungen, Releases, Testvorbereitung, Testdurchführung und Abweichungsverfolgung.

Nicht schon verfügbare Software muss in durch den Projektbeschaffungsprozess beschafft werden.

Verantwortlichkeiten
Hinter dem Testverfahren sollten klare Rollen und Verantwortlichkeiten definiert werden. Oft sind die Rollen in den Unternehmen im übergreifenden Testverfahren definiert (beispielsweise Testmanager, Testkoordinator, Testanalyst, Tester, Testumgebungskoordinator, Testberater). An dieser Stelle sind die Rollen jedoch konkret zu benennen pro Teilprojekt oder Teilbereich im Projekt mit konkreter Namensnennung.

Nicht zu vergessen sind die Verantwortlichen an den angrenzenden Prozessen, nämlich Entwickler, Entscheider beim Auftraggeber, Release Manager, ProjektleiterPrimär ist der Projektleiter (auch Projektmanager) für die operative Planung und Steuerung des Projektes verantwortlich…. More, Projektbüro und QS-Manager.

Besetzungsbedarf und Trainingsbedarf
Im Rahmen der Testplanung ist der Personalbedarf mit der jeweiligen Qualifikation zu ermitteln. Der Besetzungsbedarf ergibt sich aus der Differenz von Bestand und Bedarf. Ggf. sind Qualifizierungsmaßnahmen einer Neubesetzung vorzuziehen. (Qualifizierungsgebot im Projektmanagement„Projektmanagement ist der Einsatz von spezifischen Kenntnissen, Fähigkeiten, Werkzeugen und Techniken, um für Menschen etwas… More)

Für neue oder geänderte Applikationen ist ggf. spezieller Trainingsbedarf einzuplanen. Zusätzlich müssen Tester, welche von der Anwenderseiter rekrutiert werden in die Testverfahren und Abweichungsprozesse und die entsprechenden Tools eingewiesen werden.

Zeitplan
Die Meilensteine des Tests sind zu identifizieren und die Übergabe Punkte mit der Entwicklung abzustimmen. Hierbei greifen die regulären Planungsmechanismen des Projektmanagement„Projektmanagement ist der Einsatz von spezifischen Kenntnissen, Fähigkeiten, Werkzeugen und Techniken, um für Menschen etwas… More. Zusätzlich ist zu beachten, dass die Zeitplanung nicht nur durch den Umfang der erstellten Software, sondern auch von die Qualität der erstellten Software abhängig ist. Daher kann eine Zeitplanung für Testdurchführung immer nur auf Annahmen basiert sein. Die kontinuierliche Zeitplanung wird häufig außerhalb des Testkonzepts in den selben Dokumenten , wie die Zeitplanung des übrigen Projekts geführt.

Risiken und Puffer
Auf Grund der Abhängigkeit von äußeren Umständen sind die Risiken im Projektverlauf ständig neu zu bewerten. Zusätzlich sind entsprechende Puffer im Test vorzuhalten. Dies kann insbesondere dann zu Schwierigkeiten führen, wenn es externe Abhängigkeiten, wie mit anderen Projekten gemeinsam verwendeten Testumgebungen gibt. Für RisikomanagementRisikomanagement in Projekten beschäftigt sich mit allen Tätigkeiten, welche zur Verhinderung von oder zum Umgang… More existieren in den Projekten oft übergreifende Listen, welche sich gut für eine frühzeitige Risikokommunikation eignen.

Abnahmen

Soweit nicht im Dokumentenkopf vorgesehen, ist abschließend die Abnahme des TestkonzeptEin Dokument, das u.a. den Gültigkeitsbereich, die Vorgehensweise, die Ressourcen und die Zeitplanung der beabsichtigten… More festzuhalten. Die Planabnahme hat gleichzeitig die Wirkung eines Projektmandats für das Teilprojekt Test.