Chat-Protokoll Crowd Software Testing – Qualitätssicherung mit dem “Viele-Augenprinzip”

23. Oktober 2013 – 15:56

Hallo Herr Grüderich

Hallo

Um 16:00 Uhr geht es los.

super

Herzlich willkommen zu diesem Chat. Mein Name ist Wolfhart Hildebrandt, ich bin Geschäftsführer der Netbaes und Initiator der kollektiven Intelligenz Eventwochen. Und ich bin der Moderator dieses Chats.

Ich begrüße ganz herzlich unseren Referenten Herrn Grüderich als Refernt dieses Chats.

Guten Tag

Und ich begrüße unsere Gäste, danke, dass Sie dabei sind.

Das Thema: Software Testing -Qualitätssicherung mit dem “Viele Augenprinzip”

Herr Grüderich, stellen Sie sich bitte vor.

Mein Name ist Thomas Grüderich und ich bin einer der Gründer der Firma testCloud

Stellen Sie bitte immer Fragen….

Was macht TestCloud genau?

wir bieten Software Qualitätsicherung (QA) mit dem crowdsourcing Prinzip. Bezahlt werden unsere Tester nach Fehlern. Hat jemand hier schon mal Erfahrungen damit gemacht?

Welche Stellung hat Ihre Crowd in Ihrem Unternehmen?

Unsere Crowd ist das Fundament. Ohne eine motivierte Crowd könnten wir keine Websites oder Apps testen. Es gilt stet die Tester zu motivieren und incentivieren

Die Crowd besteht aus dem “normalen User” bis hin zum Profitester

Wie motivieren Sie die Crowd?

Zunächst natürlich monetär (Bezahlung erfolgt pro Bug) aber natürlich entwickeln wir auch Tester Rankings (social ranks basierend auf Leistung)

Können Sie as mit den Tester-Rankings kurz erklären?

Es basiert auf verschiedensten Faktoren: Anzahl Teilnahme an Tests, Anzahl der übermittelten Fehler (bugs) und anderen Faktoren. Aber nicht nur die Anzahl, sondern insbesondere die Qualität der Fehlerberichte (bug reports). Denn nur Fehler die der Kunde akzeptiert werden dem Tester vergütet

Wer bewertet diese Bugreports?

Dort gibt es mehrer Stufen im “Lebenszyklus” eines bug reports:

1. Der Tester reproduziert seinen Fehler

2. er wird eingereicht und überprüft

3. Der Kunde nimmt ihn an oder lehnt ihn ab

d.h. das ist ein kontiuierlicher Prozess und nicht ein abschließender Bericht?

Im Prinzip beides

denn wir testen oft auch live und übermitteln die gefundenen bugs in Echtzeit an den Kunden

im Anschluß an den Test bekommt der Kunde einen komplette Übersicht aller gefundenen Bugs

Bescheiben Sie uns bitte die grundsätzlichen Elemente Ihres Crowdmanagements.

das ist sehr umfangreich

nur die Wesentlichen, aus Ihrer Sicht wichtigsten.

1. Kommunikation

2. Incentivierung

3. Ranking und Anerkennung innerhalb der community

Incentivierung ist ein Belohnungssystem?

ja im Prinzip eine monetäre Vergütung gegen Leistung

Wichtig ist ein Zusammenspiel aller Faktoren und nicht nur eins

Bitte immer Fragen stellen?

Wie fördern Sie die Kommunikation in Ihrer Crowd?

Wir haben in jedem Test einen erfahrenen Team Leader aus der crowd

Gibt es bei Ihnen auch eine Zusatzvergütung für besonders gute leistung?

er/sie koordiniert die Kommunkation mit den Testern. Außerdem erfolgt über chat und Kommentarfunktionen ein weiterer Kommunikationskanal

In besonderen Fällen zahlen wir auch boni an die Tester

Wenn beispielsweise ein sehr kritischer Bug/Fehler entdeckt wurde

Wird in diesem Fall der Bug in der Testercommunity vorher diskutiert?

ein Crowd Test ist ein sehr dynamischer Prozess. Oft kommentieren die Tester und diskutieren über bestimmte Bugs über unsere Kommentarfunktion

diese kann der Kunde übrigends dann auch einsehen

Wie wird aus einem Ranking Anerkennung in der Crowd?

Man kann zum Bsp. als team leader aufsteigen

und bekommt mehr Vergütung?

ja genau

Wie groß sind im Schnitt die Testergruppen?

das kommt immer auf die Anforderungen vom Testprojekt an

Wie qualifizieren Sie die Tester?

Wir haben da versch. Dinge im Einsatz

1. Aktive Teilnahme am Test und dann ein coaching/bewertung de Ergebnisse

2. Eine online self tutorial

Von Anfang an wird jeder Tester in eine bestimmte Kategorie eingeteilt

vom Anfänger bis zum Profi

Was kennzeichnet einen Anfäger und was einen Profi?

Jeder Tester gibt zunächst eine Selbsteinschätzung von sich (Testererfahrung, Kentnisse in Programming Language etc) evaluiert wird dann aber auch anhand der tatäschlichen Ergebnisse im Rahmen von warm-up tests uund echten Tests

danke

Sie setzen also nach Anforderung die Testteams gemischt zusammen mit einem Leader und lassen die Tester dann sich in der Praxis weiterentwickeln.

das kann man so sagen.

Natürlcih haben wir aber vorwiegend basierend auf den Anforderungen des Kunden die “richtigen Tester” im Test

Wie handeln Sie Probleme mit den Kunden? Programmierer fühlen sich “manchmal” angegriffen und es wird emotional und meinen die Tester verstehen das Programm nicht.

Bitte letzte Fragen…..

Nicht wirklich. Entwickler sind eigentlich Dankbar das wir Ihnen die lästige Arbeit des testens abnehmen und auch Fehler finden die sonst unentdeckt blieben

was spricht gegen Fehler, die man nicht findet??

Haben Sie noch einen Tip an unsere Gäster für das Management einer Crowd?

Wir kommen langsam zum Ende. Noch Fragen?

Oft sind Fehler die für Umsatzeinbußen verantwortlich sind schwer aufzuspüren. Mit dem Viele Augen Prinzip und der vergütung pro Bug können wir eine hohe Testabdeckung gewährleisten

OK, wir müssen Schluss machen, um 17:00 Uhr geht es schon weiter

Herzlichen Dank!

Ganz herzlichen Dank Herr Grüderich für die Einblicke in Ihr Unternehmen und in Ihr Crowdmanangement.

Vielen Dank auch an die Gäste und für Ihr Interesse.

Dieser Chat wird gespeichert und kann nachgelesen werden. Sie finden ihn rechts unter dem heutigen Tag.

Weitere Fragen an Herrn Grüderich können Sie ihm gern per E-Mail stellen, adresse auf dem Tagesprogramm.

Wir machen jetzt eine kurze Pause von 3 Minuten.