Chat-Protokoll Qualifizierung und iteratives Management einer Testing-Crowd 22.10.2013

Qualifizierung und iteratives Management einer Testing-Crowd mit Andreas Köck jetzt um 16:00 Uhr.

Grüß Gott aus München. Nach der Pause geht es weiter mit mir.

Genau gleich!

Nochmals vielen Dank für die Einladung! Ich freue mich, hier zu sein.

Hallo in die Runde

Herzlich willkommen zu diesem Chat. Mein Name ist Wolfhart Hildebrandt, ich bin Geschäftsführer der Netbaes und Initiator der kollektiven Intelligenz Eventwochen. Und ich bin der Moderator dieses Chats.

Ich begrüße ganz herzlich unsere Gäste und ganz besonders unseren Referenten Herr Köck.

Lieber Herr Köck, stellen Sie sich doch bitte vor.

Guten Tag Herr Hildebrandt, auch ich grüße alle Gäste.

Gerne…

Hier finden Sie die Präsentation: http://www.netbaes.org/NETBAESBLOG/programm-dienstag-22-10-2013

Wie immer stellen Sie bitte Fragen!

Ich bin Community/Crowd Manager für den Crowdtesting-Dienstleister Testbirds.

Unter „Crowdtesting“ verstehen wir Softwaretesting mit Hilfe von Crowdsourcing. Software, das sind meist Apps für mobile Geräte, Enterprise Software und Webseiten, egal ob mobil oder nicht.

Dazu kommen noch Spiele, hin und wieder auch Endgeräte. Auch End-to-End Tests sind möglich, z.B. vom ersten Besuch der Webseite, über die Bestellung bis hin zum tatsächlichen Produkt in den Händen der Tester, die dieses auch gleich noch mitbewerten.

Wie groß ist Ihre Crowd?

Unsere Crowd ist weltweit viele Tausend Personen groß. Mit genauen Zahlen bin ich immer etwas vorsichtig.

Beschreiben Sie bitte das iteratives Management Ihrer Crowd.

Wir wollen ja die Karteileichen nicht zählen, denn was am Ende zählt ist ja die Zahl der aktiven Mitglieder. Auch Wachstum ist wichtig. Diesen Monat hatten wir täglich etwa 70 Neuanmeldungen.

Bei uns reicht es nicht, dass neue Mitglieder zu Beginn eine Qualifizierung durchlaufen. Bei jedem Testprojekt muss die Crowd wieder gemanaged werden.

Bitte immer Fragen stellen!

Da jedes Projekt seine Eigenheiten hat, findet immer wieder ein Austausch mit der Crowd statt

konkretes Beispiel: Wir testen den Bestellprozess in einem Webshop. Kurz nach Start benachrichtigen uns einige Tester, dass die Seite immer wieder komplett abstürtzt und sie nicht weiter testen können. Wir müssen dann sehen, ob es an den Testern liegt oder am Testobjekt.

Nehmen wir an, es liegt an den Testern, was machen Sie dann?

Wenn es daran liegt, dass die Tester etwas gemacht haben, dass vom Kunden nicht erwartet wurde, haben wir schon das erste nützliche Feedback zur Benutzerführung. Handelt es sich hingegen um ein technisches Problem (z.B. die Tester haben mit einem Browser getestest, der vom Webshop einfach nicht unterstützt wird) ist dies für den Kunden auch hilfreich. Wir versuchen dann eine Lösung zu finden

Inwiefern nutzen Sie Gamification?

damit die Tester den Test dennoch durchführen können. Sonst fällt irh feedback ja weg, das wäre schade.

Die Gamification steht bei uns erst am Anfang ihrer Möglichkeiten. Sie ist ein enorm mächtiges Werkzeug z.B. zur Motivation.

Derzeit haben wir z.B. ein Erfahrungspunkte-System, das auch an eine Rangliste gekoppelt ist

Haben Sie das strategisch eingeführt oder wird das einfach so ausprobiert? Sollen ncoh mehr Gamification-Mechanismen implementiert werden?

Unsere Testbirds-Platform, “Nest” genannt, hat zudem eine Hall of Fame (unabhängig von Punkten werden dort besondere Leistungen präsentiert)

Auch die gesamte Oberfläche des Nests hat etwas spielerisches

Es handelt sich um den ersten Schritt zur weiteren Gamification. Es werden definitiv noch weitere Mechanismen implementiert.

Aber auch das Experimentieren hat für uns einen großen Stellenwert.

Werden Sie dann messen inwiefern die eingeführten Elemente Einfluss auf bestimmte Ziele besitzen?

Bei den Erfahrungspunkten, für viele ein eher banaler Mechanismus, haben wir aber sehr gute Resonanz, sodass dieses Experiment für geglückt gilt.

Sehr spannend, Danke

Wie qualifizieren sie Ihre Tester für ein Testprojekt?

Ja, wir werden das messen, wobei auch “weiche” Kriterien wie oben angedeutet für uns eine Rolle spielen: Feedback einzelner Tester, das vielleicht nicht immer statistisch belegbar ist.

Grundsätzlich laufen alle Tester bei uns einmal den Einstiegstest durch – ein Test unter realen Bedingungen (nur mit mehr Zeit) – um den Prozess und die qualitativen Anforderungen kennenzulernen.

Für einzelne Projekte hängt es dann im weiteren von den mit dem Kunden erarbeiteten Vorgaben ab. Wenn es um die Bugsuche geht, laden wir Tester ein, die sich bei früheren Tests bereits als sehr erfolgreich erwiesen haben.

Oft arbeiten wir auch mit Vorabfragen. Vor dem eigentlichen Test fragen wir bestimmte Informationen ab. Gemeinsam mit den über 60 Fragen, die Tester in ihrem Profil beantworten können, können wir so alle nötigen Qualifikationen vorher abfragen.

Fragen bitte!

Sie bezeichnen Qualifizierung als ersten, proaktiver Schritt der Qualitätssicherung. Wie garantiert Testbirds Qualität darüber hinaus?

In meinen Augen haben wir die hohe Qualität der Ergebnisse, die der Kunde von uns bekommt, zu einem großen Teil auch unseren Projektmanagern zu verdanken. Diese gehen nicht nur jeden einzelnen Testbericht und Bug durch, sie arbeiten auch mit den Testern daran, alle Unklarheiten zu klären. Abschließend werten meine Kollegen dies auch alles aus und geben dem Kunden Handlungsempfehlungen

Kurz gesagt: Die Schwarmintelligenz wird kanalisiert und gebündelt.

Können Sie uns erklären, warum Motivation hierbei so eine große Rolle spielt?

Die Tester werden von uns für ihre Arbeit bezahlt, je nach Test mit einem Fixbetrag und/oder einer Bezahlung pro gefundenem Bug. Ich glaube aber, dass Geld nicht die beste Motivation ist. Wenn der Tester bei uns 10 Euro in der Stunde verdient und mit Online Poker viel mehr, dann ist der Tester bald wieder weg. Durch andere Motivationsmethoden, besonders denen, die zu intrinsischer Motivation

führen, können wir die Tester nachhaltig aktiv halten.

Können Sie uns ein Beispiel geben?

Wie fördern Sie intrinsische Motivation?

Erst kürzlich haben wir für ein neues (noch streng geheimes) Projekt einige unserer “fleißigsten” Tester kontaktiert. Einer wollte nur für die Zeit, die wir benötigen, ihm das Projekt zu erklären schon bezahlt werden. Dieser Tester wird weiterhin nur mitmachen, solange die Bezahlung seinen Wünschen entspricht. Andere haben uns geschrieben, dass sie die Idee hervorragend finden

(sie sind also motiviert). Diese Tester werden sich mehr Hindernissen stellen, als der, der nur aufs Geld aus ist.

ich habe nicht verstanden, was die motiviert hat??

Um intrinsische Motivation zu fördern, sollte der Tester vom Testbirds-“Geist” angesteckt werden. Deshalb ist es mir wichtig, dass die Kommunikation immer auf Augenhöhe abläuft. In diese Schiene schlägt auch ein exzellenter Support-Gedanke. Dass wir immer freundlich und sehr schnell auf Tester-Anfragen antworten, kommt sehr gut an und motiviert die Menschen.

Fassen Sie “Spaß am Spiel” oder “**** auf Zerstreuung oder Unterhaltung” auch unter intrinsische Motivation, oder ist der Begriff enger zu verstehen, als Motiv ein Ziel, einen “guten Zweck” planmäßig zu verfolgen, auch gegen Widerstände?

Kein Problem, gast_205, um die Fragen zu beantworten, war ich wohl zu knapp: Schlussendlich kann ich auch nicht mit dem Finger draufzeigen, was die Tester in diesem bestimmten Fall motiviert hat. War es die neue, spannende Idee? Oder die witzige Formulierung der E-Mail? Dies trägt sicherlich dazu bei. Worauf ich hinauswollte ist, dass diese Tester eine andere Motivation als das rein Geld hatten

und dadurch für eine nachhaltige Zusammenarbeit interessanter sind.

das ist sicher rictig!

Wir kommen zum Ende

Letzte Fragen…..

Können wir von der Huffington Post über Motivation lernen?

lohnt es sich tester zu sein, von intrinsisch kann ich nicht leben.

Gast_892: Für mich ist intrinsische Motivation so tief in der Person verwurzelt, dass sie selbst nicht genau sagen kann “Aspekt X motiviert mich”, sondern “Ich mache das, weil ich will”. Wenn es Widerstände gibt, dann sind die (fast) nur noch äußerlich und werden durch intrinsische Motivation komplett überdeckt.

Wie kommen Sie auf die “Huffington Post” ?

Weil die deutsche Huffington Post den Autoren kein Honorar zahlt.

Die Autoren bringen alle eigene Motive mit.

Wir müssen langsam zum Schluss kommen. Lieber Herr Köck, danke für diesen interessanten Chat und ihre Ausführungen.

Kommen Sie bitte zum Ende.

Danke.

Danke auch an die Gäste für Ihr Interesse und Ihr Mitmachen.

Gast 205: Wir können keinen Vollzeitjob ersetzen, wollen wir auch nicht. Aber viele unserer Tester verdienen ganz gut. Der eine oder andere finanziert sich damit z.B. sein Studium

Danke !!

Gerne beantworte ich noch die offenen Fragen

Fragen bitte an den Referenten über seine E-Mail Adresse, rechts bei den Daten der Referenten.

Morgen um 10:00 kommt der nächste Chat.