Apps gibt es mittlerweile für nahezu jeden Lebensbereich und wenn die kleinen Helferchen einwandfrei funktionieren, erleichtern sie uns den Alltag. Ob eine App auf den unterschiedlichsten Endgeräten läuft und wie zufrieden die Anwender mit Design und Usability der mobilen Anwendung sind, lässt sich mit crowdbasierten Remote Usability Tests herausfinden.

Crowdtesting – der Schwarm testet

Crowdtesting setzt sich aus den Begriffen Crowdsourcing und Softwaretesting zusammen. Für das Testen von Software werden also die Intelligenz und Arbeitskraft von freiwilligen Usern genutzt. Teil der Crowd kann jeder werden, der über ein internetfähiges Gerät verfügt, er muss sich lediglich auf der Plattform eines Crowdtestinganbieters registrieren. Neben der Motivation Apps und Webseiten optimieren zu können, werden die Tester pro Projekt bezahlt.

Die Crowd nutzt ihre eigenen Computer, Smartphones oder Tablets, um Apps und Webseiten auf Usability und Bugs zu testen. Flexibilität und Heterogenität der Crowd sind ausgewählte Vorteile von Crowdtesting im Vergleich zu herkömmlichen Testingmethoden. Im Gegensatz zu Inhouse-Testing, automatisierten Tests oder aber Tests in Usability Laboren findet Crowdtesting nämlich unter realen Bedingungen (zu Hause oder unterwegs) statt und liefert deshalb wertvolle Ergebnisse, die andere Methoden nicht hervorbringen können. Crowdbasiert kann Software ressourcenschonend auf den unterschiedlichsten Endgeräte mit verschiedensten Kombinationen aus Hersteller, Betriebssystem, Browser Provider und Displaygröße von spezifische Zielgruppen getestet werden.

Gerätevielfalt - die Herausforderung in der Entwicklung von Apps und Webseiten

Gerätevielfalt - die Herausforderung in der Entwicklung von Apps und Webseiten

Das genaue Vorgehen beim Crowdtesting unterscheidet sich von Projekt zu Projekt sowie von Anbieter zu Anbieter. Im Beitrag Einfach testen: Remote Usability Tests wurden auf diesem Blog bereits verschiedene Full Service Anbieter vorgestellt, die sich auf das crowdbasierte Testen von Apps und Webseiten spezialisiert haben, darunter auch die Münchner Testbirds GmbH.

Wie crowdbasiertes Softwaretesting aussehen kann

In einem gemeinsamen Briefing mit einem Projektmanager werden die Ziele des Testings (reines Bugtesting, Usabilitytesting oder eine Kombination aus beiden) definiert und die Zielgruppe festgelegt. Nach spezifischen Anforderungen wie soziodemografischen, geräte- sowie browserspezifischen Merkmalen wird die Testgruppe (“Birds”) rekrutiert. Die passenden Personen machen sich dann auf die Suche nach Bugs und geben Feedback zu Usability und Design der Anwendung. Ihre Beobachtungen halten die Birds schriftlich samt Screenshots, Screencasts oder der Think Aloud Methode fest.

Das Feedback der Tester wird durch einen Projektmanager geprüft, der den Testern über eine Chatfunktion während des Tests für Rückfragen zur Seite steht. Nach Testende sichtet der Projektmanager die Ergebnisse und wertet diese aus. Abschließend formuliert er konkrete Handlungsempfehlungen und bereitet die Erkenntnisse in einem Management Summary schriftlich auf. Während des gesamten Testablaufs hat der Kunde jederzeit Zugriff auf die Test-Plattform, um sich über den Verlauf informieren und bereits erste Bugs fixen zu können.

Fallbeispiel: Immobilien-App

In verschiedenen Szenarien, die von konkreten “Registriere Dich und suche ein Objekt in Deiner Nähe” bis hin zu vagen Anweisungen wie “Mache Dich mit der App vertraut” reichen, so genannten Use bzw. Corner Cases, prüfte die Crowd von Testbirds im Herbst 2012 beispielsweise eine Immobilien-App. Sie testeten etwa, ob die App in Verbindung mit anderen Anwendungen funktioniert und welche Performance sie in verschiedenen Netzzuständen (3G, WLAN, GPRS) zeigt. Zudem wurde die Synchronisation mit dem Benutzerkonto der Tester im Browser untersucht. Das alles sind bekannte Fälle, die häufig Fehler verursachen und die im Briefinggespräch definiert wurden.

Konkret arbeiteten die Tester in diesem Projekt definierte Aufträge ab (“Suche Objekte in Deiner Nähe”, “Lege eine Merkliste an und synchronisiere diese mit dem Web”), beantworteten Fragen (“Was würdest Du an der App verbessern?”, “Was gefällt Dir an der App besonders gut?”) und erkundeten im Anschluss die App noch explorativ, um Bugs ausfindig zu machen.

Insgesamt 21 Personen strapazierten die App, indem sie die Leistung beispielsweise in verschiedenen Akku- sowie Netzzuständen testeten. Die Tester stellten die App außerdem auf die Probe, indem sie deren Performance beim Tethering prüften oder schauten wie sich die Applikation verhält, wenn zeitgleich andere Apps laufen. Die Ergebnisse dokumentierte jeder Tester schriftlich und mit Screenshots bzw. Screencasts. Die Auswertung erfolgte, wie oben erklärt, durch das Projektmanagement.

Das Feedback der Tester

Bei der Android Version 3.0 der App wurde die Such- und Merkfunktion allgemein als leicht zu bedienen empfunden. Mehrfach wurde hingegen angemerkt, dass der Startbildschirm überladen wirkt: Zu viele Informationen und keine Abstände zwischen den Bildern störten einige Tester. Bei der Synchronisation mit dem Web traten häufiger Schwierigkeiten auf: Etliche Tester beklagten den nicht reibungslos funktionierenden Prozess beim Abgleichen der Daten.

Ferner wurde bemängelt, dass es keine Autokorrektur bei der Adresssuche gab (beispielsweise bei Tippfehlern), nicht existierende Straßen- und Ortsnamen konnten eingegeben werden und verursachten lange Ladezeiten anstelle von Vorschlägen für Alternativsuchbegriffe.

Um gemerkte Objekte zu löschen, bedurfte es lediglich einer kurzen Berührung. Eine Warnung la “Wollen Sie dieses Objekt tatsächlich löschen?” wurde ebenso vermisst wie eine Logout-Funktion, sodass unterschiedliche Personen die App auf dem gleichen Gerät nutzen können. Außerdem merkten Tester an, dass ihnen eine Vergleichsfunktion von verschiedenen Angeboten fehle, dasselbe galt für das Einblenden von Objekten mit ähnlichen Kriterien.

Die Empfehlungen der Testbirds

Aufgrund der aufgetretenen Fehler und des Feedbacks aus der Crowd empfahlen die Experten von Testbirds schließlich die Anwendung unter anderem durch einen übersichtlicheren Startbildschirm zu verbessern. Ein Tutorial nach der Installation der App könnte zudem den Einstieg erleichtern und den Benutzern bereits beim Einstieg erklären, was sie erwartet.

Es wurde zudem vorgeschlagen Suchbegriffe mit Datenbanken abzugleichen, damit bei Tippfehlern oder falschen Adressen alternative Suchergebnisse angeboten und lange Ladezeiten aufgrund falscher Adressangaben vermieden werden können. Um die Stabilität der App in verschiedenen Zuständen und Orten mit schlechtem Empfang sicherzustellen sowie die Erfahrung und Erwartung der Wohnungssuchenden zu erfüllen, sollte die Performance in diesen Bereichen angepasst werden. Gefundene Bugs, die von Rechtschreibfehlern bis hin zu Abstürzen reichten, sollten ebenso beseitigt werden.

Usability Tests helfen!

Das Fallbeispiel macht deutlich, wie hilfreich Remote Usability Tests sein können. Da das Angebot an ähnlichen Immobilien Apps groß ist, ist es enorm wichtig, dass die App den Nutzer überzeugt und er nicht aufgrund von Bugs oder Benutzerunfreundlichkeit zu einem anderen Anbieter wechselt. Ansprechende Bildergalerien und eine logische Nutzerführung – kurzum die Usability und UX und zwar unabhängig von Betriebssystem und Displaygröße – sind entscheidend für den Erfolg einer App.

Mit Crowdtesting kann Software unkompliziert auf den unterschiedlichsten Geräte- und Systemkombinationen von echten Endanwendern getestet werden. Dieses Prinzip ergänzt somit vorhandene Softwaretestingmethoden, indem es flexibel, schnell und ressourcensparend Apps und Webseiten auf Usability testen und funktionale Fehler aufdecken kann.