Wie testet man, ob eine App oder eine Website auf Android-Einsteigergeräten funktioniert?

Entwicklungsteams testen meist auf aktuellen Telefonen und auf Emulatoren, die auf schnellen Computern laufen. Beide verbergen die Bedingungen, die Erlebnisse auf günstiger Hardware zunichtemachen: wenig freien Speicher, langsamen Speicherplatz, wenige CPU-Kerne und aggressives Beenden von Hintergrundprozessen. Ein Emulator kann mit weniger RAM konfiguriert werden, nutzt aber weiterhin die CPU- und Speichergeschwindigkeit des Hosts.

In Märkten, in denen die meisten Nutzer Einsteigergeräte besitzen, sind diese Bedingungen der Normalfall. Ein Checkout, der auf dem Telefon eines Entwicklers schnell lädt, kann auf dem Telefon, das die meisten Kunden tatsächlich besitzen, stocken, ruckeln oder abstürzen.

Beginnen Sie mit dem Geräteprofil, denn jede andere Zahl hängt davon ab: Modell, Betriebssystemversion, RAM, CPU-Kerne, freier Speicherplatz und die Gerätekategorie, die sich daraus ergibt. Ein Ergebnis ohne Profil kann mit nichts verglichen werden.

Bei einer Website misst man die Navigationszeiten (DOMContentLoaded, load und First Contentful Paint), den vom Browser genutzten Speicher und ruckelnde Bilder während des Seitenaufbaus. Bei einer App misst man die Kaltstartzeit vom Start bis zum ersten Bild, den genutzten Speicher und fatale Ausnahmen oder ANR-Ereignisse im Systemprotokoll. Ein Screenshot wird aufgenommen, damit die Zahlen mit dem Bildschirminhalt abgeglichen werden können.

Ein Ergebnis ist nur dann ein Einsteiger-Ergebnis, wenn es von einem Einsteigergerät stammt. Melden Sie neben jeder Messung die tatsächliche Gerätekategorie, und passen Sie niemals Zahlen von einem schnelleren Telefon an, um ein langsameres zu schätzen. Die Absturzerkennung aus Systemprotokollen erfolgt nach bestem Bemühen: Sie erfasst sichtbare Fehlschläge, ist aber keine vollständige Stack-Trace-Analyse.

Vergleichen Sie Gleiches mit Gleichem. Führen Sie dasselbe Ziel im Zeitverlauf auf demselben Geräteprofil aus und betrachten Sie eine Änderung nach einem Release als Signal. Ein einzelner Durchlauf ist ein Datenpunkt; eine Serie auf demselben Gerät zeigt, ob ein Release die Situation für Kunden mit den günstigsten Telefonen verbessert oder verschlechtert hat.

Low-end Device Check erscheint in Kürze. Seine Sonde existiert bereits und erfasst das Geräteprofil mit einer beobachteten Gerätekategorie (niedrig, mittel oder hoch) und ob sie die von Ihnen verlangte Mindestkategorie erfüllt; Navigationszeiten, Speicher und ruckelnde Bilder für eine URL; Kaltstart, Speicher und fatale Ausnahmen oder ANR für ein App-Paket; sowie einen Screenshot mit seinem Hash als Nachweis.

Heute läuft die Sonde auf einem Redmi der Mittelklasse, weil noch kein echtes Einsteigergerät im Pool ist. Jeder Durchlauf gibt dies ehrlich an, als beobachtete Kategorie „mittel" und Mindestkategorie nicht erfüllt, und simuliert niemals ein Einsteiger-Ergebnis. Es werden noch keine formalen Backtests gezählt, und es gibt keine echten Stichproben, sodass kein Ergebnis veröffentlicht wird.