Wer mit KI-Hilfe Android-Apps baut, orientiert sich oft an Googles Android Bench. Diese Rangliste hat Google jetzt neu aufgesetzt: Ein Prüfsystem namens Harbor löst das ältere, allgemeinere Testwerkzeug ab und misst genauer, wie gut ein Modell echte Android-Aufgaben bewältigt.
Ein neues Modell an der Spitze
Google hat nach der Umstellung jedes Modell erneut getestet und acht neue aufgenommen, darunter Modelle von Anthropic und OpenAI sowie die chinesischen Konkurrenz von Zhipu AI (GLM) oder Moonshot (Kimi). Geprüft werden Aufgaben aus dem echten Entwickleralltag, etwa das Umschreiben von altem Code auf Jetpack Compose oder Netzwerk-Handling für Wearables.
An der Spitze steht jetzt Claude Fable 5 mit 84,5 Prozent, vor GPT-5.5 mit 80,2 und Claude Sonnet 5 mit 76,2 Prozent. Googles eigenes Gemini 3.1 Pro landet mit 73,7 Prozent nur auf Rang fünf. Bei den offenen Modellen mit frei verfügbaren Gewichten führt GLM 5.2 mit 72,2 Prozent vor Kimi K2.7 Code mit 70,4 Prozent.
SmartDroid.de bei Google folgen
Google lässt Entwickler mitbauen
Schon zum Start im März hatte Google Methodik und Test-Harness auf GitHub veröffentlicht. Jetzt dürfen Entwickler eigene Android-Aufgaben beisteuern und die Tests selbst mit ihren bevorzugten Modellen laufen lassen.
„Ihr habt euch eine Möglichkeit gewünscht, Feedback zu unserem Datensatz zu geben, deshalb gehen wir jetzt einen Schritt weiter und geben euch, der Android-Entwickler-Community, die Chance, Android Bench mitzugestalten“, schreibt Zoe Lopez-Latorre aus dem Android-Team.
Google baut den Test selbst und verliert ihn trotzdem: Gemini 3.1 Pro kommt nicht über Rang fünf hinaus, die Spitze machen fremde Modelle unter sich aus.
Warum verlässliche Tests so schwer sind
Wie fragil solche Benchmarks sein können, hat gerade OpenAI vorgeführt. Das Unternehmen prüfte den weit verbreiteten Coding-Test SWE-Bench Pro und stufte rund 30 Prozent der Aufgaben als fehlerhaft ein, oft zu streng, zu vage oder irreführend. In einem Fall verlangte die Aufgabe ein einzelnes Leerzeichen, der versteckte Test erwartete aber zwei. Ein Modell, das der Anweisung korrekt folgt, fällt dadurch durch. OpenAI zog daraufhin seine Empfehlung zurück, den Benchmark als Maßstab zur Bewertung von KI-Modellen zu verwenden.
