Manche Apps verlieren beim Drehen ins Querformat alle Eingaben, andere spielen Videos weiter, obwohl sie längst aus dem Bild gescrollt sind – solche Fehler bleiben derzeit übrig, wenn KI-Modelle Android-Apps programmieren. Google hat seinen Programmiertest Android Bench zur Version 2.0 ausgebaut und listet diese Schwächen in der Auswertung auf. Die Modelle bekommen darin Aufgaben, für die Entwickler mehrere Tage bis eine Woche brauchen.
Das neuste und leistungsfähigste Modell von OpenAI, GPT-6 Astra, schließt 28 Prozent der Durchläufe fehlerfrei ab und führt damit. Google lässt jede Aufgabe fünfmal laufen. Bei den kleineren Aufgaben der ersten Version kamen die besten Modelle auf rund 91 Prozent.
Schon bei der letzten Neuauflage im Juli lag die Konkurrenz vor Googles Gemini, was irgendwie ein bisschen ironisch ist. Generell scheint Google im Wettlauf der Sprachmodelle ein wenig abgeschlagen, was sicherlich auch mit dem Zerfall des Forschungslabors DeepMind zusammenhängt. Zugutehalten muss man den Gemini-Modellen aber ihren Preis, denn die Kosten (und analog dazu die benötigte Rechenleistung) liegen im Schnitt weit unter denen der Rivalen.
SmartDroid.de bei Google folgenGoogle misst jetzt auch, wie viel einer Aufgabe erledigt ist. Die Spitzenmodelle schaffen im Schnitt über 80 Prozent und treten dann auf der Stelle. GPT-5.6 Sol erreichte bei einer Umwandlung in Flutter nach 94 Schritten 84 Prozent. Weitere 121 Schritte brachten nur zwei Prozentpunkte mehr, Statistikseite und dunkles Design fehlten am Ende weiter. Fable 5.1 und Opus 5 bauten ein Nachrichten-Widget, das sich bei neuen Inhalten nicht aktualisiert.
Gut schneiden die Modelle bei gleichförmiger Fleißarbeit ab. Den Umstieg von Java auf die modernere und Android-spezifische Programmiersprache Kotlin in Signal wenden sie über Dutzende Dateien einheitlich an.
Die fast fertigen Apps starten, reagieren auf Eingaben und stürzen nicht ab. Ihre Schwächen fallen erst auf, wenn jemand das Gerät dreht, das dunkle Design einschaltet oder ein Widget auf dem Startbildschirm ablegt. Ich halte die neue Messung deshalb für aussagekräftiger als die alten Werte um 90 Prozent.
Generell ist KI aus der Softwareentwicklung nicht mehr wegzudenken, sowohl für Profis als auch für absolute Coding-Laien. Mein Kollege Denny hat erst neulich mit Google AI Studio in wenigen Minuten und ohne Vorwissen eine eigene App gebaut. Wer größere Projekte mit KI umsetzt, kommt um eine gründliche Prüfung des Codes aber weiter nicht herum.
hi. ich habe ohne Programmierkenntnisse, allerdings mit technischem Verständnis einer UI einen kompletten außergewöhnlichen Android Launcher nur mit Gemini programmiert, aber wie du sagtest waren dafür trotzdem mehrere Monate (!) Arbeit notwendig, da eine KI keine echtes Verständnis für Ästhetik hat und mit jeder neuen Funktion des Launchers neue Bugs auftauchten, bis er perfekt war. Du findest ihn inzwischen als „Notify Launcher“ im Play Store ;)
Das ist durchaus etwas, was mir auch schon Anfang des Jahres aufgefallen ist. Die KI setzt halt einfach stumpf das um, was ihr gesagt wird. Sie kann sich halt noch nicht in deinen Kopf hinein versetzen und das umsetzen was du dir vorstellst. Selbst wenn sie das könnte, du selbst denkst ja auch nicht an alles. Auch ein Software Entwickler wird nicht zwangsläufig daran denken. Ist jedoch wahrscheinlicher, dass ihm das im Rahmen von Tests auffällt. Während die, die es nicht wissen, einfach oberflächlich ihre Apps oder Webseiten bauen.
Dennoch finde ich, dass mit richtiger Anwendung eine KI die Arbeit immens erleichtert. Während KI die aktuelle Anweisung umsetzt, kann man schon mal am nächsten Schritt arbeiten.
Ich persönlich find Gemini schon genial. Klar, mag schlechter sein. Jedoch ist der Preis unverschämt gut. YouTube Premium Lite, IDE und auch Chat. Ich weiß nicht, wie es bei den anderen ist. Bei Gemini nutze ich den Chat für die Konzept Entwicklung und quasi die ganzen Eckpunkte, die IDE bekommt einen Auszug davon, wirft noch einen Blick auf das Regelwerk des Projektes und erstellt einen Implementierungsplan. Läuft einfach genial. Mit der Zeit hat man ein Regelwerk, welches all diese Feinheiten kennt und muss sich darum keine Gedanken mehr machen.