Veröffentlicht am 25. Oktober 2024
Anthropic hat vor ein paar Tagen eine sehr frühe Version dessen vorgestellt, was sie "computer use" nennen und damit eine neue Stufe in der KI-Anwendung gezündet:
Claude can now use computers. The latest version of Claude 3.5 Sonnet can, when run through the appropriate software setup, follow a user’s commands to move a cursor around their computer’s screen, click on relevant locations, and input information via a virtual keyboard, emulating the way people interact with their own computer.
Technisch steckt das alles noch in den Kinderschuhen und die Interpretation von Bitmap-Screenshots ist wahrscheinlich so ineffizient, dass man bald in der Rückschau darüber schmunzeln wird. Aber es ist ein Start und einer, der viele Fragen bzw. neue Herausforderungen aufwirft.
Ein paar lose Gedanken:
Wenn die KI nicht mehr hinter einer API "lebt", sondern über das Betriebssystem in der Lage ist, beliebige Anwendungssoftware in Kombination zu nutzen, so wie es auch ein Mensch tun kann, dann können alle, die gerade halbwegs verzweifelt KI an ihre vorhandene Software ranflanschen, damit aufhören.
Die Bedienkonzepte werden sich vermutlich anpassen. Sprachsteuerung wird noch mächtiger, auf Menschen ausgerichtetes UX- und vor allem UI-Design vielleicht sogar unwichtiger. Theoretisch könnte man einfach für jede Funktion einen Button auf den Main-Screen klatschen und sich clevere Menüs sparen ;-). Auch für die wissenschaftliche Disziplin der Human-Computer Interaction eine spannende Zeit.
Ich schätze, je offener ein Betriebssystem für die Integration so einer "Desktop-KI" sein wird, desto vorteilhafter wird das sein. Hier kommen vor allem auf Apple und Google (und die Kartellbehörden) spannende Fragen auf.
Spannende Zeiten.