Gemini Computer Use ist allgemein verfügbar: Browser-Agenten sicher im Mittelstand einsetzen

Viele Abläufe im Mittelstand scheitern bei der Automatisierung an einer einfachen Stelle: Das Zielsystem hat keine Schnittstelle. Das Lieferantenportal, das alte Warenwirtschaftsprogramm oder das Behördenformular lassen sich nur über die Oberfläche bedienen. Genau dafür gibt es in der Gemini API das Werkzeug Computer Use. Laut dem offiziellen Changelog der Gemini API ist Computer Use seit dem 30. Oktober 2026 allgemein verfügbar, und zwar sowohl über die Interactions API als auch über die GenerateContent API.

In diesem Beitrag erklären wir, wie Computer Use funktioniert, wo es für Betriebe sinnvoll ist, welche Sicherheitsfunktionen Google mitliefert und wann Ihr besser eine klassische Automatisierung baut.

Was ist Computer Use?

Computer Use ist ein Werkzeug, mit dem ein Gemini-Modell eine Benutzeroberfläche bedienen kann, ähnlich wie ein Mensch mit Maus und Tastatur. Laut der Dokumentation zu Computer Use unterstützt das Werkzeug Umgebungen im Browser, auf Mobilgeräten und auf dem Desktop.

Wichtig für das Verständnis: Das Modell klickt nicht selbst. Es schaut auf einen Screenshot und schlägt die nächste Aktion vor. Ausgeführt wird diese Aktion von Eurem eigenen Programm, etwa mit einem Browser-Automatisierungswerkzeug wie Playwright. Der Ablauf sieht so aus:

1. Euer Programm schickt die Aufgabe und einen Screenshot der aktuellen Oberfläche an das Modell.
2. Das Modell antwortet mit einem Funktionsaufruf, zum Beispiel einem Klick an eine bestimmte Stelle oder einer Texteingabe.
3. Euer Programm führt die Aktion aus und erstellt einen neuen Screenshot.
4. Der neue Zustand geht zurück an das Modell, und die Schleife beginnt von vorn, bis die Aufgabe erledigt ist.

Die Koordinaten für Klicks gibt das Modell in einem normierten Raster zurück, das Euer Programm auf die tatsächliche Bildschirmgröße umrechnet. Dadurch bleibt die volle Kontrolle darüber, was wirklich passiert, bei Eurer Software.

Wo Computer Use im Mittelstand passt

Google nennt in der Dokumentation unter anderem Dateneingabe und das Ausfüllen von Formularen, das Testen von Webanwendungen und Recherchen über mehrere Websites hinweg als Anwendungsfälle. Übertragen auf typische Betriebe heißt das:

• Portale ohne Schnittstelle: Bestellungen, Lieferscheine oder Statusabfragen in Portalen von Lieferanten oder Kunden, die nur eine Weboberfläche anbieten.
• Wiederkehrende Formulare: Daten, die heute aus einer Tabelle abgetippt und in ein Webformular übertragen werden.
• Recherchen: Preise, Verfügbarkeiten oder öffentliche Informationen von mehreren Websites einsammeln und in einer Tabelle zusammenführen.
• Tests der eigenen Anwendungen: Prüfen, ob ein Bestellformular oder ein Kundenportal nach einem Update noch funktioniert.

Gemeinsam ist diesen Fällen, dass ein Mensch heute stumpf klickt und tippt, die Regeln aber klar sind. Genau solche Aufgaben eignen sich für einen ersten Test.

Die Sicherheitsfunktionen im Überblick

Ein Agent, der Oberflächen bedient, kann auch Schaden anrichten, etwa eine falsche Bestellung auslösen oder eine Nachricht verschicken. Google baut deshalb mehrere Schutzschichten ein, die Ihr kennen solltet.

• Sicherheitsentscheidung pro Aktion: Zu einer vorgeschlagenen Aktion kann das Modell eine Sicherheitsentscheidung mitliefern. Sie lautet erlaubt, Bestätigung erforderlich oder blockiert. Verlangt das Modell eine Bestätigung, muss Euer Programm einen Menschen fragen und dessen Zustimmung ausdrücklich zurückmelden.
• Richtlinien nach Kategorien: Die Dokumentation nennt Kategorien wie Finanztransaktionen, Änderungen sensibler Daten, Kommunikation, das Anlegen von Konten, Datenänderungen, Einwilligungen und das Akzeptieren rechtlicher Bedingungen. Bei Aktionen aus diesen Bereichen kann das Modell eine Bestätigung verlangen oder die Aktion blockieren. Einzelne Richtlinien lassen sich abschalten, das solltet Ihr aber nur mit gutem Grund tun.
• Erkennung von Prompt Injection: Optional lässt sich eine Erkennung einschalten, die versteckte Anweisungen auf Webseiten aufspüren soll. Sie ist laut Dokumentation standardmäßig ausgeschaltet und erst ab bestimmten Modellversionen verfügbar.
• Eingeschränkte Aktionen: Ihr könnt vordefinierte Aktionen ausschließen und eigene Funktionen ergänzen, etwa eine Funktion, mit der der Agent die Kontrolle bewusst an einen Menschen zurückgibt.

Google weist selbst darauf hin, dass Computer Use Fehler machen und Sicherheitslücken haben kann. Die Empfehlung lautet, den Agenten eng zu beaufsichtigen und ihn nicht für kritische Entscheidungen oder mit sensiblen Daten einzusetzen. Warum versteckte Anweisungen in Webseiten und Dokumenten ein echtes Risiko sind, beschreibt auch das OWASP-Projekt zu Prompt Injection. Wie Ihr Agenten grundsätzlich absichert, haben wir in unserem Beitrag über Guardrails und Prompt Injection zusammengefasst.

Empfehlungen für einen sicheren Start

Die Dokumentation nennt mehrere bewährte Vorgehensweisen. Für Betriebe übersetzt ergeben sich daraus diese Regeln:

1. Abgeschottete Umgebung: Lasst den Agenten in einer eigenen virtuellen Maschine oder einem Container laufen, nicht auf einem Arbeitsrechner mit angemeldeten Konten.
2. Eigene Zugänge mit wenig Rechten: Legt für den Agenten ein eigenes Konto im Zielportal an, das nur darf, was die Aufgabe verlangt.
3. Erlaubte Seiten festlegen: Begrenzt mit einer Liste, welche Websites der Agent überhaupt aufrufen darf.
4. Mensch bestätigt kritische Schritte: Bestellen, Absenden, Bezahlen und Löschen sollten immer von einem Menschen freigegeben werden. Wie solche Freigaben in Agenten-Abläufen aussehen, zeigt unser Beitrag zu Multi-Agenten mit menschlicher Freigabe.
5. Alles protokollieren: Speichert Screenshots und Aktionen, damit Ihr nachvollziehen könnt, was der Agent getan hat. Wie das systematisch geht, steht in unserem Beitrag über Observability für KI-Agenten.
6. Saubere Ausgangslage: Startet jeden Lauf mit derselben, aufgeräumten Umgebung, damit Ergebnisse vergleichbar bleiben.

Wann eine Schnittstelle die bessere Wahl ist

Computer Use ist kein Ersatz für eine ordentliche Integration. Wenn ein System eine Schnittstelle hat, ist eine Automatisierung über diese Schnittstelle fast immer schneller, günstiger und stabiler. Jeder Schritt mit Computer Use braucht einen Screenshot und einen Modellaufruf, und eine geänderte Oberfläche kann den Ablauf stören.

Eine sinnvolle Faustregel: Prüft zuerst, ob es eine Schnittstelle, einen Export oder einen fertigen Baustein in einem Werkzeug wie n8n gibt. Wie Ihr Agenten über Schnittstellen sauber an Eure Systeme anbindet, beschreibt unser Beitrag zum sicheren Anbinden von MCP-Servern. Computer Use ist der Weg für die Lücken, in denen es wirklich nur die Oberfläche gibt. Wer Gemini lieber aus Skripten und festen Abläufen heraus nutzen will, findet in unserem Beitrag zur Gemini API CLI einen einfacheren Einstieg.

Datenschutz und Verantwortung

Die Screenshots, die an das Modell gehen, enthalten alles, was auf dem Bildschirm zu sehen ist. Achtet deshalb darauf, dass in der Umgebung des Agenten keine fremden Kundendaten, Passwörter oder andere sensible Informationen sichtbar sind. Klärt mit Eurem Datenschutz, welche Daten über die Gemini API verarbeitet werden dürfen, und haltet fest, wer für den Agenten verantwortlich ist.

Ob Euer Betrieb bei Daten, Prozessen und Zuständigkeiten bereit für solche Agenten ist, könnt Ihr mit unserem AI Readiness Check für den Mittelstand in wenigen Minuten einschätzen. Mehr Hintergrund liefert das Whitepaper AI Readiness 2026.

Wie Deschalet unterstützt

Wir helfen Betrieben, die richtigen Abläufe für einen ersten Test zu finden, die Umgebung sicher aufzusetzen und den Agenten mit Freigaben und Protokollen in bestehende Workflows einzubinden. Wo eine Schnittstelle existiert, bauen wir lieber die stabile Automatisierung. Mehr dazu auf unserer Seite Prozessautomatisierung.

Fazit

Mit der allgemeinen Verfügbarkeit von Computer Use in der Gemini API am 30. Oktober 2026 wird ein Werkzeug produktiv nutzbar, das Oberflächen ohne Schnittstelle bedienen kann. Für Portale, Formulare und Tests kann das viel Handarbeit sparen. Entscheidend sind eine abgeschottete Umgebung, eigene Zugänge mit wenig Rechten, menschliche Freigaben für kritische Schritte und ein lückenloses Protokoll.

Du willst wissen, welche Klickarbeit in Eurem Betrieb sich sicher automatisieren lässt? Buch Dir ein kostenloses Erstgespräch. Wir schauen gemeinsam auf Eure Abläufe und sagen Dir ehrlich, ob Computer Use oder eine Schnittstelle der bessere Weg ist.