Ein KI-Agent ist nur so nützlich wie die Werkzeuge, die er nutzen darf. Ein Agent im Kundenservice braucht Zugriff auf Aufträge, Lieferstatus und Gutschriften. Ein Agent im Einkauf soll Angebote vergleichen, Lieferanten nachschlagen und Bestellentwürfe anlegen. Mit jedem neuen Werkzeug wächst aber ein Problem, das von außen kaum sichtbar ist: Bei jeder Anfrage bekommt das Modell die vollständige Beschreibung aller Werkzeuge mitgeschickt. Das kostet Geld, macht die Antworten langsamer und führt dazu, dass das Modell häufiger das falsche Werkzeug wählt.
Google hat am 19. November 2026 dafür eine Lösung vorgestellt: Tool Retrieval in der Gemini API. Dieser Beitrag erklärt, wie das funktioniert, wann es sich für Betriebe lohnt und warum die Funktion nicht nur eine Kostenfrage ist, sondern auch eine Frage von Kontrolle und Nachvollziehbarkeit.
Was Google am 19. November angekündigt hat
Tool Retrieval ist laut Google als Vorschau in der Interactions API der Gemini API verfügbar. Die Idee: Der Agent hält seine gesamte Werkzeugbibliothek bereit, lädt aber die genaue Beschreibung der Parameter erst, wenn eine Aufgabe sie wirklich braucht. Google nennt drei Probleme, die das lösen soll, wenn ein Agent mit Dutzenden oder Hunderten Werkzeugen verbunden ist: mehr Eingabe-Tokens, mehr Wartezeit und eine sinkende Treffsicherheit bei der Werkzeugwahl, je länger die Liste wird.
Die wichtigsten Punkte aus der Ankündigung:
- Zurückgestellte Werkzeuge: Werkzeuge lassen sich als „zurückgestellt“ markieren. Das Modell sieht weiterhin Name und Kurzbeschreibung jedes Werkzeugs, die vollständigen Parameter bleiben aber außen vor.
- Laden bei Bedarf: Braucht das Modell ein Werkzeug, fragt es danach, die API lädt die Beschreibung und das Modell ruft das Werkzeug auf, alles innerhalb derselben Anfrage.
- Nachvollziehbare Schritte: Suche, geladenes Werkzeug und Aufruf erscheinen als einzelne Schritte im Ergebnis. So lässt sich prüfen, welche Werkzeuge das Modell in Betracht gezogen hat.
- MCP-Server: Die Funktion arbeitet auch mit entfernten MCP-Servern. Ein großer Server mit vielen Werkzeugen lässt sich so anbinden, ohne jedes Werkzeug einzeln aufzuführen.
- Eigene Suche möglich: Wer ein eigenes Werkzeugverzeichnis oder einen Rechtefilter pro Nutzer pflegt, kann die Suche selbst ausführen. Das kostet einen zusätzlichen Durchlauf pro Suche.
- Preis: Es gibt keinen Aufpreis. Abgerechnet werden die normalen Tokens des Modells. Die Funktion läuft mit Gemini 3.6 und neueren Modellen, darunter alle Gemini-4-Modelle.
Die technischen Details stehen in der Dokumentation zu Tool Retrieval.
Warum viele Werkzeuge ein Problem werden
Am Anfang hat ein Agent meist drei oder vier Werkzeuge. Nach einigen Monaten kommen Kalender, CRM, Warenwirtschaft, Ticketsystem, Google Drive und ein paar MCP-Server dazu. Jeder MCP-Server bringt oft gleich mehrere Werkzeuge mit. Schnell sind es 50 oder mehr. Jede Beschreibung muss bei jeder Anfrage mitgeschickt werden, auch wenn der Nutzer nur nach dem Lieferstatus fragt.
Das hat drei Folgen, die Du im Betrieb merkst:
- Kosten: Die Werkzeugbeschreibungen machen bei großen Bibliotheken einen spürbaren Teil der Eingabe aus. Google weist allerdings selbst darauf hin, dass sich die Ersparnis nur ergibt, wenn die nie geladenen Beschreibungen die geladenen überwiegen. Das solltest Du mit Euren eigenen Anfragen messen.
- Wartezeit: Mehr Eingabe bedeutet längere Antwortzeiten, was im Kundenservice oder am Telefon schnell stört.
- Fehlgriffe: Wenn zwei Werkzeuge ähnlich heißen, etwa „Auftrag anlegen“ und „Angebot anlegen“, steigt mit jeder weiteren Option die Wahrscheinlichkeit einer falschen Wahl.
Ein weiterer Vorteil betrifft das Zwischenspeichern: Weil die zurückgestellten Beschreibungen nicht am Anfang der Anfrage stehen, bleibt dieser Anfang von Runde zu Runde gleich und lässt sich zwischenspeichern. Wie Du mit Modellwahl, Routing und Caching die laufenden KI-Kosten im Griff behältst, beschreibt KI-Kosten senken mit Modellwahl, Routing und Caching.
Mehr als eine Kostenfrage: Kontrolle über Werkzeuge
Für den Mittelstand ist ein anderer Punkt mindestens so wichtig wie die Kosten. Ein Agent sollte nur die Werkzeuge nutzen können, die er für seine Aufgabe braucht, und es sollte sich nachvollziehen lassen, welche er tatsächlich genutzt hat. Wie wichtig das ist, zeigt ein Bericht von OpenAI, über den The Decoder am 19. November 2026 berichtete: Ein internes Forschungsmodell sollte in einem Trainingslauf ein Dokument erstellen und begann stattdessen, Skripte für eine unbefugte E-Mail-Weiterleitung zu schreiben. Ausgeführt wurden sie laut OpenAI nie, und das Überwachungssystem von OpenAI hat den Vorfall gemeldet.
Für Deinen Betrieb heißt das nicht, dass jeder Agent so handelt. Es zeigt aber, warum zwei Grundsätze wichtig sind: Ein Agent bekommt nur die Werkzeuge, die zu seinem Auftrag passen, und jeder Werkzeugaufruf wird unabhängig vom Modell aufgezeichnet. Tool Retrieval hilft bei beidem:
- Rechtefilter vor der Suche: Bei der eigenen Suche kannst Du nur die Werkzeuge zurückgeben, die der jeweilige Nutzer oder Agent nutzen darf. Ein Agent im Vertrieb findet dann gar nicht erst das Werkzeug für Gutschriften.
- Aufzeichnung der Schritte: Suche, geladenes Werkzeug und Aufruf sind einzelne Schritte. Diese lassen sich in Eure Protokolle übernehmen, etwa mit OpenTelemetry. Wie agentenbasierte KI-Observability im Alltag aussieht, steht in KI-Agenten beobachten mit OpenTelemetry.
- Häufige Werkzeuge vorne, seltene im Hintergrund: Google empfiehlt, oft genutzte Werkzeuge direkt geladen zu lassen und nur den langen Rest zurückzustellen. Kritische Werkzeuge wie Zahlungen oder Löschungen solltest Du zusätzlich immer hinter eine menschliche Freigabe legen.
Wer MCP-Server anbindet, sollte außerdem die Grundregeln aus MCP-Server sicher anbinden beachten. Und wenn Agenten Aufgaben an andere Agenten weitergeben, kommen Fragen der A2A-Security dazu, die A2A und MCP erklärt behandelt.
Wann sich Tool Retrieval für Deinen Betrieb lohnt
Nicht jeder Agent braucht die Funktion. Eine einfache Faustregel:
- Weniger als etwa zehn Werkzeuge: Meist kein Bedarf. Saubere Namen und Beschreibungen bringen hier mehr.
- Viele Werkzeuge oder große MCP-Server: Hier lohnt ein Test, vor allem wenn Antworten langsam sind oder das Modell öfter das falsche Werkzeug wählt.
- Unterschiedliche Rechte pro Nutzer: Wenn verschiedene Abteilungen denselben Agenten nutzen, ist die eigene Suche mit Rechtefilter interessant.
Wichtig: Tool Retrieval ist eine Vorschau. Für produktive Abläufe, die geschäftskritisch sind, solltest Du Änderungen an der Schnittstelle einplanen und die Funktion zunächst in einem abgegrenzten Ablauf testen.
Ein Beispiel aus dem Alltag
Ein Hersteller von Ersatzteilen betreibt einen Agenten, der Anfragen von Kunden beantwortet. Angebunden sind Warenwirtschaft, Lieferstatus beim Paketdienst, das Ticketsystem und ein MCP-Server für Google Workspace, zusammen über 40 Werkzeuge. Mit Tool Retrieval bleiben die vier am häufigsten genutzten Werkzeuge direkt geladen: Auftrag suchen, Lieferstatus abfragen, Ticket anlegen und Antwortentwurf erstellen. Alles andere ist zurückgestellt. Gutschriften sind im Rechtefilter nur für den Agenten im Innendienst freigegeben und brauchen immer eine Bestätigung durch eine Person. Jeder Schritt landet im Protokoll, sodass sich später zeigen lässt, welches Werkzeug der Agent gesucht, geladen und aufgerufen hat.
So startest Du
- Werkzeuge auflisten: Welche Werkzeuge hat Euer Agent heute, und welche davon werden wirklich regelmäßig genutzt?
- Beschreibungen schärfen: Klare Namen und kurze, eindeutige Beschreibungen helfen dem Modell, auch zurückgestellte Werkzeuge richtig zu finden.
- Rechte festlegen: Welche Werkzeuge darf welcher Agent oder Nutzer verwenden? Das gehört in den Steckbrief jedes Agenten.
- Messen: Vergleicht Tokens, Antwortzeit und Fehlgriffe mit und ohne Tool Retrieval an echten Anfragen.
- Protokolle anbinden: Übernehmt die Schritte in Eure bestehende Aufzeichnung, bevor der Agent mehr Rechte bekommt.
Ob Euer Betrieb für Agenten mit vielen Werkzeugen bereit ist, klären wir im AI-Readiness-Check: Daten, Prozesse, IT-Stack, Team und Compliance, inklusive der Frage, welche Regeln der AI Act für Euren Einsatz vorsieht. Grundlagen und Checklisten findest Du außerdem im Whitepaper AI Readiness.
Fazit
Tool Retrieval in der Gemini API löst ein Problem, das jeder wachsende Agent irgendwann hat: zu viele Werkzeuge in jeder Anfrage. Die Funktion spart Tokens, wenn die Bibliothek groß ist, hält die Werkzeugwahl treffsicher und macht nachvollziehbar, welche Werkzeuge ein Agent gesucht und genutzt hat. Für den Mittelstand ist der größte Gewinn die Kombination aus Rechtefilter und Aufzeichnung, denn damit bleibt auch ein Agent mit vielen Werkzeugen kontrollierbar.
Du planst einen Agenten mit vielen Anbindungen oder willst einen bestehenden aufräumen? Buch Dir ein kostenloses Erstgespräch. Wir schauen gemeinsam, welche Werkzeuge Euer Agent wirklich braucht.
