Gedächtnis für KI-Agenten: Sessions, Memory und Kontext im Mittelstand richtig verwalten

Ein KI-Agent, der sich nichts merkt, nervt schnell: Jede Anfrage beginnt bei null, Deine Mitarbeitenden erklären dieselben Rahmenbedingungen immer wieder, und Rückfragen aus dem letzten Gespräch sind vergessen. Ein Agent, der sich alles merkt, ist aber auch keine gute Idee. Dann landen veraltete Informationen, persönliche Daten und Nebensächlichkeiten im Kontext, die Antworten werden schlechter und die Kosten steigen.

Dieser Beitrag erklärt, wie Gedächtnis bei KI-Agenten technisch funktioniert, welche Arten von Gedächtnis es gibt und welche Regeln Du festlegen solltest, bevor ein Agent im Betrieb Erinnerungen speichert. Die Beispiele stammen aus dem Agent Development Kit (ADK) von Google und aus LangGraph, die Prinzipien gelten aber unabhängig vom Framework.

Kurzzeit und Langzeit: zwei Arten von Gedächtnis

Die Dokumentationen der großen Frameworks unterscheiden ziemlich einheitlich zwischen zwei Ebenen. Im ADK heißen sie Session, State und Memory:

• Session: der aktuelle Gesprächsverlauf mit einem Nutzer, also die Abfolge von Nachrichten und Aktionen des Agenten in genau dieser Unterhaltung.
• State: Daten, die nur für diese laufende Unterhaltung gelten, zum Beispiel eine gerade gewählte Kundennummer oder ein Zwischenergebnis.
• Memory: ein durchsuchbarer Speicher, der über mehrere frühere Sitzungen hinweg reicht und auch externe Quellen enthalten kann.

LangGraph beschreibt dasselbe Prinzip in seinem Memory-Überblick als Kurzzeitgedächtnis, das an einen Gesprächsfaden gebunden ist, und Langzeitgedächtnis, das über Gesprächsfäden hinweg in eigenen Namensräumen abgelegt wird. Das Kurzzeitgedächtnis wird dort über sogenannte Checkpointer gespeichert, sodass ein Gesprächsfaden später fortgesetzt werden kann.

Für die Praxis heißt das: Kurzzeitgedächtnis ist fast immer sinnvoll, sonst funktioniert kein mehrstufiges Gespräch. Langzeitgedächtnis ist eine bewusste Entscheidung, die Du begründen und regeln solltest.

Warum mehr Kontext nicht automatisch besser ist

Naheliegend wäre es, einfach den gesamten Verlauf mitzuschicken. Die LangGraph-Dokumentation weist aber auf zwei Probleme hin: Ein vollständiger Verlauf passt irgendwann nicht mehr in das Kontextfenster des Modells, und selbst wenn er passt, arbeiten die meisten Modelle bei sehr langen Kontexten schlechter. Sie lassen sich von veralteten oder themenfremden Inhalten ablenken, antworten langsamer und verursachen höhere Kosten.

Deshalb gehört Kontextverwaltung zum Handwerk beim Bau von Agenten. Übliche Techniken sind:

• Kürzen: Nur die letzten relevanten Nachrichten mitschicken.
• Zusammenfassen: Ältere Teile des Gesprächs zu einer kurzen Zusammenfassung verdichten. Das ADK bietet dafür eine eigene Kontextkomprimierung.
• Gezielt abrufen: Statt alles mitzuschicken, sucht der Agent im Langzeitspeicher nur die Erinnerungen, die zur aktuellen Frage passen.
• Trennen: Fachwissen aus Handbüchern und Richtlinien gehört in eine Wissensbasis mit Berechtigungen, nicht in das persönliche Gedächtnis eines Agenten.

Wie sich Kontextlänge auf Kosten auswirkt und wann Caching hilft, haben wir in KI-Kosten im Griff: Modellwahl, Routing und Caching beschrieben.

Wie ein Langzeitgedächtnis entsteht

Im ADK übernimmt ein MemoryService das Langzeitgedächtnis. Er kann eine abgeschlossene Sitzung aufnehmen, einzelne neue Ereignisse ergänzen oder gezielt einzelne Erinnerungen speichern, und der Agent kann diesen Speicher später durchsuchen.

Auf Google Cloud gibt es dafür eine verwaltete Variante, die Agent Platform Memory Bank. Laut Dokumentation erzeugt sie mit einem Sprachmodell aus Gesprächen eigenständige Erinnerungen, extrahiert nur die als wichtig eingestuften Informationen und führt neue Informationen mit bestehenden Erinnerungen zusammen. Erinnerungen werden pro Identität getrennt gespeichert und nur innerhalb dieser Identität gesucht. Außerdem lassen sich Ablaufzeiten (TTL) festlegen, damit veraltete Informationen automatisch gelöscht werden, und Du kannst konfigurieren, welche Themen überhaupt als speicherwürdig gelten.

Genau diese Konfiguration ist der wichtigste Hebel. Ein Agent für Angebotsfragen sollte sich zum Beispiel bevorzugte Lieferbedingungen eines Kunden merken dürfen, aber keine privaten Bemerkungen aus dem Gespräch.

Gedächtnis und Datenschutz

Sobald ein Agent Erinnerungen zu Personen speichert, verarbeitest Du personenbezogene Daten. Damit gelten die bekannten Grundsätze der DSGVO, insbesondere Art. 5 DSGVO mit Zweckbindung, Datenminimierung und Speicherbegrenzung, und das Recht auf Löschung nach Art. 17 DSGVO. Für Dich bedeutet das ganz praktisch:

• Zweck festlegen: Schreibe auf, wofür sich der Agent etwas merkt. Ohne klaren Zweck kein Langzeitgedächtnis.
• Themen begrenzen: Definiere, welche Informationen gespeichert werden dürfen, und schließe sensible Kategorien wie Gesundheitsdaten ausdrücklich aus.
• Löschfristen setzen: Nutze Ablaufzeiten für Erinnerungen und Sitzungen, statt alles unbegrenzt aufzubewahren.
• Löschung ermöglichen: Du musst Erinnerungen zu einer Person finden und löschen können. Das klappt nur, wenn Erinnerungen sauber einer Identität zugeordnet sind.
• Transparenz: Sag Nutzern, dass sich der Agent etwas merkt und wie sie das einsehen oder löschen lassen können.

Das ist keine Rechtsberatung. Binde Deinen Datenschutzbeauftragten früh ein und nimm das Gedächtnis des Agenten in Dein Verzeichnis der Verarbeitungstätigkeiten auf.

Gedächtnis und Berechtigungen

Ein unterschätztes Risiko: Ein gemeinsamer Speicher, in dem Erinnerungen aus allen Gesprächen landen, kann Informationen über Abteilungsgrenzen hinweg weitergeben. Was der Vertrieb dem Agenten erzählt hat, sollte die Buchhaltung nicht abrufen können, wenn sie es in der Ablage auch nicht sehen dürfte. Trenne Erinnerungen deshalb mindestens nach Nutzer und Anwendungsfall, und prüfe, ob der Agent beim Abrufen dieselben Berechtigungen beachtet wie Eure Ablage. Wie das bei Dokumenten in Google Drive gelingt, zeigt unser Beitrag RAG mit Google Drive und Berechtigungen.

Gespeicherte Erinnerungen sind außerdem ein Einfallstor für manipulierte Inhalte. Wenn ein Agent aus einer präparierten E-Mail eine falsche Anweisung als Erinnerung übernimmt, wirkt sie in späteren Gesprächen weiter. Hinweise zu Schutzmaßnahmen findest Du in Guardrails gegen Prompt Injection.

Ein Beispiel aus dem Betriebsalltag

Stell Dir einen internen Agenten vor, der Deinem Innendienst bei Kundenanfragen hilft. Sinnvoll ist ein Kurzzeitgedächtnis für das laufende Gespräch: Kunde, Auftrag und offene Fragen bleiben präsent, bis der Vorgang erledigt ist. Ein Langzeitgedächtnis kann sich pro Mitarbeiter Arbeitspräferenzen merken, etwa ob Antworten als Entwurf in Gmail oder als Notiz im Ticket landen sollen. Kundenspezifisches Wissen wie Rahmenverträge liegt dagegen nicht im Agentengedächtnis, sondern in Eurer Ablage oder im CRM, wo es gepflegt und berechtigt wird.

So bleibt klar, welche Information woher kommt, und Du kannst jederzeit nachvollziehen, warum der Agent eine Antwort gegeben hat. Für diese Nachvollziehbarkeit lohnt sich ein Blick auf Observability für KI-Agenten.

Checkliste vor dem Go-live

1. Braucht der Agent wirklich ein Langzeitgedächtnis, oder reicht der Gesprächsverlauf plus eine gepflegte Wissensbasis?
2. Welche Themen darf er sich merken, welche ausdrücklich nicht?
3. Wie lange bleiben Sitzungen und Erinnerungen gespeichert, und wo liegen die Daten?
4. Sind Erinnerungen nach Nutzer und Anwendungsfall getrennt?
5. Kannst Du Erinnerungen zu einer Person einsehen, korrigieren und löschen?
6. Wird protokolliert, welche Erinnerungen der Agent in einer Antwort verwendet hat?

Fazit

Gedächtnis macht KI-Agenten erst wirklich nützlich, aber nur, wenn es bewusst gestaltet ist. Kurzzeitgedächtnis gehört zum Standard, Langzeitgedächtnis braucht einen Zweck, klare Themen, Löschfristen und getrennte Berechtigungen. Frameworks wie ADK und LangGraph oder verwaltete Dienste wie die Memory Bank liefern die Technik, die Regeln musst Du selbst festlegen.

Ob Daten, Prozesse und Team für Agenten bereit sind, prüfst Du mit unserem AI-Readiness-Check, Hintergründe liefert das AI-Readiness-Whitepaper. Wenn Du einen Agenten mit Gedächtnis planen willst: Kostenloses Erstgespräch vereinbaren.