KI-Agenten beobachten: Tracing und Observability mit OpenTelemetry im Mittelstand

Veröffentlicht am

Was hat der KI-Agent eigentlich gemacht? Wie Du Agenten mit OpenTelemetry nachvollziehbar machst, welche Kennzahlen helfen und wie Du Datenschutz und Kosten im Blick behältst.

Ein KI-Agent, der in der Demo überzeugt, ist noch kein KI-Agent, den Du im Betrieb verstehst. Spätestens wenn ein Kunde eine falsche Antwort bekommt, eine Rechnung doppelt angelegt wurde oder die Kosten im Monat plötzlich steigen, stellt sich eine einfache Frage: Was hat der Agent eigentlich gemacht? Welche Dokumente hat er gelesen, welches Werkzeug hat er aufgerufen, wie lange hat das gedauert und was hat es gekostet?

Genau darum geht es bei Observability. Dieser Beitrag zeigt, wie Du KI-Agenten im Mittelstand nachvollziehbar machst, warum sich dafür der offene Standard OpenTelemetry durchsetzt und wie Du in wenigen Wochen von „wir hoffen, dass es läuft“ zu belastbaren Zahlen kommst.

Warum klassisches Logging bei Agenten nicht reicht

Eine normale Anwendung folgt festen Pfaden. Ein Agent entscheidet dagegen selbst, welche Schritte er geht: Er formuliert eine Suchanfrage, liest Treffer, ruft ein Werkzeug auf, wertet das Ergebnis aus und fragt vielleicht noch einmal nach. Zwei gleiche Anfragen können unterschiedlich ablaufen. Einzelne Logzeilen helfen da wenig, weil der Zusammenhang fehlt.

Was Du brauchst, ist ein Trace: eine zusammenhängende Aufzeichnung eines kompletten Laufs, aufgeteilt in einzelne Schritte, sogenannte Spans. Ein Agentenlauf ist der oberste Span, darunter hängen die Modellaufrufe, darunter wiederum die Werkzeugaufrufe. So siehst Du wie in einem Wasserfalldiagramm, wo Zeit verloren geht, wo ein Fehler entstand und welcher Schritt die meisten Tokens verbraucht hat.

OpenTelemetry: ein gemeinsamer Standard statt Insellösungen

OpenTelemetry ist ein offenes Projekt für Traces, Metriken und Logs, das von vielen Werkzeugen und Cloud-Anbietern unterstützt wird. Für generative KI gibt es eigene semantische Konventionen, also feste Namen für das, was in einem Span steht. Seit Mitte 2026 werden diese Konventionen in einem eigenen Repository gepflegt, den OpenTelemetry GenAI Semantic Conventions. Ihr Status ist weiterhin „Development“, Namen können sich also noch ändern.

Wichtig für die Praxis sind vor allem diese Bausteine:

  • Art des Schritts über das Attribut gen_ai.operation.name, zum Beispiel chat für einen Modellaufruf, invoke_agent für einen Agentenaufruf und execute_tool für einen Werkzeugaufruf.
  • Agent und Werkzeug mit Namen, etwa gen_ai.agent.name und gen_ai.tool.name, damit Du Läufe nach Agent und Werkzeug filtern kannst.
  • Modell und Anbieter, damit Du siehst, welches Modell welche Anfrage bearbeitet hat.
  • Token-Verbrauch für Eingabe und Ausgabe, die Grundlage jeder Kostenrechnung pro Vorgang.
  • Gesprächs-ID über gen_ai.conversation.id, um mehrere Läufe einer Sitzung zusammenzuführen.

Der Vorteil eines Standards: Du bist nicht an ein einzelnes Dashboard gebunden. Die Daten gehen im OTLP-Format an ein Backend Deiner Wahl, etwa Google Cloud Trace, Grafana Tempo, Jaeger oder ein spezialisiertes LLM-Observability-Werkzeug.

Was die gängigen Frameworks schon mitbringen

Du musst Tracing nicht von Hand bauen. Viele Agenten-Frameworks liefern OpenTelemetry-Daten bereits aus:

  • Google ADK setzt laut ADK-Dokumentation die GenAI-Konventionen um. Ein Agentenlauf ist der Wurzel-Span, Modell- und Werkzeugaufrufe hängen darunter. Für Google Cloud beschreibt die Cloud-Observability-Anleitung, wie Traces, Logs und Metriken in Cloud Trace und Cloud Logging landen.
  • Microsoft Agent Framework sendet laut Microsoft-Dokumentation ebenfalls Traces, Logs und Metriken nach den GenAI-Konventionen.
  • LangGraph, CrewAI, LlamaIndex und Automatisierungsplattformen wie n8n lassen sich über Integrationen oder eigene Instrumentierung anbinden. Prüfe bei Deinem Stack, welche Version welche Konventionen unterstützt, weil sich das gerade schnell bewegt.

Mehr zu den Frameworks selbst findest Du in unseren Beiträgen zu Google ADK und Agent Engine und zu LangGraph.

Datenschutz: Inhalte nicht ungefragt mitschreiben

Traces können sehr viel verraten. Wer Prompts und Antworten vollständig mitschreibt, hat schnell Kundendaten, Personaldaten oder Vertragsinhalte im Monitoring. Die Konventionen behandeln Ein- und Ausgabeinhalte deshalb als optional. Auch die Google-Anleitung für ADK empfiehlt, Inhalte nicht als Span-Attribute zu speichern, unter anderem damit keine personenbezogenen Daten in den Spans landen.

Für den Mittelstand heißt das:

  • Standard ist Metadaten ohne Inhalt: Schritt, Dauer, Modell, Tokens, Fehler, Werkzeugname.
  • Inhalte nur gezielt: in der Testumgebung, für einzelne Fehleranalysen oder nach klarer Regel, und dann mit kurzer Aufbewahrung.
  • Speicherort und Zugriff klären: Wo liegen die Traces, wer darf sie sehen, wie lange werden sie aufbewahrt? Das gehört in Dein Verzeichnis der Verarbeitungstätigkeiten wie jede andere Datenverarbeitung.

Fünf Kennzahlen, die wirklich helfen

Ein Dashboard mit fünfzig Diagrammen schaut niemand an. Starte mit wenigen Zahlen, die Entscheidungen auslösen:

  1. Kosten pro Vorgang: Tokens und Modellwahl pro erledigter Aufgabe, nicht pro Monat. So siehst Du sofort, ob sich ein Schritt lohnt. Wie Du die Kosten danach senkst, beschreibt unser Beitrag zu Modellwahl, Routing und Caching.
  2. Laufzeit pro Schritt: Wo wartet der Nutzer? Oft ist es nicht das Modell, sondern eine langsame Schnittstelle.
  3. Fehlerquote bei Werkzeugen: Welche Aufrufe schlagen fehl oder liefern leere Ergebnisse?
  4. Schritte pro Lauf: Steigt die Zahl plötzlich, dreht der Agent vielleicht Schleifen.
  5. Anteil an Übergaben an Menschen: Wie oft muss jemand eingreifen, und steigt oder fällt das nach einer Änderung?

Tracing und Evaluation gehören zusammen

Traces zeigen, was passiert ist. Ob das Ergebnis gut war, zeigen sie nicht von selbst. Dafür brauchst Du eine Bewertung, etwa mit einem festen Satz echter Testfragen und Prüfregeln. Die GenAI-Konventionen sehen inzwischen auch Attribute für Bewertungsergebnisse vor, so dass Du Qualität und Ablauf an einer Stelle sehen kannst. Wie Du ein solches Testset aufbaust, steht in unserem Beitrag zu Evaluation und Betrieb von RAG und KI-Agenten.

Ein Beispiel, wie das aussehen kann: Ein Agent beantwortet Kundenanfragen und schlägt Antworten vor, die ein Mitarbeiter freigibt. Im Trace siehst Du, welche Dokumente gelesen wurden und wie lange der Lauf dauerte. In der Bewertung siehst Du, ob die Antwort zur Frage passte. Und an der Freigabequote siehst Du, ob das Team dem Agenten vertraut. Erst alle drei zusammen sagen Dir, ob sich der Einsatz lohnt.

Sicherheit: Traces als Frühwarnsystem

Observability ist auch ein Sicherheitswerkzeug. Ungewöhnliche Werkzeugaufrufe, plötzlich sehr lange Eingaben oder Zugriffe auf Systeme, die der Agent sonst nie nutzt, können Hinweise auf Prompt Injection oder falsch gesetzte Rechte sein. Schutzmaßnahmen dafür beschreiben wir in den Beiträgen zu Agent-Guardrails und Prompt Injection und zu MCP-Servern.

So startest Du in drei Wochen

  • Woche 1: Einen Agenten oder Workflow auswählen, der schon im Einsatz ist. Tracing im Framework einschalten, Daten an ein Backend senden, Inhalte zunächst nicht mitschreiben.
  • Woche 2: Die fünf Kennzahlen oben auswerten und je eine Schwelle festlegen, ab der jemand benachrichtigt wird, zum Beispiel bei Kosten pro Vorgang oder Fehlerquote.
  • Woche 3: Ein kleines Testset mit echten Fragen anlegen, nach jeder Änderung an Prompt, Modell oder Werkzeug laufen lassen und die Ergebnisse neben die Traces legen.

Danach weißt Du, was Dein Agent tut, was er kostet und wo er hakt. Das ist die Grundlage, um ihn mit gutem Gewissen auf mehr Vorgänge auszuweiten.

Fazit

KI-Agenten werden erst dann zu einem verlässlichen Werkzeug, wenn Du ihre Entscheidungen nachvollziehen kannst. OpenTelemetry bietet dafür einen offenen Standard, den Frameworks wie Google ADK und Microsoft Agent Framework bereits unterstützen. Wenige gut gewählte Kennzahlen, eine klare Regel für Inhalte und ein kleines Testset reichen für den Start.

Du willst wissen, wo Dein Betrieb bei KI steht? Unser AI-Readiness-Check und das Whitepaper geben Dir eine erste Einordnung. Für Agenten in Deinen Abläufen, inklusive Tracing und Betrieb, sprich uns an: Kostenloses Erstgespräch vereinbaren. Mehr zu unseren Leistungen rund um Automatisierung findest Du unter Prozessautomatisierung.