Zum Hauptinhalt springen
KI & Machine Learning
Veröffentlicht am Aktualisiert am 8 min Lesezeit

RAG und KI-Agenten in Produktion: Evaluation und Betrieb für den Mittelstand

Golden Sets, RAG-Metriken wie Faithfulness und Context Relevance, Tracing, Regressionstests vor Releases und Kosten-Monitoring: so betreibst Du RAG und KI-Agenten im Mittelstand messbar und ohne Tool-Hype.

Friedrich Stenschke

Geschäftsführer & Digitalisierungsexperte

Ein RAG-Prototyp ist schnell gebaut: ein paar Dokumente aus Drive, ein Index, Gemini dahinter, fertig ist die Demo. Schwierig wird es danach. Nach drei Wochen ändert jemand den Prompt, ein neues Modell kommt, die Preisliste wird aktualisiert, und plötzlich antwortet der Assistent anders als vorher. Ohne Evaluation merkst Du das erst, wenn ein Kunde nachfragt oder ein Angebot mit falschen Konditionen rausgeht.

Dieser Beitrag zeigt, wie Du RAG-Systeme und KI-Agenten im Mittelstand so betreibst, dass Qualität messbar bleibt: mit einem Golden Set, wenigen sinnvollen Metriken, Tracing, Regressionstests vor jedem Release und einem Blick auf Kosten und Latenz. Ohne Tool-Hype, mit Bausteinen, die Du auf Google Cloud oder neutral mit Open Source umsetzen kannst.

Warum Evaluation der Unterschied zwischen Demo und Betrieb ist

In unseren Beiträgen zu LlamaIndex Workflows und RAG, LangGraph und Multi-Agent mit Human-in-the-Loop ging es darum, wie Du Abläufe baust. Genauso wichtig ist die Frage, woran Du erkennst, dass sie funktionieren. Ein KI-System verändert sich ständig, auch wenn Du keinen Code anfasst:

  • Daten ändern sich: neue Dokumente, veraltete Versionen, geänderte Freigaben in Drive.
  • Prompts ändern sich: kleine Formulierungen haben oft große Wirkung.
  • Modelle ändern sich: Versionen werden abgelöst, Verhalten und Preise verschieben sich.
  • Nutzung ändert sich: Mitarbeitende stellen Fragen, an die beim Bau niemand gedacht hat.

Evaluation heißt deshalb nicht, einmal vor dem Go-Live zu testen. Es heißt, Qualität laufend und vergleichbar zu messen.

Schritt 1: Ein Golden Set aus echten Fragen

Das wichtigste Werkzeug ist kein Tool, sondern eine Liste. Ein Golden Set ist eine Sammlung typischer Fragen mit der Antwort, die Du erwartest, und den Quellen, aus denen sie kommen sollte. Für einen internen Wissensassistenten in einem Betrieb mit 50 Mitarbeitenden reichen am Anfang 40 bis 80 Fälle.

  • Standardfälle: die Fragen, die jeden Tag kommen, etwa zu Lieferzeiten, Urlaubsregeln oder Produktdaten.
  • Grenzfälle: Fragen, bei denen zwei Dokumente sich widersprechen oder eine Regel nur für einen Standort gilt.
  • Fallen: Fragen, auf die das System ehrlich „weiß ich nicht“ sagen soll, weil die Information nicht freigegeben ist.
  • Sensible Fälle: Personal, Preise, Verträge. Hier prüfst Du, ob Rechte und Grenzen greifen.

Die Fragen kommen am besten von den Fachabteilungen selbst, nicht von der IT. Pflege das Set wie ein Dokument: mit Verantwortlichen und Datum. Wenn ein Fehler im Alltag auffällt, wird er zum neuen Testfall.

Schritt 2: Wenige Metriken, die Du verstehst

Für RAG haben sich einige Kennzahlen etabliert. Du brauchst nicht alle, aber Du solltest wissen, was sie messen:

  • Faithfulness (Quellentreue): Stützt sich die Antwort wirklich auf die gefundenen Dokumente oder erfindet das Modell etwas dazu?
  • Context Relevance (Kontextrelevanz): Hat die Suche die richtigen Textstellen geliefert oder viel Rauschen?
  • Context Recall: Fehlt eine Quelle, die für die richtige Antwort nötig gewesen wäre?
  • Answer Relevance: Beantwortet die Antwort die gestellte Frage oder weicht sie aus?
  • Korrektheit gegen Referenz: Stimmt die Antwort inhaltlich mit der erwarteten Antwort aus dem Golden Set überein?

Die Trennung ist praktisch: Wenn die Kontextrelevanz schlecht ist, liegt das Problem in Suche, Chunking oder Datenqualität. Wenn die Quellentreue schlecht ist, liegt es eher am Prompt oder am Modell. So suchst Du nicht im Nebel.

Viele dieser Metriken werden mit einem zweiten Modell als Bewerter berechnet (LLM-as-a-Judge). Das ist nützlich, aber nicht unfehlbar. Prüfe deshalb regelmäßig eine Stichprobe von Hand und vergleiche, ob Mensch und Bewerter-Modell zum gleichen Urteil kommen. Open-Source-Bibliotheken wie Ragas liefern solche Metriken fertig, Du kannst sie aber auch selbst definieren.

Schritt 3: Agenten brauchen zusätzliche Prüfpunkte

Bei Agenten reicht es nicht, nur die Endantwort zu bewerten. Ein Agent plant Schritte, ruft Tools auf und entscheidet, wann er fertig ist. Prüfe deshalb auch:

  • Tool-Auswahl: Hat der Agent das richtige Werkzeug genutzt, zum Beispiel das CRM statt einer Websuche?
  • Reihenfolge und Abbruch: Läuft er in Schleifen oder bricht er zu früh ab?
  • Freigabe-Gates: Stoppt er dort, wo ein Mensch entscheiden muss, etwa vor einer Mail an einen Kunden?
  • Seiteneffekte: Hat er nur gelesen oder auch etwas verändert, das er nicht verändern durfte?

Dafür brauchst Du nachvollziehbare Abläufe. Damit sind wir beim Tracing.

Schritt 4: Tracing und Observability im Alltag

Tracing bedeutet, dass jeder Lauf protokolliert wird: Frage, gefundene Quellen, Prompt-Version, Modell, Tool-Aufrufe, Antwort, Dauer und Kosten. Ob Du dafür Werkzeuge wie Langfuse oder LangSmith einsetzt oder die Protokolle in Cloud Logging und BigQuery ablegst, ist zweitrangig. Wichtig ist:

  • Jede Antwort lässt sich bis zu ihren Quellen zurückverfolgen.
  • Prompt- und Modellversionen sind im Log sichtbar, damit Du Veränderungen zuordnen kannst.
  • Personenbezogene Daten werden nur so weit protokolliert, wie es nötig und mit Datenschutz und Betriebsrat abgestimmt ist.
  • Nutzer können Antworten mit Daumen hoch oder runter bewerten. Negative Bewertungen landen als Kandidaten im Golden Set.

Wie Du Tracing mit dem offenen Standard OpenTelemetry konkret aufsetzt und welche Kennzahlen dabei helfen, zeigt unser Beitrag KI-Agenten beobachten: Tracing und Observability mit OpenTelemetry.

Schritt 5: Regressionstests vor jedem Release

Behandle Prompts, Retrieval-Einstellungen und Modellwechsel wie Software-Releases. Vor jeder Änderung läuft das Golden Set automatisch durch, und Du vergleichst die Ergebnisse mit dem letzten Stand. Eine einfache Regel hilft: Kein Release, wenn eine Kernmetrik spürbar schlechter wird oder ein sensibler Testfall kippt.

Auf Google Cloud gibt es dafür den Gen AI Evaluation Service im Vertex-AI-Umfeld, das Google inzwischen als Gemini Enterprise Agent Platform führt. Er arbeitet mit eigenen Evaluationsdatensätzen, die Du hochlädst oder aus Produktionslogs ziehst, mit Rubriken pro Prompt, mit klassischen Metriken bei vorhandener Referenzantwort und mit eigenen Bewertungsfunktionen. Laut Dokumentation lassen sich damit auch Modellversionen gegeneinander vergleichen und Agenten anhand ihrer Traces bewerten. Für Teams, die ohnehin mit Gemini auf Google Cloud arbeiten, ist das ein naheliegender Baustein. Wer offener bleiben will, kombiniert ein Open-Source-Framework mit einer einfachen CI-Pipeline.

Wenn ein Ablauf über n8n oder Make angestoßen wird, gehört der Testlauf ebenfalls dazu. Mehr zu dieser Kombination findest Du im Beitrag Von Prompt zu Prozess: KI-Workflows mit Gemini und n8n.

Schritt 6: Kosten und Latenz im Blick behalten

Qualität ist nicht die einzige Kennzahl. Ein Assistent, der 20 Sekunden für eine Antwort braucht, wird im Alltag nicht genutzt. Und ein Agent, der für jede Anfrage zehn Modellaufrufe macht, wird teuer. Beobachte deshalb:

  • Kosten pro Anfrage und pro Monat, getrennt nach Anwendungsfall.
  • Antwortzeit im Median und bei den langsamsten zehn Prozent.
  • Anzahl der Modell- und Tool-Aufrufe pro Lauf, vor allem bei Agenten.
  • Budgetgrenzen und Alarme in der Google-Cloud-Abrechnung, damit kein Testlauf ungebremst weiterläuft.

Oft lohnt sich ein kleineres Modell für einfache Schritte wie Klassifizierung und ein stärkeres nur für die eigentliche Antwort. Ob das reicht, zeigt Dir wieder das Golden Set. Wie Du Modellwahl, Routing, Caching und Batch konkret einsetzt, beschreiben wir im Beitrag KI-Kosten im Griff.

Ein realistisches Betriebsmodell für den Mittelstand

Du brauchst kein eigenes KI-Team, aber klare Rollen:

  1. Fachverantwortliche pflegen das Golden Set und bewerten Stichproben einmal im Monat.
  2. IT oder Dienstleister betreiben Pipeline, Tracing, Rechte und Kostenalarme.
  3. Geschäftsführung bekommt ein kurzes Dashboard: Nutzung, Qualität, Kosten, offene Probleme.
  4. Release-Regel: Änderungen gehen nur live, wenn die Regressionstests grün sind.

Wie eine RAG-Plattform auf Gemini in einem echten Projekt aussieht, zeigt unsere Case Study zum ttz Bremerhaven. Wie Du einen Agenten mit Google ADK und der verwalteten Agent Engine vom Prototyp in den Betrieb bringst, inklusive Sessions, Guardrails und Kostenkontrolle, beschreibt unser Beitrag Google ADK und Agent Engine im Mittelstand.

Häufige Fehler

  • Nur nach Gefühl testen: Fünf Fragen im Chat ausprobieren ist keine Evaluation.
  • Zu viele Metriken: Drei bis fünf Kennzahlen, die jemand versteht, schlagen ein Dashboard mit zwanzig Werten.
  • Bewerter-Modell blind vertrauen: Ohne menschliche Stichproben misst Du am Ende, was das Bewerter-Modell mag.
  • Golden Set einfrieren: Wenn neue Fehler nicht als Testfälle zurückfließen, veraltet es schnell.
  • Datenqualität ignorieren: Die meisten schlechten Antworten kommen aus unaufgeräumten Ablagen, nicht aus dem Modell.

So startest Du in zwei Wochen

  1. Woche 1: Einen produktiven oder fast produktiven Anwendungsfall wählen. 40 echte Fragen mit erwarteten Antworten und Quellen sammeln.
  2. Woche 1: Tracing einschalten, Prompt- und Modellversionen protokollieren, Kosten pro Anfrage sichtbar machen.
  3. Woche 2: Drei Metriken festlegen, etwa Quellentreue, Kontextrelevanz und Korrektheit, und einen ersten Messlauf machen.
  4. Woche 2: Eine Release-Regel vereinbaren und den nächsten Prompt- oder Modellwechsel bewusst über diesen Test laufen lassen.

Deschalet baut keine Kundenwebsites. Wir helfen Dir bei Google Workspace, Automatisierung und KI-Projekten auf Google Cloud, von der Datengrundlage bis zum Betrieb. Einen Überblick findest Du auf unserer Seite Leistungen.

Ein Testsatz hilft nicht nur beim Modellvergleich, sondern auch beim Verbessern von Prompts, Skills und Werkzeugen. Einen Forschungsansatz, der das ohne Musterlösungen automatisiert, stellen wir in Harness² von Google Research vor.

Fazit

RAG und KI-Agenten werden im Mittelstand nicht an der Demo gemessen, sondern am Alltag drei Monate später. Ein gepflegtes Golden Set, wenige klare Metriken, Tracing, Regressionstests und ein Blick auf Kosten machen aus einem Experiment ein System, dem Dein Team vertraut.

Wenn Du wissen willst, wo Deine Organisation auf dem Weg dahin steht, mach unseren kostenfreien AI Readiness Check oder lies das Whitepaper AI Readiness 2026. Für Deinen konkreten Anwendungsfall buch Dir ein kostenloses Erstgespräch.

Ähnliche Artikel

Weitere Artikel entdecken

Entdecke mehr Insights zu Digitalisierung, Cloud-Technologien und modernen Arbeitsweisen.

Zum Blog