LlamaIndex Workflows im Mittelstand: RAG ohne Tool-Hype

In fast jedem Unternehmen steckt das eigentliche Wissen in Google Drive, in Docs, in alten PDFs und in E-Mail-Verläufen. Die Idee liegt nahe: Ein KI-Assistent soll dieses Wissen durchsuchen und Fragen beantworten. Doch ein Chatbot hilft wenig, wenn niemand weiß, welche Dokumente aktuell sind, wer welche Inhalte sehen darf und woher eine Antwort eigentlich stammt. Genau hier setzen strukturierte RAG-Pipelines an, und LlamaIndex Workflows ist eines der Werkzeuge, mit denen man sie baut.

In diesem Beitrag schauen wir nüchtern darauf, wann sich LlamaIndex Workflows für den Mittelstand und für Nonprofits lohnt, welche Bausteine eine alltagstaugliche Lösung braucht und wann Du mit Gemini in Google Workspace plus n8n oder Make schneller und günstiger ans Ziel kommst.

Was sind LlamaIndex Workflows?

LlamaIndex ist ein Open-Source-Framework, das Sprachmodelle mit Deinen eigenen Daten verbindet. Die LlamaIndex-Dokumentation beschreibt Workflows als event-basierten Ansatz: Eine Anwendung besteht aus einzelnen Schritten, die auf Ereignisse reagieren und neue Ereignisse auslösen.

Praktisch heißt das:

• Schritte: zum Beispiel „Frage verstehen“, „passende Dokumente suchen“, „Antwort formulieren“, „Antwort prüfen“.
• Events: Ein Schritt meldet ein Ergebnis, der nächste reagiert darauf. So lassen sich auch Verzweigungen und Schleifen abbilden.
• Tools: Ein Schritt kann eine Suche, eine Datenbank oder eine interne Schnittstelle aufrufen.
• Human-in-the-loop: Ist sich das System unsicher, wird ein Mensch einbezogen, bevor eine Antwort rausgeht.

Der Vorteil gegenüber einem einfachen „Frage rein, Antwort raus“-Chatbot: Du siehst, was in welchem Schritt passiert, und kannst jeden Schritt einzeln verbessern, protokollieren und testen.

Wann ergibt das im Mittelstand Sinn?

LlamaIndex Workflows spielt seine Stärken aus, wenn Wissen aus vielen Quellen zuverlässig und nachvollziehbar abgerufen werden muss. Typische Fälle:

• Interne Wissenssuche: Mitarbeitende fragen nach Prozessen, Richtlinien oder Produktdetails und bekommen eine Antwort mit Quellenangabe.
• Angebots- und Richtlinien-Assistenten: Das System stellt Textbausteine, Konditionen oder Vorgaben aus freigegebenen Dokumenten zusammen.
• Dokumentierte Freigaben: Antworten in sensiblen Bereichen gehen erst nach menschlicher Prüfung raus, und jeder Schritt ist protokolliert.

Es gibt aber genauso viele Fälle, in denen ein eigenes Framework überdimensioniert ist:

• Dein Team will Dokumente zusammenfassen oder in Drive nach Inhalten fragen: Das kann Gemini in Google Workspace direkt, mit den bestehenden Freigaben.
• Du willst wiederkehrende Abläufe automatisieren, etwa eine E-Mail klassifizieren und ein Ticket anlegen: Das lösen n8n oder Make mit einem KI-Schritt schneller.
• Die Dokumentenbasis ist klein, gut gepflegt und ändert sich selten: Dann reicht oft ein gut strukturierter geteilter Ordner plus Gemini.

Unsere Faustregel: Erst wenn Quellen, Rechte, Nachvollziehbarkeit und Qualitätsmessung wirklich kritisch werden, lohnt sich eine eigene RAG-Pipeline.

Die Bausteine einer alltagstauglichen RAG-Pipeline

Die Technik ist selten das Problem. Die meisten RAG-Projekte scheitern an den Grundlagen. Diese Bausteine brauchst Du:

1. Quellenpflege

Welche Dokumente gelten? Wer ist verantwortlich? Veraltete Versionen im Index führen zu falschen Antworten, egal wie gut das Modell ist. Ein klarer Speicherort und eine Verantwortung pro Dokumentbereich sind Pflicht.

2. Chunking

Dokumente werden in Abschnitte zerlegt. Zu kleine Stücke verlieren den Zusammenhang, zu große verwässern die Suche. Überschriften und Absätze als Grenzen funktionieren in der Praxis meist besser als feste Zeichenzahlen.

3. Retrieval

Die Suche nach passenden Abschnitten kombiniert idealerweise semantische Suche mit klassischer Stichwortsuche. So werden Fachbegriffe, Artikelnummern und Namen zuverlässig gefunden.

4. Grounding

Das Modell soll nur auf Basis der gefundenen Quellen antworten und diese nennen. Findet es nichts Passendes, sagt es das offen, statt zu raten.

5. Logging

Jede Frage, die gefundenen Quellen und die Antwort werden protokolliert. Nur so erkennst Du, wo das System danebenliegt.

6. Rechte und Least Privilege

Der Assistent darf nur auf Inhalte zugreifen, die die fragende Person auch selbst sehen darf. Ein zentraler Index, der alle Personalakten für alle durchsuchbar macht, ist ein Datenschutzproblem, kein Produktivitätsgewinn.

7. Evaluation

Leg eine Liste mit typischen Fragen und erwarteten Antworten an und prüfe regelmäßig, ob das System sie korrekt beantwortet. Das ist unspektakulär, aber der wichtigste Schritt für Vertrauen im Team. Wie Du das im laufenden Betrieb organisierst, mit Golden Set, Metriken, Tracing und Regressionstests, zeigt unser Beitrag RAG und KI-Agenten in Produktion: Evaluation und Betrieb.

Ein Beispiel aus der Praxis

Nehmen wir eine mittelgroße Organisation mit rund 80 Mitarbeitenden, zum Beispiel einen gemeinnützigen Träger oder einen Mittelständler mit mehreren Standorten. Immer wieder kommen die gleichen Fragen: Wie läuft die Reisekostenabrechnung? Welche Regeln gelten für Homeoffice? Wer gibt Anschaffungen über einem bestimmten Betrag frei?

Die Antworten stehen in Richtlinien-Dokumenten, die über mehrere Ordner verteilt sind. Eine mögliche Lösung mit LlamaIndex Workflows:

1. Ein Schritt erkennt die Art der Frage und den Themenbereich.
2. Ein Suchschritt holt die passenden Abschnitte aus den freigegebenen Richtlinien.
3. Ein Antwortschritt formuliert eine kurze Antwort mit Link auf die Quelle.
4. Ein Prüfschritt bewertet, wie sicher die Antwort ist. Ist die Sicherheit niedrig oder betrifft die Frage einen sensiblen Bereich, geht sie an die zuständige Person zur Freigabe.
5. Alles wird protokolliert, damit die Verantwortlichen sehen, welche Fragen offen bleiben und welche Dokumente nachgeschärft werden müssen.

Der eigentliche Gewinn liegt oft gar nicht in der KI, sondern darin, dass Lücken und Widersprüche in den Richtlinien sichtbar werden.

Abgrenzung zu CrewAI, AutoGen und LangGraph

In den letzten Wochen haben wir über CrewAI, AutoGen und LangGraph geschrieben. Diese Frameworks drehen sich vor allem darum, wie mehrere Agenten zusammenarbeiten und Aufgaben verteilen. LlamaIndex Workflows setzt den Schwerpunkt anders: auf Daten, Retrieval und nachvollziehbare Abläufe rund um Deine Dokumente. Wenn Deine Kernfrage lautet „Wie bekomme ich verlässliche Antworten aus unserem Wissen?“, ist das der passendere Einstieg.

Wenn Deine Dokumente in Google Drive liegen, muss die Pipeline auch die Freigaben kennen. Wie Du Rechte beim Indexieren und beim Abruf durchreichst, zeigt unser Beitrag RAG über Google Drive mit Berechtigungen.

So gehst Du vor

• Starte mit einem klar abgegrenzten Themenbereich und gepflegten Quellen.
• Prüfe zuerst, ob Gemini in Workspace oder ein einfacher n8n-Ablauf das Problem schon löst.
• Setze erst dann auf eine eigene Pipeline, wenn Nachvollziehbarkeit, Rechte und Qualitätsmessung es erfordern.
• Plane Logging und Evaluation von Anfang an ein, nicht erst nach dem ersten Fehler.

Wenn Du wissen willst, wie gut Deine Organisation auf solche Projekte vorbereitet ist, mach unseren kostenfreien AI Readiness Check. Oder lass uns direkt in einem kostenlosen Erstgespräch über Deinen konkreten Fall sprechen.