Lokale KI-Modelle oder Cloud: Was Gemma 4 dem Mittelstand bringt und wo die Grenzen liegen

In vielen Gesprächen über KI kommt früher oder später dieselbe Frage: „Können wir das Modell nicht einfach bei uns laufen lassen? Dann verlassen die Daten das Haus nicht.“ Seit offene Modelle deutlich besser geworden sind, ist diese Frage berechtigter denn je. Google hat mit Gemma 4 eine Modellfamilie veröffentlicht, die unter einer offenen Lizenz steht und sich auf eigener Hardware betreiben lässt. Gleichzeitig unterschätzen viele Betriebe, was lokaler Betrieb an Hardware, Pflege und Know-how verlangt.

Dieser Beitrag ordnet ein, wann lokale KI-Modelle im Mittelstand und in Nonprofits sinnvoll sind, wann die Cloud die bessere Wahl bleibt und wie eine Mischung aus beidem aussehen kann. Alle technischen Angaben stammen aus der offiziellen Dokumentation, die wir jeweils verlinken.

Was Gemma 4 ist

Gemma ist Googles Familie offener Modelle. Laut Release-Übersicht erschien Gemma 4 am 31. März 2026 in den Größen E2B, E4B, 31B und 26B A4B, am 3. Juni 2026 kam eine 12B-Variante dazu. Im Oktober 2026 folgte mit EmbeddingGemma 2 ein kleines Modell für Embeddings, also für semantische Suche in eigenen Dokumenten.

Wichtig für Unternehmen ist die Lizenz: Gemma 4 steht laut Google-Ankündigung unter der Apache-2.0-Lizenz, die eine kommerzielle Nutzung erlaubt. Die Modellübersicht nennt außerdem:

• Kontextfenster von 128.000 Token bei den kleinen und 256.000 Token bei den mittleren Modellen.
• Verarbeitung von Text und Bildern bei allen Modellen, Audio nativ bei E2B, E4B und 12B.
• Eingebaute Unterstützung für Function Calling und Systemanweisungen, also die Grundlagen für Agenten.
• Download über Hugging Face und Kaggle, lokaler Betrieb zum Beispiel mit llama.cpp oder LM Studio.

Das „E“ bei E2B und E4B steht für „effektive“ Parameter. Beim 26B-Modell handelt es sich um ein Mixture-of-Experts-Modell, das pro Token nur rund 4 Milliarden Parameter aktiviert, aber trotzdem komplett in den Speicher geladen werden muss.

Was lokal wirklich an Hardware nötig ist

Hier liegt der häufigste Denkfehler. Google nennt in der Modellübersicht ungefähre Speicherwerte für GPU oder TPU, nur um die Modellgewichte zu laden:

• Gemma 4 E4B: etwa 17,9 GB in voller Genauigkeit (16 Bit), etwa 4,5 GB bei 4-Bit-Quantisierung.
• Gemma 4 12B: etwa 26,7 GB in 16 Bit, etwa 6,7 GB in 4 Bit.
• Gemma 4 26B A4B: etwa 57,7 GB in 16 Bit, etwa 14,4 GB in 4 Bit.
• Gemma 4 31B: etwa 69,9 GB in 16 Bit, etwa 17,5 GB in 4 Bit.

Dazu kommt Speicher für den Kontext. Je länger Prompt und Antwort, desto mehr Grafikspeicher braucht das Modell zusätzlich. Quantisierte Modelle sind kleiner, können aber an Qualität verlieren. Google bietet dafür eigens trainierte QAT-Varianten an, die diesen Verlust gering halten sollen. Für ein Feintuning steigt der Speicherbedarf noch einmal deutlich.

Praktisch heißt das: Ein kleines Modell läuft auf einem guten Arbeitsplatzrechner. Ein mittleres Modell, das mehrere Mitarbeitende gleichzeitig nutzen, braucht einen eigenen Server mit passender Grafikkarte, Strom, Kühlung, Überwachung und jemanden, der Updates einspielt.

Wann lokale Modelle sinnvoll sind

• Daten dürfen das Haus vertraglich nicht verlassen. Manche Kunden oder Auftraggeber schreiben vor, dass bestimmte Daten nur auf eigener Infrastruktur verarbeitet werden.
• Kein oder kein verlässliches Internet. In abgeschotteten Produktionsnetzen oder an Orten mit schwacher Verbindung kann ein lokales Modell die einzige Option sein.
• Viele gleichartige, kleine Aufgaben. Texte klassifizieren, Felder aus kurzen Dokumenten auslesen, Inhalte vorsortieren. Hier reichen oft kleine Modelle, und die Kosten pro Anfrage sind planbar.
• Vorverarbeitung vor der Cloud. Ein lokales Modell kann zum Beispiel personenbezogene Angaben erkennen und schwärzen, bevor ein Text an ein größeres Modell geht.

Wann die Cloud die bessere Wahl bleibt

• Komplexe Aufgaben mit hohem Qualitätsanspruch. Lange Verträge auswerten, mehrstufige Analysen, anspruchsvolle Texte: Hier liefern große Cloud-Modelle in der Regel bessere Ergebnisse als das, was sich wirtschaftlich lokal betreiben lässt.
• Keine eigene IT für KI-Betrieb. Wer niemanden hat, der Server, Modelle und Sicherheitsupdates pflegt, kauft sich mit lokalen Modellen eine neue Baustelle ein.
• Integration in den Arbeitsalltag. Gemini in Gmail, Docs, Drive und Meet funktioniert ohne eigene Infrastruktur und mit den bestehenden Berechtigungen.

Auch beim Datenschutz ist die Cloud nicht automatisch die schlechtere Wahl. Für Google Workspace sagt Google im Privacy Hub zu, dass Kundendaten ohne Erlaubnis nicht zum Training generativer Modelle verwendet werden, und verweist dafür auf eine vertragliche Zusage in den Workspace-Bedingungen. Entscheidend ist, dass Du Verträge, Datenregionen und Berechtigungen sauber geregelt hast. Wie Du dabei vorgehst, beschreibt unser Beitrag KI im Mittelstand: Zuerst Workspace und Daten, dann Gemini.

Der Mittelweg: lokal und Cloud kombinieren

In der Praxis ist die Frage selten „entweder oder“. Ein sinnvolles Muster ist ein Routing nach Aufgabe: Einfache, häufige Anfragen oder besonders sensible Vorverarbeitung laufen lokal, alles andere geht an ein Cloud-Modell. Das senkt Kosten und hält die Datenmenge klein, die das Haus verlässt. Wie Du Modelle je nach Anfrage auswählst und Kosten im Blick behältst, steht in KI-Kosten im Griff.

Ein zweites Muster ist die Suche in eigenen Dokumenten. Ein kleines Embedding-Modell kann Dokumente lokal für die Suche aufbereiten, die Antwort formuliert dann ein Modell Deiner Wahl. Wichtig bleibt dabei, dass nur Dokumente in die Antwort einfließen, die die fragende Person sehen darf. Dazu mehr in RAG über Google Drive mit Berechtigungen.

Was unabhängig vom Ort gilt

Ob ein Modell im Keller oder im Rechenzentrum läuft, ändert nichts an den Grundregeln. Ergebnisse müssen geprüft werden, Zugriffe gehören protokolliert, und Mitarbeitende brauchen klare Regeln, welche Daten sie eingeben dürfen. Auch die Pflichten aus dem EU AI Act hängen vom Einsatzzweck ab, nicht davon, wo das Modell betrieben wird. Einen Überblick gibt unser Beitrag EU AI Act für Betreiber. Lokale Modelle bringen zusätzlich eigene Aufgaben mit: Sicherheitsupdates für Server und Laufzeitumgebung, Modellversionen dokumentieren und Zugriffe auf den Server absichern.

Checkliste für Deine Entscheidung

1. Welche Daten sollen verarbeitet werden, und gibt es eine vertragliche oder gesetzliche Vorgabe, die eine Cloud ausschließt?
2. Wie anspruchsvoll ist die Aufgabe? Reicht ein kleines Modell, oder braucht es die Qualität eines großen Modells?
3. Wie viele Personen nutzen das Modell gleichzeitig, und wie schnell müssen Antworten kommen?
4. Wer betreibt Server und Modell, spielt Updates ein und überwacht den Betrieb?
5. Was kostet Hardware über drei Jahre im Vergleich zu nutzungsabhängigen Cloud-Kosten?
6. Habt Ihr einen Testdatensatz, mit dem Ihr lokale und Cloud-Modelle fair vergleichen könnt?

Fazit

Offene Modelle wie Gemma 4 machen lokale KI für den Mittelstand realistisch, vor allem für klar abgegrenzte Aufgaben, sensible Vorverarbeitung und Umgebungen ohne Internet. Für die meisten Betriebe bleibt die Cloud trotzdem der schnellere und günstigere Start, weil Betrieb, Updates und Integration entfallen. Die beste Lösung ist oft eine Kombination, die bewusst entscheidet, welche Aufgabe wo läuft.

Ob Daten, Prozesse und Team für KI bereit sind, prüfst Du mit unserem AI-Readiness-Check, Hintergründe liefert das AI-Readiness-Whitepaper. Wenn Du klären willst, ob ein lokales Modell, die Cloud oder beides zu Deinem Anwendungsfall passt: Kostenloses Erstgespräch vereinbaren.