Lokale KI-Modelle vs. Cloud-APIs — was braucht dein KMU wirklich?

Nein. Der EU AI Act schreibt keine lokale oder On-Premise-Bereitstellung vor. Er ist infrastruktur-agnostisch: Die Anforderungen gelten dem KI-System und seiner Nutzung — nicht dem Hosting-Ort. Für die meisten KMU (interne Prozessautomatisierung, Kundenservice, Dokumentenverarbeitung) gilt die High-Risk-Kategorie (Annex III) ohnehin nicht. Der AI Act tritt für eigenständige High-Risk-Systeme nach Annex III ab 2. Dezember 2027 in Kraft (Annex I, eingebettet: 2. August 2028) — beide Termine wurden durch den Digital Omnibus on AI verschoben. Die Transparenz- und Kennzeichnungspflichten für KI-generierte Inhalte nach Art. 50 gelten seit 2. August 2026 (Anbieter haben für technische Kennzeichnungslösungen eine Übergangsfrist bis 2. Dezember 2026). Das bedeutet: Wer Cloud-APIs korrekt einbindet und den Use-Case richtig klassifiziert, ist compliant — unabhängig vom Hosting-Ort.

Nein — das ist der zentrale Mythos. Lokale Inferenz reduziert das Angriffsfläche, aber DSGVO-Konformität hängt von mehr ab: Der Hosting-Server selbst muss konform sein (AWS/Azure/GCP = Auftragsverarbeiter, AV-Vertrag nötig). Trainingsdaten-Herkunft der verwendeten Open-Weight-Modelle bleibt ein potenzielles Thema. Embedding-Datenbanken, Log-Dateien, Monitoring-Systeme — all das bleibt im DSGVO-Scope. Ein DPIA und ein Art.-30-Verarbeitungsverzeichnis sind auch bei self-hosted Pflicht, wenn personenbezogene Daten verarbeitet werden. Lokale Inferenz ist ein saubererer Ausgangspunkt — aber keine Abkürzung durch die DSGVO.

Der US Clarifying Lawful Overseas Use of Data Act erlaubt US-Behörden, von US-Unternehmen Daten herauszuverlangen — auch wenn diese auf EU-Servern gespeichert sind. Das bedeutet: Anthropic (Claude) und OpenAI (GPT) sind US-Firmen. Selbst wenn du AWS Bedrock EU oder OpenAI European Projects nutzt, bleibt das US-Recht für diese Anbieter anwendbar. Mistral ist ein französisches Unternehmen unter EU-Recht — kein CLOUD-Act-Exposure. Self-Hosted auf eigener EU-Infrastruktur — ebenfalls kein US-Recht. Für die meisten KMUs ist das CLOUD-Act-Risiko theoretisch und nicht akut. Für Kanzleien, Healthcare und Finanzdienstleister ist es eine ernsthafte Risikoabwägung.

Faustregel: ~2 GB VRAM pro 1 Milliarde Parameter (FP16). Mit Q4-Quantisierung grob durch 4. Ein 32B-Modell (z.B. Qwen 3.5 32B) braucht ~20 GB VRAM — eine RTX 4090 reicht. Ein 70B-Modell braucht ~40 GB VRAM — zwei RTX 4090; eine einzelne RTX 5090 (32 GB) reicht nur mit stärkerer Quantisierung. Preisrealität August 2026: RTX 4090 nur noch gebraucht (~$2.300–2.500), RTX 5090 ~$2.900–5.000. Für Einzelnutzer/Entwickler: Ollama auf Workstation ab ~$4.500. Für Multi-User-Produktion: vLLM auf einem dedizierten Server, $6.000–12.000 Hardware + Setup. Hinzu kommen $40–55 Strom pro GPU pro Monat (24/7, DACH-Tarife). Wichtig: Ollama hat bekannte Sicherheitslücken bei öffentlich exponierten Instanzen (zuletzt CVE-2026-7482, gepatcht ab 0.17.1) — immer hinter einem Auth-Proxy betreiben und aktuell halten.

Ja — Dienste wie Together.ai oder Fireworks.ai hosten Open-Weight-Modelle (Llama 4, DeepSeek V4, Qwen 3.5) günstiger als Frontier-Cloud-APIs. Das ist ein praktikabler Mittelweg für Volumen-Use-Cases ohne eigene Hardware. Wichtiger Vorbehalt (Stand August 2026): Fireworks.ai betreibt zwar teils EU-Infrastruktur (z.B. Frankfurt), EU-Datenresidenz ist aber nur eingeschränkt bzw. auf Anfrage verfügbar — und als US-Anbieter bleibt das CLOUD-Act-Risiko bestehen. Für Together.ai ist EU-Datenresidenz weiterhin nicht belegt. Für DACH-Unternehmen mit DSGVO-Anforderungen empfehlen wir diese Anbieter nicht ohne explizite Prüfung des AV-Vertrags und Hosting-Standorts. Für experimentelle oder niedrigrisikoarme Workloads ist es ein legitimer Ansatz.

Hybrid bedeutet: nicht alle KI-Aufgaben über denselben Kanal. Ein typisches KMU-Setup: E-Mail-Klassifikation, Dokumenten-Extraktion, FAQ-Beantwortung (hohes Volumen, einfache Aufgaben) → EU-native API (Mistral) oder self-hosted Open-Weight. Komplexe Dokument-Analyse, Angebots-Drafting, Reasoning-intensive Agenten → Claude Sonnet 5 oder GPT-5.6 mit EU-Region-Konfiguration. Das Workflow-System (n8n, Make) routet die Anfragen automatisch an den richtigen Endpunkt — kein manuelles Switching. Das reduziert Kosten und EU-Residenz-Risiko, ohne auf Frontier-Qualität dort zu verzichten, wo sie nötig ist.

Stand August 2026: Llama 4 (Meta, eigene Lizenz — prüfen für kommerzielle Nutzung; Metas gehostete Llama-API wurde Juli 2026 eingestellt, die Gewichte bleiben verfügbar), Qwen 3.5 bis 32B (Alibaba, Apache 2.0 — kommerziell frei; Achtung: die neueren Qwen-Flaggschiffe ab 3.7 sind nur noch API-only, nicht mehr open-weight), DeepSeek V4 (MIT — kommerziell frei, V4-Flash im Juli 2026 open-sourced), Gemma 4 (Google, Apache 2.0 — kommerziell frei), Mistral Large 3 und Small 4 (Apache 2.0), Mistral Medium 3.5 (modifizierte MIT-Lizenz — Bedingungen prüfen). Kimi K3 (Moonshot) ist seit Juli 2026 open-weight, steht aber unter einer eigenen Kimi-K3-Lizenz (weder Apache 2.0 noch MIT) mit Auflagen ab bestimmten Umsatz- und Nutzerschwellen. Für business-kritische Produktivnutzung empfehlen wir Modelle mit klarer Apache-2.0- oder MIT-Lizenz. Llama 4 hat eine eigene Lizenz mit Nutzungsbeschränkungen — im Zweifel Rechtsberatung einholen.

Ollama: simpel, für Einzelnutzer und Entwickler, GUI-nah. Stärke: schneller Start, einfache Modell-Verwaltung. Schwäche: keine echte Multi-User-Unterstützung, Sicherheitskonfiguration erfordert manuellen Auth-Proxy. Im Mai 2026 wurden 175.000+ öffentlich exponierte Instanzen gefunden, dazu die kritische RCE-Lücke CVE-2026-7482 (CVSS 9.1, gepatcht ab Ollama 0.17.1). vLLM: produktionstauglich für Multi-User-Setups. Optimiert für Throughput, OpenAI-kompatible API, Quantisierung (AWQ, GPTQ, fp8). Stärke: echte concurrent requests, batch-fähig. Schwäche: komplexeres Setup, erfordert technische Ressource. Empfehlung: Ollama für Entwicklung und Experimente, vLLM für Produktions-APIs.