Ollama für Unternehmen
KI lokal. Daten souverän.
CNEXT implementiert Ollama für Schweizer Unternehmen: Open-Source-Sprachmodelle sicher auf Ihrer eigenen Infrastruktur betreiben – ohne Cloud-Abhängigkeit, ohne Token-Kosten, vollständig nDSG-konform.
Warum Ollama?
Ollama macht den Betrieb grosser Sprachmodelle so einfach wie einen Paketmanager – und das vollständig lokal.
100% On-Premise
Ihre Daten verlassen nie Ihre Infrastruktur. Volle Kontrolle, kein Cloud-Risiko.
Offene Modelle
Llama 3, Mistral, Phi-3, Qwen, Gemma und viele weitere – frei wählbar.
Schnelle Inferenz
Optimiert für CPU und GPU. Lokal schneller als viele Cloud-APIs bei kleinen Modellen.
nDSG-konform
Schweizer Datenschutzgesetz einhalten – ohne Cloud-Verarbeitung personenbezogener Daten.
Was Ollama kann
Von der Modell-Bibliothek über OpenAI-kompatible APIs bis zum flexiblen Deployment – Ollama bietet eine vollständige lokale KI-Plattform.
Lokale Modell-Bibliothek
Ollama verwaltet Open-Weight-Modelle wie ein Paketmanager: einfaches Pull, Run und Update.
- Llama 3.1 / 3.3 (8B, 70B)
- Mistral / Mixtral
- Phi-4, Qwen 2.5, Gemma 3
- Code-Modelle: DeepSeek-Coder, CodeLlama
OpenAI-kompatible API
Ollama spricht dasselbe API-Format wie OpenAI – bestehende Anwendungen ohne Codeänderung umleiten.
- Drop-in-Ersatz für OpenAI SDK
- Chat-Completions-Endpoint
- Embeddings-Endpoint
- Streaming-Support
Flexible Deployment-Optionen
Von einem einzelnen Server bis hin zu einem Cluster – Ollama lässt sich an Ihre Infrastruktur anpassen.
- On-Premise (eigene Server)
- Private Cloud (Azure / Schweizer Rechenzentrum)
- GPU-Server für grosse Modelle
- Raspberry Pi / Edge-Devices für kleine Modelle
Ollama vs. Cloud-LLMs
Für datenschutzkritische Szenarien, hohe Volumen oder regulierte Branchen bietet Ollama entscheidende Vorteile gegenüber Cloud-Modellen.
Datensouveränität
- Kein Datenabfluss in US-Cloud
- Erfüllt nDSG und branchenspezifische Anforderungen
- Ideal für Gesundheitswesen, Banken, Behörden
- Betrieb im Schweizer Rechenzentrum möglich
Kosteneffizienz
- Keine Token-Kosten bei hohem Volumen
- Einmalige Hardware-Investition statt laufender API-Gebühren
- Kleinere Modelle laufen auch auf Standard-Hardware
- Kein Vendor-Lock-in
Anpassbarkeit
- Fine-Tuning auf eigenen Daten
- Custom System-Prompts (Modelfiles)
- Integration mit eigenen Vektordatenbanken
- Open-Source – volle Transparenz
Anwendungsfälle in der Schweiz
Branchen mit hohen Datenschutzanforderungen profitieren besonders von lokaler KI.
Gesundheitswesen & Kliniken
Patientendaten dürfen Ihre Server nie verlassen. Mit Ollama betreiben Schweizer Spitäler KI-Assistenten für Dokumentation, Codierung und Recherche – vollständig lokal.
Banken & Versicherungen
Finanzinstitute mit strengen Compliance-Anforderungen profitieren von lokaler KI ohne externe Datenverarbeitung.
Industrie & KMU
Produktions- und Fertigungsunternehmen nutzen lokale Modelle für technische Dokumentation, Fehleranalyse und interne Wissensdatenbanken.
Behörden & öffentliche Verwaltung
Bundesnahe Stellen und Kantone, die KI einsetzen wollen, ohne Daten ins Ausland zu schicken – Ollama ist die souveräne Lösung.
Was CNEXT für Sie umsetzt
Von der ersten Installation bis zum produktiven Betrieb – CNEXT begleitet Sie auf dem gesamten Weg.
Ollama-Setup & Deployment
Installation, Konfiguration und Modell-Auswahl – produktionsbereit in wenigen Tagen.
- Hardware-Sizing (CPU vs. GPU)
- Modell-Evaluation und -Auswahl
- API-Konfiguration und Sicherheits-Setup
- Monitoring & Alerting
RAG mit lokalen Modellen
Semantische Suche und Dokumenten-Chat über Ihre internen Wissensdatenbanken – komplett lokal.
- SharePoint-Inhalte als Wissensbasis
- Lokale Vektordatenbank (Qdrant, Chroma)
- Embeddings-Modell lokal betreiben
- Hybrid-Suche (Keyword + Vektor)
App-Integration
Bestehende Microsoft-365-Anwendungen per Drop-in auf lokale Modelle umstellen.
- Power Automate → Ollama-Endpunkt
- SharePoint-Bot mit lokalem LLM
- Custom Chat-Interface (Open WebUI)
- OpenAI-SDK Drop-in
Fine-Tuning & Modelfiles
Modelle mit Ihrer Unternehmenssprache und Ihrem Kontext anpassen.
- Erstellung von Modelfiles (System-Prompts)
- LoRA-Fine-Tuning auf eigenen Daten
- GGUF-Konvertierung eigener Modelle
- Benchmark-Tests vor Produktions-Release
Training & Enablement
Ihr Team lernt, wie es lokale KI-Modelle effektiv nutzt und betreibt.
- Prompting-Workshops für lokale Modelle
- Technisches Deep-Dive für IT-Teams
- Best-Practices für Modell-Auswahl
- Hands-on-Labs mit eigener Infrastruktur
Strategische Beratung
Wann lohnt sich On-Premise KI – und wann ist Cloud die bessere Wahl? CNEXT hilft Ihnen entscheiden.
- TCO-Analyse (On-Premise vs. Cloud)
- Modell-Roadmap für Ihr Unternehmen
- Compliance-Check für regulierte Branchen
- Hybrid-Strategie (lokal + Azure)
Lokale KI in Zahlen
Warum immer mehr Schweizer Unternehmen auf On-Premise-KI setzen.
Was ist Ollama?
Ollama ist ein Open-Source-Framework, das es ermöglicht, grosse Sprachmodelle (LLMs) vollständig lokal — auf eigener Hardware oder einem privaten Server — zu betreiben. Im Unterschied zu Cloud-KI-Diensten wie ChatGPT werden bei Ollama keine Daten an externe Server übertragen. CNEXT implementiert Ollama für Schweizer Unternehmen, die KI-Werkzeuge einsetzen möchten, ohne auf Datensouveränität und nDSG-Konformität zu verzichten.
laufende API-Kosten bei selbst gehostetem Betrieb — kein Token-Verbrauch, kein Abonnement
CNEXTDatenkontrolle: alle Anfragen und Antworten bleiben im eigenen Netzwerk
CNEXT“Die häufigste Fehleinschätzung bei lokaler KI ist, dass man dafür leistungsstarke Server braucht. Für viele Schweizer KMU-Anwendungen — interne Suche, Dokumentenzusammenfassung, HR-Assistenten — reicht ein moderner Arbeitsrechner vollständig aus.”
Marcel Haas— CEO & KI-Architekt, CNEXT
Zuletzt aktualisiert: Juli 2026
Bereit für lokale KI?
CNEXT analysiert Ihren Use Case und zeigt Ihnen, ob und wie Ollama in Ihrer Umgebung den grössten Mehrwert bringt.