[Projekte](https://meeva.de/projekte)/Wissensarbeit neu gedacht: Ein KI Betriebssystem für den Mittelstand 2025KI BETRIEBSSYSTEM # Wissensarbeit neu gedacht: Ein KI Betriebssystem für den Mittelstand Ein mittelständisches Unternehmen mit rund 800 Mitarbeitenden kämpfte mit fragmentiertem Wissen in Dutzenden Systemen. Wir haben ein KI gestütztes Betriebssystem entwickelt, das Retrieval Augmented Generation, Vektorsuche und autonome Agenten vereint, um Unternehmenswissen in Echtzeit zugänglich zu machen. Das Ergebnis: drastisch verkürzte Recherchezeiten und eine völlig neue Art, mit internem Wissen zu arbeiten. ## AUSGANGSLAGE Das Unternehmen betrieb über 30 verschiedene Softwaresysteme, von ERP über CRM bis hin zu Wikis und File Shares. Mitarbeitende verbrachten täglich bis zu zwei Stunden mit der Suche nach Informationen, die irgendwo im digitalen Dickicht verborgen lagen. Onboarding neuer Kolleginnen und Kollegen dauerte Monate, weil Wissen in den Köpfen einzelner Personen steckte. Die Geschäftsführung erkannte, dass dieses Problem nicht mit einem weiteren Tool zu lösen war, sondern einen grundlegend anderen Ansatz erforderte. ## ZIELE - Zentraler Zugang zu Unternehmenswissen über alle Systeme hinweg - Natürlichsprachliche Abfragen statt komplexer Suchmasken - Automatisierte Wissensextraktion aus Dokumenten, E-Mails und Datenbanken - Rollenbasierte Zugriffssteuerung für sensible Informationen - Messbare Reduktion der täglichen Recherchezeit pro Mitarbeitendem ## LÖSUNG ### Architektur Wir haben eine modulare Plattform auf Basis von Microservices entwickelt. Im Kern steht eine RAG Pipeline, die Dokumente aus allen angebundenen Quellen indexiert, in Vektoren transformiert und in einer Vektordatenbank ablegt. Eine Orchestrierungsschicht koordiniert spezialisierte KI Agenten, die je nach Anfrage unterschiedliche Datenquellen und Verarbeitungsstrategien kombinieren. ### Datenfluss Konnektoren für SAP, SharePoint, Confluence und diverse Dateisysteme extrahieren kontinuierlich Inhalte. Ein Preprocessing Layer normalisiert Formate, extrahiert Metadaten und führt Chunking durch. Die resultierenden Embeddings werden in einer Vektordatenbank gespeichert und bei Anfragen mittels semantischer Suche abgerufen. Ein Reranking Modell priorisiert die Ergebnisse nach Relevanz und Aktualität. ### Sicherheit Sämtliche Daten bleiben in der europäischen Cloud Infrastruktur des Unternehmens. Die bestehende Active Directory Integration stellt sicher, dass Nutzer nur Informationen sehen, auf die sie auch in den Quellsystemen Zugriff haben. Alle Anfragen und Antworten werden für Compliance Zwecke protokolliert, ohne personenbezogene Daten in den Trainings Loop einfließen zu lassen. ### Betrieb Die Plattform läuft containerisiert auf Kubernetes mit automatischer Skalierung. Ein Monitoring Dashboard zeigt Anfragequalität, Antwortzeiten und Indexierungsstatus in Echtzeit. Nächtliche Reindexierungsläufe halten den Wissensbestand aktuell. Ein Feedback Mechanismus ermöglicht es Nutzern, die Qualität der Antworten zu bewerten und damit das System kontinuierlich zu verbessern. ## AI UND DATEN Das Herzstück der Lösung ist eine mehrstufige RAG Architektur. Eingehende Anfragen werden zunächst von einem Intent Classifier analysiert, der entscheidet, welche Agenten aktiviert werden. Ein Recherche Agent durchsucht die Vektordatenbank, ein Analyse Agent verarbeitet strukturierte Daten aus dem ERP, und ein Zusammenfassungs Agent kondensiert lange Dokumente auf das Wesentliche. Für komplexe Fragestellungen arbeiten diese Agenten in einer Chain of Thought Kette zusammen. Die verwendeten LLMs laufen als selbst gehostete Open Source Modelle, um Datensouveränität zu gewährleisten. ## HERAUSFORDERUNGEN Die heterogene Datenlandschaft mit über 30 Systemen erforderte individuelle Konnektoren, von denen einige gegen nicht dokumentierte APIs entwickelt werden mussten. Die Balance zwischen Antwortqualität und Antwortgeschwindigkeit war eine konstante Herausforderung. Zu viele Kontextdokumente verbessern die Präzision, verlangsamen aber die Antwort. Change Management spielte eine zentrale Rolle. Mitarbeitende mussten lernen, Fragen an ein KI System anders zu formulieren als Suchanfragen an eine klassische Volltextsuche. Die rollenbasierte Filterung von Ergebnissen musste in Echtzeit geschehen, ohne die Antwortzeiten merklich zu beeinflussen. ## UMSETZUNG Ein Team aus vier Entwicklern, einem ML Engineer und einem UX Designer. Auf Kundenseite waren ein Product Owner und zwei Key User als Fachexperten eingebunden. 6 Monate von Discovery bis Produktivbetrieb, anschließend laufende Weiterentwicklung PHASE 1 ### Discovery und Datenlandschaft Analyse aller Quellsysteme, Datenschutz Assessment, Definition der MVP Scope mit drei priorisierten Datenquellen. PHASE 2 ### Core RAG Pipeline Entwicklung der Indexierungs Pipeline, Vektordatenbank Setup, erste Konnektoren für SharePoint und Confluence. PHASE 3 ### Agenten Orchestrierung Implementierung der spezialisierten Agenten, Intent Classification, Chain of Thought Logik und Reranking. PHASE 4 ### Integration und Rollout Anbindung weiterer Quellsysteme, Nutzerschulungen, Feedback Loop Implementierung und Performance Optimierung. ## ERGEBNISSE Recherchezeit pro Mitarbeitendem ~2 Stunden/Tag ~25 Minuten/Tag Onboarding Dauer 12 Wochen 4 Wochen Indexierte Dokumente 2,4 Millionen Antwortzeit (P95) <3 Sekunden Nutzerzufriedenheit 4,2 von 5,0 Angebundene Systeme 18 von 32 ## TECH STACK PythonFastAPILangChainQdrantKubernetesReactTypeScriptPostgreSQLRedisOllamaAzure CloudTerraformPrometheusGrafana ## MEINE ROLLE Technische Gesamtverantwortung und Architektur. Definition der RAG Strategie, Auswahl der Modelle und Vektordatenbank, Koordination zwischen Entwicklungsteam und Fachbereich. Direkte Mitarbeit an der Agenten Orchestrierung und der Security Architektur. Regelmäßige Abstimmung mit der Geschäftsführung zu Fortschritt und strategischer Ausrichtung. ## LESSONS LEARNED 1. 01 Ein RAG System ist nur so gut wie die Qualität seiner Datenquellen. Investitionen in Datenbereinigung und Preprocessing zahlen sich mehrfach aus. 2. 02 Nutzer erwarten von einem KI System perfekte Antworten. Frühzeitiges Erwartungsmanagement und transparente Kommunikation über die Grenzen der Technologie sind unverzichtbar. 3. 03 Self Hosting von LLMs bietet Datensouveränität, erfordert aber signifikante GPU Infrastruktur und Expertise in Modelloptimierung. 4. 04 Agentenbasierte Architekturen ermöglichen elegante Lösungen für komplexe Abfragen, erhöhen aber die Debugging Komplexität erheblich. [NÄCHSTES PROJEKTVom Kassensystem zur vernetzten Filialplattform](https://meeva.de/projekte/pos-spezialloesungen) [← ALLE PROJEKTE](https://meeva.de/projekte) NÄCHSTER SCHRITT ## Ähnliche Herausforderung? Erzähl uns von deinem Projekt. Wir melden uns innerhalb von 24 Stunden mit einer ersten Einschätzung. [PROJEKT ANFRAGEN](https://meeva.de/kontakt?topic=build)