AI-Hub

• Business Automation: Automatisiertes Setup
• Business Implementation: An Geschäftsprozesse angepasst
• Moderne Softwareentwicklung mit DevOps: Effizienter Betrieb und Weiterentwicklung
• Stand der Technik nach §32 DSGVO: Rechtssichere Sicherheitsmaßnahmen
• Benutzerverwaltung: Vergabe von Zugriffsrechten und Rollen
• Open Source: Quelloffen und anpassbar
• Knowledge Base: Umfangreiche Dokumentation verfügbar
• Community: Aktive Entwickler- und Nutzerbasis
• Verschlüsselung: Unterstützt SSL/TLS für sichere Verbindungen
• Modular: Flexibel erweiterbare Proxy-Architektur
• Skalierbar: Auf den aktuellen Bedarf anpassbare Architektur
• Kompatibilität: Gut in heterogene Umgebungen integrierbar

• Vollständiger Betrieb auf Managed Business Plattform
• Bereitstellung des Services innerhalb von 3 Geschäftstagen
• Persönlicher Ansprechpartner während der Bürozeiten (8-12 Uhr und 13-17 Uhr)
• Reaktion am selben Geschäftstag
• Remote-Zugriff nach Vereinbarung
• ISMS-Inventarisierung zur Leistungserfüllung
• Datenverarbeitung nach Art. 30 DSGVO
• Kontinuierliche Überwachung der Diensteverfügbarkeit
• Regelmäßige Aktualisierung der Anwendungssoftware
• Mehrstufige Sicherungen und Löschung nach Art.17 EU-DSGVO
• Datenüberlassung und -Löschung bei Kündigung nach DSGVO
• Die Kündigungsfrist beträgt 1 Monat

Das Core-Modul bildet die technische Basis und ist zwingend erforderlich. Alle anderen Module (Assist, Insights, Studio) sind optional und können je nach Bedarf hinzugefügt werden.

Die Setup-Gebühr deckt die einmalige Einrichtung der AI-Arbeitsumgebung ab. Sie umfasst – je nach gewähltem Modul – immer den vollständigen technischen Stack, aber keine individuellen Use‑Cases oder Fachkonzepte.

Die genaue Zusammenstellung der Toolbox hängt vom Modul und den spezifischen Projektanforderungen ab:

Core

• LiteLLM – Routing / Proxy für KI-Modelle (OpenAI, Anthropic, Azure, lokale Modelle)
• OpenWebUI – zentrales Web-Frontend für Chat & Interaktion
• Ollama – lokale Modelle (z. B. Llama, Mistral, Phi) für On‑Prem‑Betrieb
• vLLM / Text-Generation-Inference – performante Inferenz-Backends für große Sprachmodelle
• Nginx / Traefik – Reverse Proxy für TLS, Mandantenfähigkeit und Zugriffssteuerung
• Keycloak / Authentik – zentrale Identity- und Rechteverwaltung
• etc.

Assist (AI-Support-Anwendungen)

• AI-gestützte Helpdesk- und Chatbot-Plattformen (z. B. OpenWebUI-Assistants, Rasa, Botpress)
• AI-Funktionen in Ticket-/Service-Desk-Systemen (z. B. Zammad, Jira Service Management mit KI-Add-ons)
• Wissensdatenbanken als Kontextquelle (z. B. Outline, Confluence, Wiki-Systeme)
• Retrieval-Augmented-Generation (RAG)-Stacks (z. B. LlamaIndex, LangChain) für FAQ-/Knowledge-Bots
• Workflow-/Automation-Engines (z. B. n8n, Node-RED) zur automatisierten Fallbearbeitung
• etc.

Insights (AI für eigene Business-Daten)

• Log- und Event-Analyse (z. B. Loki, Elasticsearch/OpenSearch, Graylog)
• Dashboards & BI für Business-Kennzahlen (z. B. Grafana, Metabase, Power BI)
• Vektor-Datenbanken zur semantischen Analyse (z. B. Qdrant, Weaviate, pgvector)
• Feature Stores / Data Lake-Anbindung (z. B. DuckDB, Parquet, object storage)
• AI-gestützte Anomalie- und Mustererkennung über Betriebs- und Geschäftsdaten
• etc.

Studio (Generative AI & Medien)

• Bild-/Media-Modelle (z. B. Stable Diffusion, FLUX, SDXL, LCM-Varianten)
• Prompt- und Workflow-Orchestrierung (z. B. ComfyUI, InvokeAI, n8n, Node-RED)
• Audio-/Speech-Modelle (z. B. Whisper für Transkription, TTS-Engines)
• Assetspeicher (z. B. S3-kompatibler Storage, Git/Asset-Repo) für generierte Inhalte
• etc.

Sonstiges:

• Systemvoraussetzungen: Managed Linux - Physical Dedicated (Level 4)
• Die Kündigungsfrist beträgt 1 Monat
• Die Lizenzierung hängt von der gewählten Ausstattung ab. In der Basisversion ist AI-Hub lizenzfrei und Open Source. Für erweiterte Funktionen oder spezielle Module können zusätzliche Lizenzkosten anfallen.

1. Kann AI-Hub auch rein lokal betrieben werden?Ja, durch die Integration von Ollama und lokalen Modellen kann AI-Hub vollständig On‑Premises ohne Verbindung zu externen Cloud-KI-Diensten betrieben werden.
2. Wie wird die Nutzung überwacht und protokolliert?Über zentrales Logging und Live-Metriken. Alle Anfragen können nachverfolgt, ausgewertet und bei Bedarf revisionssicher archiviert werden.
3. Ist die Lösung DSGVO-konform?Ja, insbesondere bei rein lokaler Nutzung. AI-Hub unterstützt technische Maßnahmen nach Art. 32 DSGVO (z. B. Verschlüsselung, Zugriffskontrolle, Protokollierung). Eine vollständige Bewertung erfolgt im jeweiligen Kundenkontext.
4. Können Budgetlimits flexibel angepasst werden?Ja, Limits und Quoten können pro Benutzer, Gruppe oder Anwendung gesetzt und jederzeit angepasst werden (z. B. Token-Kontingente, Kostenobergrenzen).
5. Unterstützt AI-Hub mehrere KI-Anbieter parallel?Ja, über den Proxy (z. B. LiteLLM) können unterschiedliche Anbieter und Modelltypen parallel eingebunden und pro Use Case ausgewählt werden.
6. Welche Daten werden an externe KI-Dienste übermittelt?Das ist konfigurierbar. AI-Hub erlaubt es, Kontexte zu maskieren, zu kürzen oder ausschließlich lokale Modelle zu verwenden, wenn keine Daten die eigene Umgebung verlassen sollen.
7. Kann ich eigene Wissensquellen für AI-Assistants verwenden?Ja, über RAG-Stacks (z. B. LlamaIndex, LangChain) können Dokumente, Wikis oder FAQ-Datenbanken eingebunden und für Assistants nutzbar gemacht werden.
8. Wie integriere ich AI-Hub in bestehende Systeme?Über standardisierte Schnittstellen (HTTP/REST, Webhooks) und Integrations-Tools wie n8n oder Node‑RED. Typische Ziele sind Helpdesk-Systeme, Portale oder Fachanwendungen.
9. Wie skaliert AI-Hub bei steigender Nutzung?Die Architektur ist modular und horizontal skalierbar. Modell-Backends und Proxy-Komponenten können getrennt skaliert und auf mehrere Server oder Cluster verteilt werden.
10. Gibt es eine Test- oder Sandbox-Umgebung?Ja. Zusätzlich zur Produktionsumgebung kann auf Wunsch eine Test- oder Sandbox-Instanz bereitgestellt werden, in der neue Modelle, Konfigurationen und Workflows sicher erprobt werden können.

• litellm: https://github.com/BerriAI/litellm
• OpenWebUI: https://github.com/open-webui/open-webui
• Ollama: https://ollama.com

• OpenAI Enterprise Gateway – proprietär, jedoch ohne Kontrolle
• Azure OpenAI-Proxy – in Cloud-Umgebungen integriert, aber weniger flexibel bei lokalen Setups und riskant bzgl. Datenschutz