AI-Hub
Sichere Vermittlung von KI-Anfragen über einen kontrollierten Proxy.
| OS: Linux |
| Quellen: Open Source |
| Lizenz: Kostenfrei |
AI-Proxy ermöglicht Unternehmen die sichere und kontrollierte Nutzung von KI-Diensten. Durch den Einsatz eines Proxy-Systems behalten Organisationen jederzeit die Übersicht über Kosten, Kontexte und Nutzungsrechte. Die Lösung bietet sowohl Logging als auch Live-Überwachung und unterstützt lokale Setups sowie hybride Szenarien.
- Einschränkung unkontrollierter Nutzung von Online-KI-Diensten
- Vermittlung von KI-Anfragen über einen Proxy
- Live-Überwachung und Protokollierung
- Vorgabe von Kontext und Budget im Proxy
- Integration lokaler Netze über Ollama
- Business Automation: Automatisiertes Setup
- Business Implementation: An Geschäftsprozesse angepasst
- Moderne Softwareentwicklung mit DevOps: Perfekt integrierbar in DevOps-Umgebungen.
- Stand der Technik nach §32 DSGVO: Datensicherheit auf höchstem Niveau
- Benutzerverwaltung: Vergabe von Zugriffsrechten
- Open Source: Quelloffen und anpassbar
- Knowledge Base: Umfangreiche Dokumentation verfügbar
- Community: Große Benutzer- und Entwicklerbasis
- Verschlüsselung: Unterstützt SSL/TLS für sichere Verbindungen
- Modular: Einfache Zusammenstellung und Erweiterung der Funktionalität
- Skalierbar: Auf den aktuellen Bedarf anpassbare Ausstattung
- Kompatibilität: Gut in heterogene Umgebungen integrierbar
- Vollständiger Betrieb auf Managed Business Plattform
- Bereitstellung des Services innerhalb von 3 Geschäftstagen
- Persönlicher Ansprechpartner während der Bürozeiten (8-12 Uhr und 13-17 Uhr)
- Reaktion am selben Geschäftstag
- Remote-Zugriff nach Vereinbarung
- ISMS-Inventarisierung zur Leistungserfüllung
- Datenverarbeitung nach Art. 30 DSGVO
- Kontinuierliche Überwachung der Diensteverfügbarkeit
- Regelmäßige Aktualisierung der Anwendungssoftware
- Mehrstufige Sicherungen und Löschung nach Art.17 EU-DSGVO
- Datenüberlassung und -löschung bei Kündigung nach DSGVO
- Die Kündigungsfrist beträgt 1 Monat
- Systemvoraussetzungen: Managed Linux (min. Level 1)
- Die Kündigungsfrist beträgt 1 Monat
Weitere Details:
- Setup bestehend aus OpenWebUI (Frontend), LiteLLM als Proxy und Ollama (für lokale Netze)
- Flexible Integration in bestehende Netzwerke
- Transparente Kontrolle durch umfassende Logging-Funktionalitäten
- Budgetierung und Limitierung von Anfragen direkt im Proxy
- Kann AI-Proxy auch rein lokal betrieben werden?
Ja, durch die Integration von Ollama ist auch eine lokale Nutzung ohne externe KI-Dienste möglich.
- Wie wird die Nutzung überwacht?
Über ein zentrales Logging und eine Live-Überwachung, die Einblick in alle Anfragen gibt.
- Ist die Lösung DSGVO-konform?
Ja, bei rein lokaler Nutzung.
- Können Budgetlimits flexibel angepasst werden?
Ja, Limits können jederzeit Gruppen- oder Benutzerbasiert neu gesetzt oder erweitert werden.
- litellm: https://github.com/BerriAI/litellm
- OpenWebUI: https://github.com/open-webui/open-webui
- Ollama: https://ollama.com
- OpenAI Enterprise Gateway – proprietär, jedoch ohne Kontrolle
- Azure OpenAI-Proxy – in Cloud-Umgebungen integriert, aber weniger flexibel bei lokalen Setups und riskant bzgl. Datenschutz
- Self-managed API-Gateway – Eigenentwicklung möglich, aber hoher Wartungsaufwand
Ihr dynamisches Snippet wird hier angezeigt ...
Diese Meldung wird angezeigt, weil Sie weder einen Filter noch eine Vorlage zur Verwendung bereitgestellt haben.