AI xpress NET: Die Alternative zu Cloud-APIs: On-premise-Betrieb von OpenSource KI-Modellen
12. Dezember 2024 17:30 – 19:00
Beschreibung
Die Nutzung von Sprachmodellen über Cloud-APIs bietet zwar viele Vorteile, birgt aber mittel- bis langfristig auch Risiken, wenn darüber Automatisierungen im Unternehmen aufgebaut werden.
Technisch lässt es sich nicht verhindern, dass API-Betreiber die Anfragen und die darin enthaltenen Informationen mitlesen können. Abgesehen von einfachen Anfragen – deren Antworten hinterher ohnehin öffentlich geteilt werden – ist dies problematisch, beispielsweise wenn man Kundendaten, Verträge oder auch strategische Themen über Large Language Models verarbeiten möchte. Auch die langfristige Kosten- und Technologiekontrolle liegt beim API-Betreiber und nicht bei den Anwendern.
OpenSource-Sprachmodelle und -Frameworks können kommerziell genutzt werden und bieten eine kosteneffiziente Lösung mit maximaler Kontrolle über die Systeme. Der Hardwareeinsatz ist oft geringer als gedacht, insbesondere bei Verwendung sinnvoller Technologien wie Quantisierung und einem pragmatischem Vorgehen bei der Beschaffung. Für viele Einsatzfälle lassen sich so konkurrenzfähige Alternativen aufbauen.
Bei unserem Vortragsabend erhalten Sie einen Einblick in eine On-premise Lösung, die seit Oktober 2023 im Kundeneinsatz ist und seither kontinuierlich weiterentwickelt wurde. Wir werden sowohl die Hardware- als auch die Softwareseite beleuchten und Ihnen eine realistische Einschätzung des notwendigen Zeit- und Kostenaufwands für den Aufbau und Betrieb geben. Ziel ist es, die Leistungsfähigkeit eines solchen Systems zu vermitteln und Ihnen zu zeigen, wie Sie Ihre Sprachmodelle sicher und souverän im Unternehmen betreiben können.
Nutzen für die Besucher:innen
- Verständnis für Risiken von Cloud-APIs: Sie erfahren, welche Sicherheits- und Datenschutzrisiken bei der Nutzung von Cloud-basierten KI-APIs bestehen, insbesondere bei sensiblen Unternehmensdaten.
- Einblicke in OpenSource-Alternativen: Sie lernen, wie OpenSource-KI-Modelle eine kosteneffiziente und datensichere Alternative zu Cloud-Lösungen darstellen und welche Vorteile der On-premise-Betrieb bietet.
- Praktische Informationen zu Hardware und Software: Sie erhalten Einblicke zu Anforderungen und Kosten für den Aufbau und Betrieb von On-premise-Systemen mit OpenSource-KI-Modellen.
- Maximale Kontrolle und Flexibilität: Sie sehen, wie Unternehmen durch den Einsatz eigener Systeme die langfristige Kontrolle über Technologie und Kosten behalten können.
- Erfahrungen aus der Praxis: Sie profitieren von Einblicken in ein erfolgreiches On-premise-Projekt, das seit 2023 im Einsatz ist.
Weitere Termine:
Speaker
Dr. Dominik Rether, Geschäftsführer Qnovi GmbH
Dr. Dominik Rether ist Geschäftsführer der Qnovi GmbH, die Unternehmen bei der Entwicklung und Implementierung von KI-Lösungen berät und unterstützt. Nach seiner Promotion an der Universität Stuttgart im Bereich Fahrzeug- und Motorentechnik, war er lange Zeit in der Softwareentwicklung mit Fortran zur numerischen Strömungssimulation tätig. 2019 kam es zu ersten Berührungspunkten mit maschinellem Lernen für Prognosemodelle. 2021 erfolgte über die Gründung der Qnovi GmbH der Aufbau eines Teams aus Spezialisten, welche nutzbare KI-Lösungen für alle Branchen entwickeln. Seine Vorliebe gilt den selbstgehosteten LLM-Lösungen, deren Betreuung er teilweise übernimmt.
Anmeldung
TIPP >> Unsere Veranstaltungsreihe “KI Roundtable” wäre auch für dich interessant!