Lade Veranstaltungen

« Alle Veranstaltungen

AI xpress NET: Die Alternative zu Cloud-APIs: On-premise-Betrieb von OpenSource KI-Modellen

12. Dezember 2024 17:30 19:00

Beschreibung

Die Nutzung von Sprachmodellen über Cloud-APIs bietet zwar viele Vorteile, birgt aber mittel- bis langfristig auch Risiken, wenn darüber Automatisierungen im Unternehmen aufgebaut werden.
Technisch lässt es sich nicht verhindern, dass API-Betreiber die Anfragen und die darin enthaltenen Informationen mitlesen können. Abgesehen von einfachen Anfragen – deren Antworten hinterher ohnehin öffentlich geteilt werden – ist dies problematisch, beispielsweise wenn man Kundendaten, Verträge oder auch strategische Themen über Large Language Models verarbeiten möchte. Auch die langfristige Kosten- und Technologiekontrolle liegt beim API-Betreiber und nicht bei den Anwendern.
OpenSource-Sprachmodelle und -Frameworks können kommerziell genutzt werden und bieten eine kosteneffiziente Lösung mit maximaler Kontrolle über die Systeme. Der Hardwareeinsatz ist oft geringer als gedacht, insbesondere bei Verwendung sinnvoller Technologien wie Quantisierung und einem pragmatischem Vorgehen bei der Beschaffung. Für viele Einsatzfälle lassen sich so konkurrenzfähige Alternativen aufbauen.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Bei unserem Vortragsabend erhalten Sie einen Einblick in eine On-premise Lösung, die seit Oktober 2023 im Kundeneinsatz ist und seither kontinuierlich weiterentwickelt wurde. Wir werden sowohl die Hardware- als auch die Softwareseite beleuchten und Ihnen eine realistische Einschätzung des notwendigen Zeit- und Kostenaufwands für den Aufbau und Betrieb geben. Ziel ist es, die Leistungsfähigkeit eines solchen Systems zu vermitteln und Ihnen zu zeigen, wie Sie Ihre Sprachmodelle sicher und souverän im Unternehmen betreiben können.

Nutzen für die Besucher:innen

  • Verständnis für Risiken von Cloud-APIs: Sie erfahren, welche Sicherheits- und Datenschutzrisiken bei der Nutzung von Cloud-basierten KI-APIs bestehen, insbesondere bei sensiblen Unternehmensdaten.
  • Einblicke in OpenSource-Alternativen: Sie lernen, wie OpenSource-KI-Modelle eine kosteneffiziente und datensichere Alternative zu Cloud-Lösungen darstellen und welche Vorteile der On-premise-Betrieb bietet.
  • Praktische Informationen zu Hardware und Software: Sie erhalten Einblicke zu Anforderungen und Kosten für den Aufbau und Betrieb von On-premise-Systemen mit OpenSource-KI-Modellen.
  • Maximale Kontrolle und Flexibilität: Sie sehen, wie Unternehmen durch den Einsatz eigener Systeme die langfristige Kontrolle über Technologie und Kosten behalten können.
  • Erfahrungen aus der Praxis: Sie profitieren von Einblicken in ein erfolgreiches On-premise-Projekt, das seit 2023 im Einsatz ist.

Weitere Termine:

23.01.2025 AIQualify – Framework zur Qualifizierung von KI-Systemen in der industriellen Qualitätsprüfung

Speaker

Dr. Dominik Rether, Geschäftsführer Qnovi GmbH

Dr. Dominik Rether ist Geschäftsführer der Qnovi GmbH, die Unternehmen bei der Entwicklung und Implementierung von KI-Lösungen berät und unterstützt. Nach seiner Promotion an der Universität Stuttgart im Bereich Fahrzeug- und Motorentechnik, war er lange Zeit in der Softwareentwicklung mit Fortran zur numerischen Strömungssimulation tätig. 2019 kam es zu ersten Berührungspunkten mit maschinellem Lernen für Prognosemodelle. 2021 erfolgte über die Gründung der Qnovi GmbH der Aufbau eines Teams aus Spezialisten, welche nutzbare KI-Lösungen für alle Branchen entwickeln. Seine Vorliebe gilt den selbstgehosteten LLM-Lösungen, deren Betreuung er teilweise übernimmt.

Anmeldung

kostenlos keine Teilnahmegebühr
Nur für Rückfragen zur Anmeldung oder bei kurzfristigen Terminänderungen!

Ich möchte mich zum Newsletter anmelden.

Tribe Loading Animation Image

TIPP >> Unsere Veranstaltungsreihe “KI Roundtable” wäre auch für dich interessant!

Veranstalter

Röhrer Weg 8
Böblingen, 71032 Deutschland
Google Karte anzeigen
Veranstaltungsort-Website anzeigen
Google Maps

Mit dem Laden der Karte akzeptieren Sie die Datenschutzerklärung von Google.
Mehr erfahren

Karte laden