Wingman

Der Assistent Wingman ist ein innovatives Software-Tool, das es Benutzern ermöglicht, mit den Fraunhofer Jahresberichten über ein Chat-Interface zu interagieren. Im Hintergrund arbeitet ein System auf Basis von Large Language Models (LLMs), die direkt bei Fraunhofer Austria gehostet werden. Mit Wingman haben Nutzer interaktiven Zugriff auf den Inhalt der Jahresberichte und können so noch schneller tiefe Einblicke in die Forschungsergebnisse und -aktivitäten von Fraunhofer Austria gewinnen. Der Wingman demonstriert, wie das Interagieren mit Dokumenten unter Zuhilfenahme von KI funktioniert. Das System lässt sich für jegliche Art von textuellen Dokumenten (Produktbeschreibungen, Kundenkorrespondenzen, Wartungsdokumentation, …) und, wenn gewünscht, auf ihren eigenen Servern entsprechend einsetzen – beispielsweise, um Wissen Mitarbeitenden oder Kunden schneller und einfach verfügbar zu machen.

Funktionen

Über den Jahresbericht-Assistenten kann der Nutzer direkt Fragen an ausgewählte Jahresberichte stellen und bekommt nicht nur die passende Antwort präsentiert, sondern auch die Seite(n) angezeigt, wo sich weitere Informationen zu dem nachgefragten Thema befinden. So ermöglicht er einen schnellen Zugriff auf Informationen. Hinter dem Jahresbericht-Assistenten steckt Llama 3.1, eines der aktuell bekanntesten Open-Source-LLMs von Meta. Dieses wird gänzlich offline von Fraunhofer selbst betrieben und keine Anfrage verlässt das Unternehmen. Die Basis zur Beantwortung der Fragen ist ein RAG-basierter Ansatz. Dabei wird im ersten Schritt in einer Wissensdatenbank nach relevanten Informationen gesucht. Erst im zweiten Schritt werden gefundene Informationen zusammen mit der Frage an ein Large Language Modell übergeben, welches versucht, die Frage mit Hilfe der Informationen zu beantworten.

Nutzen

Das Tool stellt einen Showcase für viele weitere Anwendungen in der Industrie dar, z.B. als Interface für Benutzerhandbücher, Produktkataloge, Kundenkorrespondenzen, u.v.m. Weitere Vorteile dieser RAG-basierten Anwendung sind:

• Jegliches digital verfügbare Firmen-interne Wissen kann verwendet werden
• Es ist kein "Finetuning" des LLMs notwendig, dadurch wesentlich kürzere Entwicklungszeit, kein Experten-Knowhow für Modell-Training notwendig und auch geringere Anforderung an Hardware-Komponenten
• Verringerter Halluzinations-Effekt des LLMs, da der Kontext explizit auf den Anwendungsfall eingeschränkt wird
• Auch kleinere Modelle erzielen sehr gute Ergebnisse (Offline-Betrieb möglich)

Testen Sie den Wingman hier: https://wingman.ddd.fraunhofer.at