AI NET: Reviving old source code with Large Language Models – Fine-tuning an LLM for COBOL Comprehension

>> !! Dieser Vortrag wird auf Englisch gehalten !! <<

Beschreibung

Legacy Code wie beispielsweise COBOL-Systeme sind auch heute noch weit verbreitet und müssen weiterhin gewartet werden. In dieser Präsentation untersuchen wir den Einsatz von Large Language Models (LLMs), um die Dokumentation solcher Legacy-Systeme zu automatisieren.

LLMs haben große Fortschritte im Bereich der natürlichen Sprachverarbeitung (NLP) gemacht und sind somit auch im Software Engineering, insbesondere bei der Dokumentation von Code, äußerst wertvoll. Unser Fokus liegt darauf, die Generierung von COBOL-Code-Dokumentationen mithilfe von LLMs zu automatisieren.

Dieses Projekt beinhaltet die Erstellung eines Bewertungs-Frameworks zur Messung der Qualität der generierten Dokumentation sowie das Fine-tuning eines Open-Source-Modells mit einem spezialisierten COBOL-Datensatz. Unsere Ergebnisse zeigen die Vorteile auf, LLMs für spezifische Aufgaben wie die COBOL-Dokumentation zu trainieren, wodurch die Fähigkeit der Modelle zur Erleichterung des Verständnisses und der Wartung von Code verbessert wird.

Am Ende der Präsentation werden wir praxisnahe Beispiele zur Generierung von COBOL-Dokumentationen zeigen.

Nutzen für die Besucher:innen

Teilnehmer erhalten Einblicke in praktische Anwendungen zur Verbesserung der Effizienz in der Softwarewartung im Unternehmenskontext und lernen, wie man Frameworks zur Beurteilung der Qualität von Code-Dokumentationen entwickelt. Darüber hinaus erhalten sie Einblicke ins Fine-tuning von Large Language Models mit spezialisierten Datensätzen, demonstriert am Beispiel des verbesserten Verständnisses und der Wartung von Legacy-COBOL-Code.

Weitere Termine folgen: bitte unseren Newsletter abonnieren!

———————————————————————————————————————————

Description

In this presentation, we explore the application of Large Language Models (LLMs) to automate documentation for legacy COBOL systems, which remain prevalent in today’s market and necessitate ongoing maintenance.

Large Language Models have demonstrated significant advancements in Natural Language Processing (NLP), making them invaluable for tasks within Software Engineering, including code documentation. Our focus is on automating the generation of COBOL code documentation using LLMs.

This project involves creating an evaluation framework to measure the quality of generated documentation and fine-tuning an open-source model with a specialized COBOL dataset. Our findings underscore the benefits of training models on specific tasks like COBOL documentation, enhancing their ability to facilitate comprehension and maintenance of legacy COBOL code.

At the end of the presentation we will discuss practical examples on COBOL documentation generation use cases.

Benefit for the audience

Attendees will discover practical applications for improving software maintenance efficiency and learn about developing evaluation frameworks to assess documentation quality. They will also gain insights into a practical approach for fine-tuning LLMs with specialized COBOL datasets, showcasing improved performance in understanding and maintaining legacy code.

further dates: get our Newsletter here!

TIPP >> Unsere Veranstaltungsreihe “KI Roundtable” wäre auch für dich interessant!