Des chercheurs explorent l’intégration de modèles linguistiques de grande taille (LLMs) avec des graphes de connaissances et des ontologies pour améliorer leurs performances dans des tâches financières spécialisées. Bien que les modèles pré-entraînés comme GPT possèdent des capacités linguistiques générales, ils se révèlent souvent insuffisants dans des domaines de niche tels que la finance. Cette étude propose une approche novatrice en combinant les LLMs avec le raisonnement ontologique, en utilisant un Graph de Connaissances d’Entreprise (EKG) pour infuser des connaissances financières structurées dans le processus de fine-tuning. La méthodologie implique la génération d’un “espace de raisonnement” complet à l’aide du moteur Vadalog, qui transforme les inférences logiques en énoncés en langage naturel pour entraîner le LLM.
L’étude met en avant plusieurs contributions, notamment la création d’un corpus synthétique riche en connaissances pour le fine-tuning des LLMs, visant à améliorer les performances dans des tâches telles que la réponse à des questions, l’explication, la traduction et la description dans le domaine financier. Mis en œuvre avec le modèle T5-large de Google dans un environnement de trading, le modèle enrichi par l’ontologie a démontré une précision et une transparence accrues par rapport à un modèle de base.
Cependant, le document souligne des limitations telles que la nécessité de disposer de connaissances de haute qualité dans le domaine et les difficultés à maintenir des ontologies à jour. L’intensité computationnelle du raisonnement ontologique et le biais potentiel envers le contenu de l’ontologie dans le LLM sont également des préoccupations. Les recherches futures devraient se concentrer sur une évaluation rigoureuse, la scalabilité et le maintien des capacités linguistiques générales du modèle.
Malgré ces défis, l’approche représente une avancée significative vers des systèmes d’IA plus fiables en finance, en accord avec les tendances industrielles qui valorisent une IA informée et interprétable. L’intégration du raisonnement symbolique avec l’apprentissage basé sur les données pourrait réduire la nature “boîte noire” des LLMs, les rendant plus aptes à expliquer le comportement du marché.
