RAG : Travailler sur les données privées d’une entreprise

Les LLM sont entrainés sur d’énormes volumes de données, mais pas sur vos données. La génération augmentée de récupération ( Retrivial Augmented Generation, RAG) résout ce problème en ajoutant vos données aux données auxquelles les LLM ont déjà accès.
Dans RAG, vos données sont chargées et préparées pour les requêtes ou « indexées ». Les requêtes des utilisateurs agissent sur l’index, qui filtre vos données jusqu’au contexte le plus pertinent. Ce contexte et votre requête sont ensuite transmis au LLM avec une invite, et le LLM fournit une réponse.
LlamaIndex : Introduction to RAG

S’agissant d’assistants IA (par exemple un chatbot), nous sommes maintenant habitués à des applications qui s’appuient sur des grands modèles de langage (LLM) entrainés sur des données générales, c’est à dire publiques et non relative à une entité privée.
De ce fait :
– la thématique est non limitée, ce qui ouvre la porte à des "hallucinations",
– les données ne peuvent être suffisamment détaillées pour satisfaire un utilisateur professionnel,
– vous ne pouvez pas assurer leur mise à jour,
– s’agissant le plus souvent d’applications "dans le Cloud" diffusées en mode SaaS ou PaaS, la sécurité des données ne peut être aussi bien assurée que dans le cas d’applications installées sur les ressources privés d’une entité. Le RGPD exige que ces ressources soient situées en Europe.

DnC propose des outils, généralement sous la forme de service Web, qui appliquent la méthode RAG pour traiter localement les données de l’entité sur ses propres serveurs. L’alternative étant le "fine tuning" exigeant de transférer à une entité extérieure les données de l’entreprise pour compléter l’apprentissage de son modèle de langage.

De plus, grâce à notre serveur d’authentification OAuthSD, vous maîtriserez quelles applications auront accès à vos données et avec quels privilèges.

Offrir des outils répondant à des objectifs particuliers

Les premiers travaux de DnC portent sur l’IA générative appliqué à des connaissances.

Il est rapidement apparu que des applications particulières exigent d’appliquer des traitements de données différenciés selon les objectifs poursuivis : on ne peut se contenter du seul mode question/réponse.

On pourra objecter que la question posée à un chatbot (le "prompt") peut inclure des instructions qui permettront d’atteindre des objectifs particuliers.
A ceci nous répondons que :
– c’est tout un art que de formuler correctement les instructions ;
– répéter cette formulation à chaque question peut s’avérer fastidieux ;
– cela ne permet pas de configurer les traitements internes, en particulier le "prompt système" reste le même, ainsi que la logique et les réglages des différentes étapes du traitement.

Pour répondre aux objectifs particuliers d’une entreprise, nous introduisons les thèmes et les Modes :
– En permettant de créer des groupes de documents indépendants, les thèmes offrent un fonctionnement multi-utilisateurs tout en assurant la confidentialité des données et en évitant les hallucinations.
– Les modes permettent le paramétrage des traitements pour répondre à différents objectifs.
En savoir plus : Les Thèmes et les Modes, une originalité de l’IA de DnC :

Le démonstrateur de robot conversationnel : ChattyBot

ChattyBot est un robot conversationnel.
C’est une application Web autonome. Elle est multi-utilisateur, sécurisant les données de différentes entités en les isolant dans des espaces de données spécifiques : les ’thèmes’. Cela permet également de définir des traitements répondant aux objectifs particuliers de l’entité.

ChattyBot est multilingue (il répond dans la langue dans laquelle il est interrogé) et peut effectuer des traductions.

En savoir plus : ChattyBot

Le démonstrateur de service Web : ChattyWS

ChattyWS est le prototype d’un service Web conçu pour être intégré à une application textuelle. Il répond aux questions, apporte automatiquement des corrections aux textes fournis et s’oppose aux contenus inappropriés. C’est un outil idéal pour garantir de manière automatisée la qualité rédactionnelle d’un site web, modérer automatiquement un forum, générer des réponses pour une FAQ, augmenter la productivité des rédacteurs etc. C’est une application multilingue.

En savoir plus : ChattyWS