Yext présente l'injection de connaissances avec de grands modèles de langage (LLM)

En mai, Yext a fait une présentation sur l'injection de connaissances avec de grands modèles de langage (LLM) lors de la conférence ESWC 2023 (Extended Semantic Web Conference). L'article, Knowledge Injection to Counter Large Language Model (LLM) Hallucination, coécrit par Ariana Martino et Michael Iannelli, data scientists chez Yext, et Coleen Truong, senior data analyst chez Yext, représente la deuxième étude évaluée par des pairs publiée par la recherche et développement de Yext. Cet article analyse les résultats de l'utilisation des données d'entités apparentées de Yext Content avec les LLM pour la génération automatisée de réponses aux avis. Cette étude a contribué au développement de Content Generation for Review Response, une fonctionnalité incluse dans la Summer Release 2023.

Poursuivez votre lecture pour découvrir les principales conclusions de ce document.

Notre recherche découle d'une étude menée par Yext qui a révélé dans quelle mesure les réponses aux avis en ligne peuvent avoir un impact sur la réputation d'une l'entreprise. Les entreprises qui répondent à au moins 50 % des avis voient leur note augmenter d'environ 0,35 étoile en moyenne.* La réputation d'une entreprise en ligne s'en trouve améliorée, notamment dans les résultats de recherche. Des études antérieures ont également montré qu'il est judicieux de répondre à 60-80 % des avis.** Selon le volume des avis reçus par une entreprise, ce processus manuel d'examen et de génération de contenu peut représenter plusieurs heures, voire plusieurs jours, de la charge de travail d'un employé à temps plein. Nous avons cherché à savoir si nous pouvions tirer parti de la technologie émergente des LLM pour automatiser et rationaliser le processus de réponse aux avis des entreprises par le biais de notre plateforme de suivi des avis.

Un grand modèle de langage est un algorithme d'IA entraîné sur de grands ensembles de données capable d'effectuer toute une panoplie de tâches de traitement du langage naturel telles que la génération de texte ou la réponse à des questions de manière conversationnelle (vous le savez probablement déjà si vous avez utilisé des outils tels que Jasper ou ChatGPT). Les LLM sont déjà utilisés dans d'autres parties de la plateforme Yext, telles que Chat et la fonctionnalité Content Generation . Nous avons cherché à savoir si l'IA et les LLM pouvaient être utilisés pour Reviews.

La base de notre étude repose sur Yext Content, qui s'appuie sur la technologie des graphes de connaissances où sont stockés les informations approuvées par la marque. Yext Content présente quatre caractéristiques clés principales.

1. Maintient un schéma flexible

Content permet de personnaliser la plateforme en fonction des besoins et de la structure opérationnelle de chaque entreprise. Par exemple, un système de santé aurait besoin de types d'entités qui présentent les professionnels de santé, la localisation des hôpitaux, les spécialités médicales et les documents relatifs à la santé, tandis qu'un restaurant aurait des menus, des emplacements de restaurant et des événements spéciaux. Le schéma des graphes de connaissances peut également être modifié au fil du temps pour s'adapter à l'évolution des besoins et de la structure des entreprises.

2. Définit les relations entre les entités.

Content fournit également des définitions sur la manière dont les entités sont liées les unes aux autres. Par exemple, le docteur A travaille dans un cabinet situé à Union Square. Ces informations supplémentaires fournissent un contexte clé qui permet au LLM de comprendre la structure des relations entre deux objets.

3. Contient des connexions de relations bidirectionnelles

En se basant sur la technologie des graphes, Content peut rendre les connexions bidirectionnelles. Par exemple, un médecin travaille dans un cabinet situé à Union Square. Dans la même relation, nous pouvons déduire que dans le cabinet situé à Union Square il y a le docteur A qui travaille. Cette couche contextuelle supplémentaire fournit une multitude d'informations qui permettent d'établir des liens complexes entre les entités.

Ces connexions vont au-delà des entités ajoutées à Content et s'étendent aux données renvoyées dans la plateforme Yext à travers nos autres lignes de produits telles que Reviews, Pages, Search, et Chat. Pour ce qui est des avis spécifiques, les données relatives aux avis sont agrégées à partir de tous les annuaires disponibles pour chaque entité unique et renvoyées dans la plateforme de suivi des avis de Yext. Ce contenu peut ensuite être vérifié par un employé de la marque afin de générer manuellement une réponse adaptée, qui est ensuite renvoyée vers le site de l'annuaire tiers.

4. Relations à sauts multiples

Grâce aux liens entre les entités, nous pouvons établir des liens relationnels en toute confiance entre des entités qui ne sont pas directement reliées entre elles. Par exemple, si un médecin est spécialisé en gastro-entérologie pédiatrique et que les rendez-vous en gastro-entérologie pédiatrique se tiennent uniquement au cabinet d'Union Square, nous savons que le médecin travaille au cabinet d'Union Square.

Hypothèse

Notre hypothèse était que l'inclusion d'informations sur les entités apparentées dans le texte de l'invite permettrait de générer une réponse qui reflète les informations pertinentes de l'entreprise. Nous avons défini l'injection de connaissances (Knowledge Injection, KI) comme l'injection d'informations sur les entités apparentées dans le texte de l'invite d'un LLM.

Afin d'améliorer les réponses générées par les LLM, nous avons développé une technique d'ingénierie rapide appelée l'injection de connaissance (ou KI pour Knowledge Injection) qui permet de cartographier les données contextuelles sur les entités pertinentes pour une tâche, d'un graphe de connaissances à un espace texte à inclure dans une invite LLM. Les experts de la marque ont évalué les affirmations (c'est-à-dire la précision du nom d'un lieu, la possibilité d'être contacté par téléphone ou par e-mail, la propriété de la marque ou l'adresse du lieu) au sein d'une réponse générée pour déterminer si les assertions étaient « correctes » ou « incorrectes ». De plus, des experts de la marque ont évalué la qualité globale des réponses générées afin de vérifier le respect des normes de la marque dans les réponses aux avis.

Expérience 1 :

Pour savoir si l'utilisation de l'injection de connaissances (KI) réduit les hallucinations dans les réponses générées, nous avons entraîné bloom-560m sur des paires d'avis-réponse comme ensemble de données pour notre contrôle. Nous avons ensuite exécuté à nouveau le modèle avec des invites contenant des informations sur les entités apparentées avec les paires avis-réponse dans bloom-560m pour un LLM recevant des invites générées par la KI.***

Les experts de la marque ont ensuite analysé les résultats du modèle sur les données d'entités connexes dans Yext Content et ont marqué les assertions dans chaque réponse générée sur la base des critères suivants :

Assertion incorrecte (hallucinée) : informations fausses contredites par le graphe de connaissances, comme le fait d'indiquer aux clients d'appeler un numéro de téléphone fictif

Assertion correcte : Assertions non marquées comme incorrectes

Dans cette expérience, nous avons constaté que l'utilisation de la KI permettait de réduire les hallucinations et d'augmenter le nombre d'affirmations correctes dans les réponses générées de plus de 205 %.

Expérience 2 :

Pour vérifier si l'utilisation de l'injection de connaissances (KI) améliore la qualité globale des réponses générées sur un modèle de base plus petit, nous avons réalisé une expérience pour comparer les réponses générées par text-davinci-003 d'OpenAI et bloom-560m optimisés la KI. Il est important de noter que le modèle text-davinci-003 d'OpenAI comporte près de 300 fois plus de paramètres ou de nœuds dans le réseau neuronal, que le modèle bloom-560m.****

Les experts de la marque ont ensuite classé les réponses générées sur une échelle de 1 (mauvais) à 3 (excellent) en fonction d'une série de facteurs qualitatifs qu'ils jugent pertinents.

Dans cette expérience, nous avons constaté que l'utilisation de l'injection de connaissances (KI) permet de générer des réponses de meilleure qualité sur des modèles de base plus petits, en obtenant de meilleurs résultats que les modèles de base plus grands qui n'utilisent pas l'injection de connaissances.

Ces deux expériences montrent que l'injection de connaissances est utile pour des tâches telles que la réponse aux avis, qui sont des tâches manuelles et coûteuses lorsqu'elles sont effectuées par des agents humains, mais qui requièrent un contexte factuel sur l'entreprise pour générer un texte digne de confiance. La KI est utile pour aider les modèles à adapter les réponses générées à l'image de marque de l'entreprise. La mise au point avec l'injection des connaissances pourrait aider les entreprises à réduire leurs coûts en entraînant et en hébergeant un modèle plus petit, tout en produisant des réponses générées de meilleure qualité et en améliorant la vitesse d'inférence. Puisque la KI nécessite un graphe de connaissances bien fourni et basé sur des faits afin de créer des invites LLM de qualité, la mise à jour constante du contenu est essentielle pour exploiter efficacement l'injection des connaissances pour les réponses aux avis automatisées et les tâches basées sur l'injection des connaissances.

Les co-auteurs, Ariana Martino (data scientist, Data Science) et Coleen Truong (data strategist, Data Insights) ont représenté Yext lors de la conférence ESWC et ont présenté les résultats de l'étude. La présentation a été très appréciée par les chercheurs et les data scientists du monde entier et par une multitude d'entreprises. Elle a été l'une des présentations les plus suivies du secteur lors de la conférence.

Pour en savoir plus sur notre recherche sur les LLM, l'article complet est disponible sur ESWC. Vous pouvez également regarder cette vidéo pour en savoir plus sur les résultats.

*Étude Yext (2020)

**Chamberlain, L. : How Responding To Online Reviews Affects Your Business Reputation (2019).

*** Scao, T.L., et al. : Bloom: A 176b-parameter open-access multilingual language model (2022). https://doi.org/10.48550/ARXIV.2211.05100, https://arxiv.org/abs/2211.05100

****Sharir, O., PeLeg, B., Shoham, Y. : The cost of training nlp models: A concise overview. arXiv preprint arXiv:2004.08900 (2020)