Yext präsentiert Forschung zur „Knowledge Injection“ mit großen Sprachmodellen

Im Mai präsentierte Yext auf der Extended Semantic Web Conference (ESWC) 2023 einen Vortrag zum Thema „Knowledge Injection with Large Language Models (LLMs)“. Das Whitepaper „Knowledge Injection to Counter Large Language Model (LLM) Hallucination“, das von den Yext-Datenwissenschaftlern Ariana Martino, Michael Iannelli und Coleen Truong, Senior Data Analyst bei Yext, verfasst wurde, ist die zweite veröffentlichte und von Experten evaluierte Forschungsarbeit der Forschungs- und Entwicklungsabteilung von Yext. In diesem Artikel werden die Ergebnisse der Verwendung von verwandten Entitätsdaten aus Yext Content mit LLMs für die automatische Generierung von Bewertungsantworten untersucht. Diese Forschungsarbeit trug zur Entwicklung der Funktion der Inhaltsgenerierung für die Beantwortung von Bewertungen bei, die Teil des Sommer-Release 2023 ist. Lesen Sie weiter, um die wichtigsten Erkenntnisse aus dem Whitepaper zu erfahren. Abschnitt 1: Die Yext-Plattform und die Branche Unsere Forschungsarbeit entstand aus einer von Yext durchgeführten Studie, die zeigte, wie sich die Beantwortung von Online-Bewertungen auf den Ruf von Unternehmen auswirken kann. Unternehmen, die auf mindestens 50 % der Bewertungen reagieren, erhalten im Durchschnitt eine um 0,35 Sterne höhere Bewertung.1 Dadurch wird der Ruf eines Unternehmens online verbessert – insbesondere in den Suchergebnissen. Frühere Untersuchungen haben zudem gezeigt, dass die Beantwortung von 60-80 % der Bewertungen optimal ist.2 Je nach dem Bewertungsvolumen eines Unternehmens kann dieser manuelle Prozess der Überprüfung und Inhaltserstellung mehrere Stunden oder sogar Tage der Arbeitszeit einer Vollzeitkraft beanspruchen. So wollten wir herausfinden, ob wir die aufstrebende Technologie der LLMs nutzen können, um den Prozess der Beantwortung von Bewertungen für Unternehmen durch unsere Reviews-Plattform zu automatisieren und zu optimieren. Ein LLM bzw. großes Sprachmodell ist ein KI-Algorithmus, der auf großen Datensätzen trainiert wird und eine Vielzahl von Aufgaben zur Verarbeitung natürlicher Sprache ausführen kann, so z. B. die Generierung von Text oder die Beantwortung von Fragen in einer dialogorientierten Art und Weise. (Wenn Sie schon einmal mit Jasper oder ChatGPT experimentiert haben, wissen Sie das wahrscheinlich bereits.) LLMs werden bereits in anderen Abschnitten der Yext-Plattform eingesetzt, beispielsweise in den Funktionen Chat und Content Generation. Wir wollten herausfinden, ob KI und LLMs auch für Reviews verwendet werden können. Die Grundlage unserer Forschung ist Yext Content, das auf der Wissensgraph-Technologie basiert, in der von der Marke freigegebene Informationen gespeichert werden. Yext Content zeichnet sich durch vier Hauptmerkmale aus: Beibehaltung eines flexiblen Schemas Content ermöglicht die Anpassung der Plattform an die Anforderungen und die betriebliche Struktur jedes einzelnen Unternehmens. So würde zum Beispiel ein Gesundheitssystem Entitätstypen benötigen, die medizinische Fachkräfte, Krankenhausstandorte, medizinische Spezialgebiete und Artikel zum Thema Gesundheit widerspiegeln. Dagegen würde ein Restaurant Speisekarten, Filialstandorte und besondere Veranstaltungen verwenden. Das KG-Schema kann im Laufe der Zeit auch geändert werden, um es an die sich entwickelnden Geschäftsanforderungen und -strukturen anzupassen. Definiert Beziehungen zwischen Entitäten Content bietet auch Definitionen zu den Beziehungen einzelner Entitäten untereinander. Zum Beispiel: Doktor A arbeitet in der Praxis am Union Square. Diese zusätzliche Information liefert dem LLM einen wichtigen Kontext, um die Beziehungsstruktur zwischen zwei Objekten zu verstehen. Enthält bidirektionale Beziehungsverbindungen Content kann auf Basis der Graphtechnologie bidirektionale Verbindungen erstellen. Beispielsweise könnte ein Arzt in der Praxis am Union Square arbeiten. Über dieselbe Beziehungsverbindung können wir ableiten, dass in der Praxis am Union Square der Arzt A arbeitet. Diese zusätzliche Kontextebene bietet eine Fülle von Informationen, um komplexe Verbindungen zwischen Entitäten herzustellen. Diese Verbindungen gehen über die in Content hinzugefügten Entitäten hinaus und erstrecken sich auf Daten, die über unsere anderen Produktlinien wie Reviews, Pages, Search und Chat in die Yext-Plattform zurückgegeben werden. Speziell für Bewertungen werden Bewertungsdaten von allen verfügbaren Publishern für jede einzelne Entität aggregiert und an die Yext Review Monitoring-Plattform zurückgegeben. Diese Inhalte können dann von einem Mitarbeiter der Marke überprüft werden, um manuell eine angemessene Antwort auf die Rezensionen zu erstellen, die dann wieder an die Website des Drittanbieters weitergeleitet wird. Multi-Hop-Beziehungen Durch die Verknüpfungen zwischen Entitäten können wir mit Zuversicht relationale Verknüpfungen zwischen Entitäten herstellen, die nicht direkt miteinander verbunden sind. Wenn es zum Beispiel einen Arzt gibt, der auf pädiatrische Gastroenterologie spezialisiert ist und Termine für pädiatrische Gastroenterologie nur für die Praxis am Union Square vergeben werden, wissen wir, dass der Arzt in der Praxis am Union Square arbeitet. Hypothese Unsere Hypothese war, dass die Aufnahme von Informationen über verwandte Entitäten in den Text der Eingabeaufforderung zu einer generierten Antwort führen würde, in der die relevanten Geschäftsinformationen enthalten sind. Wir haben „Knowledge Injection“ als das Einfügen von Informationen über verwandte Entitäten in den Eingabeaufforderungstext für ein LLM definiert. Abschnitt 2: Die Forschung Um die generierten Antworten von LLMs zu verbessern, haben wir eine Eingabeaufforderungstechnik namens „Knowledge Injection“ entwickelt, um kontextbezogene Daten über Entitäten, die für eine Aufgabe relevant sind, aus einem Wissensgraphen in den Textraum für die Aufnahme in eine LLM-Eingabeaufforderung zu übertragen. Markenexperten prüften die Aussagen (z. B. Angabe eines Ortsnamens, Erreichbarkeit unter einer Telefonnummer oder Webadresse, Eigentümer des Markennamens oder Standort an der Adresse des Ortes) innerhalb einer generierten Antwort auf Richtigkeit. Zusätzlich wurden die generierten Antworten auf ihre Gesamtqualität bewertet, um die Übereinstimmung mit den Markenstandards für Bewertungsantworten zu beurteilen. Experiment 1: Um zu testen, ob die Verwendung von Knowledge Injection die Halluzinationen in generierten Antworten reduziert, haben wir bloom-560m auf Paarungen von Bewertungsantworten als Datensatz für unsere Kontrollgruppe trainiert. Anschließend haben wir das Modell mit Eingabeaufforderungen, die Informationen zu verwandten Entitäten enthielten, mit diesen Paarungen in bloom-560m für ein KI-gestütztes LLM erneut ausgeführt.