Eines der Kernprodukte von Yext – und eine wichtige Komponente unserer Answers-Plattform – ist Search, ein „KI-gestütztes Sucherlebnis basierend auf die Verarbeitung natürlicher Sprache mit einem Ansatz, der mehrere Algorithmen umfasst“. Das Herzstück dieses KI-Modells sind maschinelle Lernalgorithmen, die auf Grundlage von Daten Entscheidungen treffen. Bereitgestellt werden diese Daten durch Menschen (z. B. frühere Benutzer von Search), und oft werden sie zusätzlich von Menschen (Annotatoren) bearbeitet. Erstellt, trainiert und bereitgestellt werden die Modelle ebenfalls von Menschenhand. Als Menschen haben wir alle Vorurteile, die sich aus unseren unterschiedlichen kulturellen und sozialen Hintergründen, unserer sozioökonomischen Situation, unserem Geschlecht, Alter, Bildungsgrad, unserer Weltanschauung, persönlichen Geschichte und vielen anderen Faktoren ergeben. Daher ist eine gewisse Voreingenommenheit bei keinem Menschen ganz auszuschließen. Wir bei Yext sind uns dessen bewusst und setzen alles daran, durch die Umsetzung der in diesem Dokument dargelegten Grundsätze, Richtlinien und Kontrollmechanismen Vorurteile zu minimieren oder zu beseitigen.

Allgemeine Grundsätze für ethisches KI-Design

Bei Yext streben wir danach, innovative KI-Technologien zum Einsatz zu bringen, die nicht nur wirtschaftlich rentabel, sondern auch fair sind, Menschen und Gesellschaften einen Mehrwert bieten und ihre Autonomie bewahren. Dabei stützen wir uns auf die ethischen Prinzipien Wohltätigkeit, Nichtschädigung, Gerechtigkeit und Autonomie. Diese bedeutenden Prinzipien sind in den großen Schulen der ethischen Philosophie verwurzelt und wurden vor kurzem aus dem Bereich der Bioethik, wo sie seit Jahrzehnten angewandt werden, in den Bereich der digitalen Ethik übernommen.* Konkret bedeutet dies, dass wir KI entwickeln wollen, die (1) vorhersehbaren wie auch unbeabsichtigten Schaden vermeidet, (2) das Wohlergehen der Menschen fördert, (3) fair und unvoreingenommen ist und alle Menschen sowohl während des Suchprozesses als auch bei der Ausgabe der Suchergebnisse gleich behandelt und (4) transparent und vertrauenswürdig ist.

Umsetzung von ethischem KI-Design beim Labeling und Modelltraining

Kundenauswahl

Wir bei Yext wählen unsere Kunden sorgfältig aus, was das Risiko für die Einspeisung ethisch fragwürdiger Inhalte in die KI erheblich reduziert. Wir veröffentlichen keine von Endnutzern generierten Inhalte, die auf Social-Media-Websites (z. B. Facebook oder Twitter) zu finden und oft ethisch problematisch sind. Zwar müssen unsere KI-Modelle in der Lage sein, auf Eingaben von Endverbrauchern zu reagieren, aber unser Input für diese Modelle stammt von seriösen Unternehmen, die keine ethisch bedenklichen Inhalte produzieren.

Charakteristika der Trainingsdaten

Es ist wichtig zu verstehen, dass nicht alle Bereiche der Sprache gleichermaßen anfällig für Befangenheiten, vor allem für solche ethischer Natur (d. h. Voreingenommenheiten im Zusammenhang mit Faktoren wie Geschlecht, ethnischer Herkunft oder Alter) sind. Bei der überwiegenden Mehrheit der Daten, die wir bei Yext annotieren und für maschinelles Lernen (ML) verwenden, handelt es sich um konkrete, verifizierbare und spezifische Informationen über Unternehmen und Institutionen, die von diesen Organisationen selbst bereitgestellt werden (online auf ihrer eigenen Webseite oder in Form von digitalisierter interner Dokumentation). Im Gegensatz zur allgemeinen Benutzersuche, die im Web über sämtliche verfügbare Ressourcen stattfindet, also über Tools wie die Google-Suche oder Bing, agiert Yext in der Domäne der Unternehmenssuche, d. h. der Suche ausschließlich innerhalb eines bestimmten Unternehmens/einer bestimmten Institution und deren Wissensdatenbank. Angesichts dieser einzigartigen Geschäftsausrichtung von Yext sind ethisch aufgeladene Themen oder Konzepte in den Materialien, die für das KI-Training verwendet werden, die Ausnahme. Daher ist es höchst unwahrscheinlich, dass eine bestimmte Annotation durch Befangenheiten in die eine oder andere Richtung beeinflusst wird. Die Annotatoren sind stets angehalten, sich an einer in den Labeling-Richtlinien ausgewiesenen, externen „Quelle der objektiven Wahrheit“ auszurichten. Bei Unklarheiten haben Mitarbeiter die Möglichkeit, eine bestimmte Labeling-Aufgabe an ihren Manager weiterzuleiten, der ihnen sowohl aus sprachlicher als auch aus inhaltlicher Sicht Rat gibt und bei Bedarf weitere Fachleute hinzuzieht. Zudem trainieren unsere Datenwissenschaftler die maschinellen Lernalgorithmen stets auf Basis ausreichend großer Datenvolumen, die repräsentativ für die Szenarien sind, für welche der Algorithmus bereitgestellt werden soll. Auf diese Weise verhindern wir, dass die statistische Mustererkennung, mittels derer die KI-Algorithmen erzeugt werden, durch Ungenauigkeiten oder Vorurteile verzerrt wird.

Datenauswahl

Der Großteil der Annotationsaufgaben beginnt mit der Erfassung von Datensätzen aus Suchprotokollen. Bei der Erstellung eines zu annotierenden Datenkorpus wird darauf geachtet, dass nicht mehr als 40 % der Daten von einem einzelnen Kunden stammen und mindestens vier Kunden im Datensatz vertreten sind – es sei denn, es gibt einen guten Grund, der für eine andere Vorgehensweise spricht (z. B. wenn es um das Training eines kundenspezifischen Modells geht).

Labeling-Verfahren und Überprüfungsmechanismen

Damit für die annotierten Daten die höchstmögliche Qualität gewährleistet werden kann, müssen für jede Labeling-Aufgabe klare schriftliche Annotationsrichtlinien vorliegen, die die Projektziele widerspiegeln und detailliert erläutern, welche Labels auf welche Weise verwendet werden sollen. Diese Leitlinien sind das Ergebnis der Zusammenarbeit eines Linguistikexperten/Data-Labeling-Managers, eines Datenwissenschaftlers und eines Produktmanagers. Jedes Labeling-Projekt wird zunächst an einer kleinen Datenmenge getestet, um Feedback für eine konkretere Ausarbeitung der Richtlinien zu erhalten. Danach wird das Labeling-Projekt an die Annotatoren weitergegeben, die in ständigem Kontakt mit dem Labeling-Manager stehen. Die Aufgabe des Managers ist es, alle Probleme, Mehrdeutigkeiten oder Unklarheiten, die von den Annotatoren während des gesamten Prozesses angemerkt werden, zu beseitigen und die angewandten Lösungen in den Labeling-Richtlinien festzuhalten, damit sie auch in Zukunft konsequent eingesetzt werden können.

Kennzeichnung problematischer Daten als beschädigt

Im Rahmen der Umsetzung der vier oben genannten ethischen Hauptziele werden die Annotatoren angewiesen, alle Anfragen und/oder Antworten, die vulgären, obszönen oder ethisch fragwürdigen Inhalt enthalten, als beschädigt zu markieren. Daten mit diesem Tag werden aus dem KI-Training ausgenommen. Dasselbe gilt für Wortfolgen, die personenbezogene (PII) oder anderweitig beschädigte Daten (die bedeutungslos oder irrelevant für den jeweiligen Geschäftsbereich sind) enthalten.

Konsens zwischen mehreren Annotatoren

Um die Auswirkungen unerwünschter Voreingenommenheiten zu vermeiden, wird der Großteil der Daten, die für das Training des KI-Modells oder die Search-Performance-Analyse verwendet werden, von mindestens zwei Annotatoren bearbeitet. Besteht bezüglich des gewählten Labels Uneinigkeit, wird die Aufgabe zur „Klärung von Uneinigkeiten“ an einen weiteren Annotator weitergeleitet, der aus beiden Labels das geeignetere auswählt. Bei Zweifeln darüber, welches Label das passende ist, wird die Aufgabe an den Labeling-Manager übergeben, der die optimale Lösung mit allen am Prozess beteiligten Annotatoren erörtert. Kann keine Einigung erzielt werden (was nur selten geschieht), wird der Datenpunkt verworfen.

Abschließende Überprüfung

Als zusätzlichen Schutz vor Verzerrungen und unerwünschten Fehlern, die die Qualität der annotierten Daten beeinträchtigen könnten, werden die meisten Labels, die während des primären Annotationsprozesses zugewiesen wurden, von erfahreneren Annotatoren manuell überprüft. Die systematische Implementierung des Überprüfungsprozesses ist seit März 2022 möglich, seitdem Yext in die Unternehmensversion von Label Studio investiert hat. Dabei handelt es sich um eine hochmoderne Labeling-Software für großangelegte Annotationsprozesse, über die derzeit alle unsere Labeling-Aufgaben stattfinden.

Vermeidung von Verzerrungen und Sicherstellung eines ethischen Ansatzes auf Produktebene

Yext Search beinhaltet mehrere Funktionen und Maßnahmen für die sichere und ethische Nutzung von Modellen, die über den oben beschriebenen Prozess trainiert wurden. Getroffen wurden diese Sicherheitsmaßnahmen aus dem Grund, dass die Verwendung von KI-Modellen so transparent und konfigurierbar wie möglich sein sollte und dass der Administrator bei Bedarf eine direkte Kontrolle über die Ergebnisse des KI-Modells erhalten sollte.

Konfigurierbarkeit und Transparenz des Suchalgorithmus

KI-Modelle für Einbettung, extraktive Fragebeantwortung und automatische Erkennung benannter Entitäten (NER) werden an verschiedenen Stellen im Yext-Suchalgorithmus eingesetzt, um den Recall und das Ranking der Suchergebnisse zu beeinflussen. Die Anwendungsfälle sehen zum Beispiel so aus:

• Einbettungsmodelle können verwendet werden, um Ergebnisse auf Basis ihrer semantischen Ähnlichkeit zu einer Suchanfrage zu sortieren.
• Extraktive Fragebeantwortungsmodelle können verwendet werden, um Passagen aus langen Textdokumenten abzurufen, die für eine Suchintention relevant sind.
• Modelle zur Erkennung benannter Entitäten (NER) können verwendet werden, um in Suchanfragen den Standort anzugeben, damit die Ergebnisse nach Entfernung gefiltert werden können. Die Ergebnisse dieser KI-Modelle entziehen sich zwar der direkten Kontrolle des Nutzers oder Administrators einer Yext-Suche, aber wir bemühen uns, ihre Anwendung in der Suche so transparent und konfigurierbar wie möglich zu gestalten. Unsere Kunden können jederzeit entscheiden, welche Suchalgorithmen bei ihrem Sucherlebnis angewendet werden sollen. So ist es zum Beispiel möglich, ein Sucherlebnis zu schaffen, das Ausgaben von KI-Modellen komplett ausschließt und die Ergebnisse ausschließlich auf der Grundlage von Keyword- und Phrasen-Matching abruft. Darüber hinaus können die Ausgaben der KI-Modelle sowie andere Faktoren, die eine bestimmte Suche beeinflussen, über ein robustes und detailliertes Protokoll eingesehen werden, das KI-Outputs wie „Featured Snippets“ (siehe unten) oder die semantische Ähnlichkeit eines Ergebnisses, die sein Ranking beeinflusst hat, enthält.**