Die KI-Rückkopplungsschleife: Die Qualität der Modellproduktion im Zeitalter der KI-generierten Inhalte aufrechterhalten

KI-Modelle, die in der Produktion eingesetzt werden, brauchen einen robusten und kontinuierlichen Mechanismus zur Leistungsbewertung. Hier kann eine KI-Feedback-Schleife eingesetzt werden, um eine konsistente Modellleistung zu gewährleisten.

Nimm es von Elon Musk:

„Ich denke, es ist sehr wichtig, eine Feedback-Schleife zu haben, in der du ständig darüber nachdenkst, was du getan hast und wie du es besser machen kannst.“

Bei allen KI-Modellen besteht das Standardverfahren darin, das Modell einzusetzen und es dann regelmäßig mit den neuesten realen Daten zu trainieren, um sicherzustellen, dass seine Leistung nicht nachlässt. Doch mit dem kometenhaften Aufstieg der generativen KI ist das Training von KI-Modellen anomal und fehleranfällig geworden. Das liegt daran, dass Online-Datenquellen (das Internet) allmählich zu einer Mischung aus von Menschen erzeugten und KI-generierten Daten werden.

Zum Beispiel enthalten viele Blogs heute KI-generierte Texte, die von LLMs (Large Language Modules) wie ChatGPT oder GPT-4 unterstützt werden. Viele Datenquellen enthalten KI-generierte Bilder, die mit DALL-E2 oder Midjourney erstellt wurden. Außerdem verwenden KI-Forscher/innen synthetische Daten, die mit Generativer KI erzeugt wurden, in ihren Modell-Trainings-Pipelines.

Deshalb brauchen wir einen robusten Mechanismus, um die Qualität der KI-Modelle sicherzustellen. An dieser Stelle wird der Bedarf an KI-Feedback-Schleifen noch deutlicher.

Was ist eine KI-Feedback-Schleife?

Eine KI-Feedback-Schleife ist ein iterativer Prozess, bei dem die Entscheidungen und Ergebnisse eines KI-Modells kontinuierlich gesammelt und verwendet werden, um dasselbe Modell zu verbessern oder neu zu trainieren, was zu kontinuierlichem Lernen, Entwicklung und Modellverbesserung führt. In diesem Prozess werden die Trainingsdaten, Modellparameter und Algorithmen des KI-Systems auf der Grundlage von Eingaben aus dem System selbst aktualisiert und verbessert.

Es gibt im Wesentlichen zwei Arten von KI-Feedbackschleifen:

1. Positive KI-Rückkopplungsschleifen: Wenn KI-Modelle genaue Ergebnisse erzeugen, die mit den Erwartungen und Präferenzen der Nutzer/innen übereinstimmen, geben die Nutzer/innen über eine Feedbackschleife positives Feedback, das im Gegenzug die Genauigkeit künftiger Ergebnisse verstärkt. Eine solche Feedbackschleife wird als positiv bezeichnet.
2. Negative KI-Feedback-Schleifen: Wenn KI-Modelle ungenaue Ergebnisse liefern, melden die Nutzer/innen Fehler über eine Feedbackschleife, die im Gegenzug versucht, die Stabilität des Systems zu verbessern, indem sie Fehler behebt. Eine solche Feedbackschleife wird als negativ bezeichnet.

Beide Arten von KI-Feedback-Schleifen ermöglichen eine kontinuierliche Modellentwicklung und Leistungsverbesserung im Laufe der Zeit. Und sie werden nicht isoliert genutzt oder angewendet. Gemeinsam helfen sie den in der Produktion eingesetzten KI-Modellen zu wissen, was richtig oder falsch ist.

Stufen der KI-Feedback-Schleifen

Zu verstehen, wie KI-Feedback-Schleifen funktionieren, ist wichtig, um das gesamte Potenzial der KI-Entwicklung zu erschließen. Im Folgenden wollen wir die verschiedenen Phasen der KI-Feedback-Schleifen erkunden.

1. Feedback-Sammeln: Erfasse relevante Modellergebnisse für die Bewertung. In der Regel geben die Nutzer/innen ihr Feedback zu den Modellergebnissen, die dann für die Nachschulung verwendet werden. Es können aber auch externe Daten aus dem Web sein, die zur Feinabstimmung der Systemleistung herangezogen werden.
2. Modell-Neutraining: Anhand der gesammelten Informationen wird das KI-System neu trainiert, um bessere Vorhersagen zu treffen, Antworten zu geben oder bestimmte Aktivitäten auszuführen, indem die Modellparameter oder Gewichte verfeinert werden.
3. Feedback Integration & Testen: Nach der Umschulung wird das Modell erneut getestet und bewertet. In dieser Phase wird auch das Feedback von Subject Matter Experts (KMU) einbezogen, um Probleme jenseits der Daten aufzuzeigen.
4. Einsatz: Das Modell wird nach der Überprüfung der Änderungen erneut eingesetzt. In diesem Stadium sollte das Modell eine bessere Leistung bei neuen realen Daten aufweisen, was zu einer verbesserten Nutzererfahrung führt.
5. Überwachung: Das Modell wird kontinuierlich mit Hilfe von Metriken überwacht, um mögliche Verschlechterungen wie z.B. Drift zu erkennen. Und der Feedback-Zyklus geht weiter.

Die Probleme bei Produktionsdaten & KI-Modellausgabe

Der Aufbau robuster KI-Systeme erfordert ein gründliches Verständnis der potenziellen Probleme bei Produktionsdaten (Daten aus der realen Welt) und Modellergebnissen. Sehen wir uns einige Probleme an, die die Genauigkeit und Zuverlässigkeit von KI-Systemen erschweren:

1. Datendrift: Tritt auf, wenn das Modell Daten aus der realen Welt erhält, die anders verteilt sind als die Trainingsdaten des Modells.
2. Modelldrift: Die Vorhersagefähigkeiten und die Effizienz des Modells nehmen mit der Zeit ab, weil sich das reale Umfeld verändert. Dies wird als Modelldrift bezeichnet.
3. KI-Modell Output vs. Entscheidung in der realen Welt: KI-Modelle produzieren ungenaue Ergebnisse, die nicht mit den realen Entscheidungen der Interessengruppen übereinstimmen.
4. Voreingenommenheit & Fairness: KI-Modelle können Vorurteile und Fairnessprobleme entwickeln. Zum Beispiel in einer TED-Vortrag von Janelle Shanebeschreibt sie die Entscheidung von Amazon, die Arbeit an einem Algorithmus zur Sortierung von Lebensläufen aufgrund von Geschlechterdiskriminierung einzustellen.

Sobald die KI-Modelle anfangen, mit KI-generierten Inhalten zu trainieren, können diese Probleme weiter zunehmen. Aber wie? Das wollen wir im Detail besprechen.

KI-Feedback-Schleifen im Zeitalter der KI-generierten Inhalte

Im Zuge des raschen Einsatzes generativer KI haben Forscher ein Phänomen untersucht, das als Modellkollaps. Sie definieren Modellkollaps als:

„Degenerativer Prozess, der Generationen von gelernten generativen Modellen betrifft, bei dem die generierten Daten die Trainingsmenge der nächsten Generation von Modellen verunreinigen; da sie auf verunreinigten Daten trainiert wurden, nehmen sie die Realität falsch wahr.“

Der Modellkollaps besteht aus zwei Sonderfällen,

• Früher Modellkollaps passiert, wenn „das Modell beginnt, Informationen über die Schwänze der Verteilung zu verlieren“, d. h. über die extremen Enden der Trainingsdatenverteilung.
• Später Modellkollaps passiert, wenn das „Modell verschiedene Modi der ursprünglichen Verteilungen verschränkt und zu einer Verteilung konvergiert, die nur noch wenig Ähnlichkeit mit der ursprünglichen hat, oft mit sehr geringer Varianz.“

Ursachen des Modellzusammenbruchs

Damit KI-Praktiker dieses Problem angehen können, ist es wichtig, die Gründe für den Modellkollaps zu verstehen, die in zwei Hauptkategorien eingeteilt werden:

1. Statistischer Approximationsfehler: Dies ist der Hauptfehler, der durch die endliche Anzahl von Stichproben verursacht wird und der verschwindet, wenn die Anzahl der Stichproben gegen unendlich geht.
2. Funktionaler Approximationsfehler: Dieser Fehler tritt auf, wenn die Modelle, wie z.B. neuronale Netze, die eigentliche Funktion, die aus den Daten gelernt werden muss, nicht erfassen.

Wie die KI-Feedback-Schleife durch KI-generierte Inhalte beeinträchtigt wird

Wenn KI-Modelle mit KI-generierten Inhalten trainiert werden, hat das eine zerstörerische Wirkung auf die KI-Feedback-Schleifen und kann viele Probleme für die neu trainierten KI-Modelle verursachen, wie z.B.:

• Modellkollaps: Wie oben erklärt, ist der Modellkollaps eine wahrscheinliche Möglichkeit, wenn die KI-Feedbackschleife KI-generierte Inhalte enthält.
• Katastrophisches Vergessen: Eine typische Herausforderung beim kontinuierlichen Lernen ist, dass das Modell beim Lernen neuer Informationen frühere Beispiele vergisst. Dies wird als katastrophales Vergessen bezeichnet.
• Datenverschmutzung: Sie bezieht sich auf die Einspeisung manipulierter synthetischer Daten in das KI-Modell, um dessen Leistung zu beeinträchtigen und es zu ungenauen Ergebnissen zu veranlassen.

Wie können Unternehmen eine robuste Feedbackschleife für ihre KI-Modelle schaffen?

Unternehmen können davon profitieren, wenn sie Feedback-Schleifen in ihre KI-Workflows einbauen. Befolge die folgenden drei Schritte, um die Leistung deiner KI-Modelle zu verbessern.

• Feedback von Fachexperten: KMU kennen sich in ihrem Fachgebiet bestens aus und verstehen den Einsatz von KI-Modellen. Sie können Einblicke geben, um die Modelle besser an die realen Gegebenheiten anzupassen und so die Wahrscheinlichkeit korrekter Ergebnisse zu erhöhen. Außerdem können sie die durch KI erzeugten Daten besser kontrollieren und verwalten.
• Wähle relevante Metriken für die Modellqualität: Die Wahl der richtigen Bewertungsmetrik für die richtige Aufgabe und die Überwachung des Modells in der Produktion auf der Grundlage dieser Metriken können die Modellqualität sicherstellen. KI-Praktiker setzen auch MLOps-Tools zur automatischen Bewertung und Überwachung ein, um alle Beteiligten zu alarmieren, wenn die Modellleistung in der Produktion nachlässt.
• Strenge Datenkuration: Wenn Produktionsmodelle auf neue Daten trainiert werden, können sie frühere Informationen vergessen. Deshalb ist es wichtig, qualitativ hochwertige Daten zu kuratieren, die gut zum Zweck des Modells passen. Diese Daten können verwendet werden, um das Modell in den nachfolgenden Generationen erneut zu trainieren und die Qualität durch Nutzerfeedback zu sichern.

Weitere Informationen über KI-Fortschritte findest du unter Unite.ai.