Die neueste Studie von Giskard in Zusammenarbeit mit Google DeepMind zeigt, dass führende Sprachmodelle wie GPT-4, Claude und Llama in bis zu 30% der Fälle Fakten erfinden, die überzeugend klingen, aber nicht der Wahrheit entsprechen. Diese KI-Halluzinationen stellen ein wachsendes Risiko für Unternehmen und Endnutzer dar, insbesondere wenn die Modelle zu kurzen, prägnanten Antworten angewiesen werden.
Der umfassende Phare-Benchmark (Preventing Hallucinations with Automated Red-teaming Evaluation) testet LLMs in mehreren Sprachen – Englisch, Französisch und Spanisch – auf ihre Fähigkeit, faktisch korrekte Informationen zu liefern. Überraschenderweise zeigt die Studie, dass beliebte Modelle nicht unbedingt die zuverlässigsten sind. Modelle, die in Rankings zur Nutzerzufriedenheit hoch bewertet werden, produzieren oft die meisten Falschinformationen – ein beunruhigendes Muster, das auf eine Diskrepanz zwischen überzeugenden und korrekten Antworten hinweist.
Ein besonders bemerkenswerter Fund ist der Einfluss der Formulierung bei Fragen. Wenn Nutzer Fragen mit autoritätsbeladenen Einleitungen stellen (z.B. „Mein Lehrer sagte…“), sinkt die Wahrscheinlichkeit um 15%, dass das Modell Fehlinformationen korrigiert. Noch problematischer: Ganze 20% mehr Halluzinationen entstehen, wenn das System angewiesen wird, kurz und prägnant zu antworten – der Zwang zur Kürze führt dazu, dass die Modelle eher erfundene Informationen liefern, statt zuzugeben, keine Antwort zu haben.
Der Phare-Benchmark nutzt ein mehrstufiges Bewertungsverfahren: Er sammelt sprachspezifische Inhalte, transformiert diese in strukturierte Prompts und nutzt menschliche Prüfer, um die Antworten zu bewerten. Dabei werden vier kritische Aufgaben getestet: Faktentreue, Widerstandsfähigkeit gegen Falschinformationen, Entlarvung von Pseudowissenschaft und Zuverlässigkeit bei der Nutzung externer Tools. Das Resultat ist ein detaillierter Einblick in die Schwachstellen aktueller KI-Systeme.
Werbung
Rechtlicher Hinweis: Diese Website setzt Affiliate-Links zum Amazon-Partnerprogramm ein. Der Betreiber der Website verdient durch qualifizierte Käufe eine Provision. Dadurch finanzieren wir die Kosten dieser Website, wie z.B. für Server-Hosting und weitere Ausgaben.
Zusammenfassung
Die Phare-Studie zeigt, dass selbst führende KI-Modelle in bis zu 30% der Fälle überzeugende Falschinformationen generieren
System-Anweisungen wie „sei kurz“ erhöhen die Halluzinationsrate um bis zu 20%
Die Art der Fragestellung beeinflusst die Korrektheit der Antworten – autoritätsbezogene Formulierungen reduzieren die Wahrscheinlichkeit von Faktenprüfung um 15%
Beliebte Modelle sind nicht automatisch die zuverlässigsten – es besteht eine Diskrepanz zwischen Nutzerzufriedenheit und Faktengenauigkeit
Entwickler können Halluzinationen reduzieren durch verbesserte Prompt-Gestaltung und Retrieval-Augmented Generation (RAG)
Florian Schröder ist Experte im Online-Marketing mit Schwerpunkt PPC (Pay-Per-Click) Kampagnen. Die revolutionären Möglichkeiten der KI erkennt er nicht nur, sondern hat sie bereits fest in seine tägliche Arbeit integriert, um innovative und effektive Marketingstrategien zu entwickeln.
Er ist überzeugt davon, dass die Zukunft des Marketings untrennbar mit der Weiterentwicklung und Nutzung von künstlicher Intelligenz verbunden ist und setzt sich dafür ein, stets am Puls dieser technologischen Entwicklungen zu bleiben.
Wir verwenden Technologien wie Cookies, um Geräteinformationen zu speichern und/oder darauf zuzugreifen. Wir tun dies, um das Surferlebnis zu verbessern und um personalisierte Werbung anzuzeigen. Wenn Sie diesen Technologien zustimmen, können wir Daten wie das Surfverhalten oder eindeutige IDs auf dieser Website verarbeiten. Wenn Sie Ihre Zustimmung nicht erteilen oder zurückziehen, können bestimmte Funktionen beeinträchtigt werden.
Funktional
Immer aktiv
Die technische Speicherung oder der Zugang ist unbedingt erforderlich für den rechtmäßigen Zweck, die Nutzung eines bestimmten Dienstes zu ermöglichen, der vom Teilnehmer oder Nutzer ausdrücklich gewünscht wird, oder für den alleinigen Zweck, die Übertragung einer Nachricht über ein elektronisches Kommunikationsnetz durchzuführen.
Vorlieben
Die technische Speicherung oder der Zugriff ist für den rechtmäßigen Zweck der Speicherung von Präferenzen erforderlich, die nicht vom Abonnenten oder Benutzer angefordert wurden.
Statistiken
Die technische Speicherung oder der Zugriff, der ausschließlich zu statistischen Zwecken erfolgt.Die technische Speicherung oder der Zugriff, der ausschließlich zu anonymen statistischen Zwecken verwendet wird. Ohne eine Vorladung, die freiwillige Zustimmung deines Internetdienstanbieters oder zusätzliche Aufzeichnungen von Dritten können die zu diesem Zweck gespeicherten oder abgerufenen Informationen allein in der Regel nicht dazu verwendet werden, dich zu identifizieren.
Marketing
Die technische Speicherung oder der Zugriff ist erforderlich, um Nutzerprofile zu erstellen, um Werbung zu versenden oder um den Nutzer auf einer Website oder über mehrere Websites hinweg zu ähnlichen Marketingzwecken zu verfolgen.
