Letzte Woche habe ich mir „Opening Arguments“¹ angehört – einen der Podcasts, die ich manchmal in meiner Freizeit höre, und etwas über Mata gegen Avianca² erfahren, einen Fall vor einem Gericht in Manhattan, bei dem Anwälte dabei erwischt wurden, erfundene Zitate eingereicht zu haben (so sie Anspruch) von ChatGPT. Es gibt noch viel mehr zu diesem Fall, das den Rahmen meines Blogs sprengt.
Simon Willison hat sich in seinem Blog³ eingehender mit dem beschäftigt, was angeblich dort passiert ist, und ich empfehle die Lektüre. Ich habe vor kurzem damit begonnen, mich etwas mehr mit KI-Halluzinationen zu befassen⁴, additionally habe ich ein kleines Experiment durchgeführt: Ich habe einen der zitierten gefälschten Fälle in Mata gegen Aviance genommen und ihn mit ChatGPT besprochen.
Haftungsausschluss: Dies ist keine richtige Studie, es ist ein eher beiläufiger Take a look at und die Schlussfolgerung spiegelt meine spontanen Gedanken über das Ergebnis wider.
Mein kleines Experiment
Deshalb wollte ich einfach anfangen und stellte dieselbe grundlegende Frage, die angeblich auch die Anwälte der Angeklagten gestellt hatten: „Ist Varghese ein echter Fall?“
Okay, es sieht additionally so aus, als gäbe es unter diesem Namen keinen bekannten Fall. Additionally beschloss ich, mich als Experte auszugeben und die vollständigen (falschen) Informationen zu verwenden, die zu den nicht existierenden Fällen gehören, die die Anwälte in ihren Gerichtsanträgen verwenden, nämlich einen vollständig erfundenen Fallnamen, ein Gericht und eine Fallnummer.
Ich bin mir nicht sicher, was ChatGPT mit „Verwirrung“ meint, aber es scheint eine Entschuldigung für das bisher unbekannte „Varghese“ zu sein. Das ist truthful genug. Was ich hier erfahre, ist, dass es offenbar einen Fall namens „Varghese gegen Patel“ gab und dass es sich um einen „Der eigentliche Fall wurde vor dem 11. Berufungsgericht entschieden“. Das ist nicht der nichtexistente Fall, den ich im Sinn hatte, aber truthful.
Was mich jedoch verwirrt hat, ist, warum ChatGPT sagt, meine Frage „zeige an“, dass es sich um eine Entscheidung eines Bundesberufungsgerichts handelt. Aber vielleicht gibt es eine fehlende Übereinstimmung zwischen der von mir genannten Fallnummer und der von ChatGPT gefundenen Meldung „Varghese gegen Patel“.
Aber ich bin neugierig: Deshalb habe ich nach weiteren Particulars zu „Varghese vs Patel“ gefragt, dem Fall, den es ausgegraben hat:
Warten? Ich habe nie behauptet, dass „Varghese gegen Patel“ diese spezifische Fallnummer hat. Und es battle ChatGPT, das behauptete, es gäbe einen solchen Fall vor dem 11. Bezirksgericht. „Es könnte ein Missverständnis vorliegen“? Sicherlich.
Ich habe „Patel“ auch nie erwähnt, sondern ChatGPT. Kehren wir additionally zu einer sehr grundlegenden Frage zurück: Gibt es einen Fall namens „Varghese gegen Patel“ oder nicht?
Jetzt macht ChatGPT einen totalen Rückzug. Obwohl behauptet wurde, dass es sich bei „Varghese gegen Patel“ – erinnern Sie sich – um einen „echten Fall, der im 11. Bezirk entschieden wurde“ handelte, scheint man sich dessen Existenz nun nicht bewusst zu sein. Fassen wir zusammen, was hier passiert ist:
- Ich frage nach einem Fall im „Basisformat“ (Einzelname) und ChatGPT kann keine Auskunft geben.
- Wenn meine Frage detaillierter und suggestiver wird, stimmt ChatGPT mir zu, dass es sich um einen „echten entschiedenen Fall“ handelt, und schlägt einen vollständigen Fallnamen vor?
- ChatGPT revanchiert sich und bestreitet Kenntnisse über den vorgeschlagenen Fall.
Auf den ersten Blick scheint es, dass es meine sehr spezifische und suggestive Frage battle, die die Halluzination auslöste.
Je mehr Sie ein Fachexperte sind, desto wahrscheinlicher ist es, dass ChatGPT Ihrem Vorschlag nachgibt
Dies könnte auch erklären, warum ein Anwalt, der seine Frage sicherlich spezifischer formuliert als ein juristischer Novice wie ich, möglicherweise auf dieses Drawback gestoßen ist. Die Halluzination ist in diesem Fall gering, aber wenn ich nicht auf mehr Informationen bestanden hätte, hätte ich sicherlich „ein echter Fall entschieden“ als richtige Antwort angenommen.
Wenn meine – zugegebenermaßen oberflächliche – Annahme jedoch zutrifft, würde dies bedeuten, dass ChatGPT umso wahrscheinlicher Ihrem Vorschlag nachgibt und erfundene Informationen präsentiert, je mehr Sie ein Fachexperte sind. Wenn dem so ist, verdient dies sicherlich eine genauere Prüfung.
