Technologieunternehmen und Strafverfolgungsbehörden können Gefahren im Zusammenhang mit Systemen der künstlichen Intelligenz (KI) entdecken und reduzieren, indem sie die Prüfung als Governance-Device verwenden. Auditing ist insbesondere ein systematischer, unparteiischer Prozess des Sammelns und Analysierens von Daten über die Geschäftstätigkeit oder Vermögenswerte eines Unternehmens und das anschließende Melden der Ergebnisse an die entsprechenden Parteien.
Drei Ideen unterstützen das Versprechen des Auditing als KI-Governance-Mechanismus:
- Ordnungsmäßigkeit und Transparenz der Verfahren tragen zu guter Regierungsführung bei.
- Proaktives KI-Systemdesign hilft, Risiken zu erkennen und Schäden zu verhindern, bevor sie auftreten.
- Die operative Unabhängigkeit zwischen Prüfer und geprüfter Stelle trägt zur Objektivität und Professionalität der Bewertung bei. Frühere Forschungen zur KI-Prüfung konzentrierten sich darauf, sicherzustellen, dass bestimmte Anwendungen vorgegebenen, häufig branchenspezifischen Requirements entsprechen.
Beispielsweise haben Forscher Protokolle für die Prüfung von KI-Systemen erstellt, die bei der Internetsuche, medizinischen Diagnose und Rekrutierung verwendet werden.
Die Fähigkeiten von KI-Systemen erweitern sich jedoch tendenziell mit der Zeit. Der Ausdruck „Grundlagenmodelle“ wurde kürzlich von Bommasani et al. auf Modelle zu verweisen, die über Switch Studying auf verschiedene nachgelagerte Aufgaben übertragen werden können. Technisch gesehen könnten Gründungsmodelle neuartiger sein1. Dennoch unterscheiden sie sich von anderen KI-Systemen, da sie für verschiedene Aufgaben effizient sind und bei Skalierung neue Fähigkeiten aufweisen. Während Basismodelle oft von einem Akteur trainiert und veröffentlicht und dann von anderen Akteuren für mehrere Anwendungen modifiziert werden, signalisiert das Wachstum von Basismodellen auch eine Veränderung in der Artwork und Weise, wie KI-Systeme erstellt und eingesetzt werden. Basis-Modelle stellen vom Standpunkt der KI-Prüfung aus ernsthafte Schwierigkeiten dar.
Beispielsweise kann es schwierig sein, die Gefahren zu bewerten, die von KI-Systemen isoliert von der Umgebung, in der sie verwendet werden, ausgehen. Dieses Papier konzentriert sich auf eine Teilmenge von Basismodellen, insbesondere Massive Language Fashions (LLMs), um diese Lücke zu schließen. Darüber hinaus ist auch zu klären, wie die Schadensschuld zwischen Technologielieferanten und nachgelagerten Entwicklern aufgeteilt werden kann. Zusammengenommen haben sich die Fähigkeiten und Trainingsmethoden der Stiftungsmodelle schneller weiterentwickelt als die Methoden und Instrumente, mit denen ihre moralische, rechtliche und technologische Solidität bewertet wird. Dies deutet darauf hin, dass Audits auf Anwendungsebene, die für die KI-Governance von entscheidender Bedeutung sind, um zusätzliche Arten von Aufsicht und Kontrolle ergänzt werden müssen.
Sprachmodelle erzeugen das wahrscheinlichste Wort, den wahrscheinlichsten Code oder andere Datensequenzen, indem sie mit einer Quelleneingabe beginnen, die als Eingabeaufforderung bekannt ist. Die Verarbeitung natürlicher Sprache (NLP) hat in der Vergangenheit eine Vielzahl von Modelldesigns verwendet, einschließlich probabilistischer Techniken. Dennoch werden die meisten aktuellen LLMs, einschließlich derjenigen, auf die sich dieser Artikel konzentriert, mit tiefen neuronalen Netzen erstellt, die auf einem beträchtlichen Korpus von Texten trainiert werden. Zu diesen LLMs gehören GPT-3, PaLM, LaMDA, Gopher und OPT. Nach einer Vorschulung kann ein LLM (mit oder ohne Feinabstimmung) modifiziert werden, um eine Vielzahl von Anwendungen zu bedienen, darunter Rechtschreibprüfung und kreatives Schreiben. Aus zwei Gründen ist die Erstellung von LLM-Prüfprozessen eine wichtige Anstrengung.
In der Lage zu sein, die Merkmale von LLMs entlang mehrerer normativer Dimensionen (wie Datenschutz, Voreingenommenheit, geistiges Eigentum usw.) zu prüfen, ist aufgrund der Dringlichkeit, solche Bedenken zu lösen, an und für sich ein entscheidendes Unterfangen. Frühere Untersuchungen haben gezeigt, dass LLMs mehrere ethische und soziale Herausforderungen mit sich bringen, wie z. B. die Aufrechterhaltung negativer Stereotypen, das Durchsickern von personenbezogenen Daten, die durch Datenschutzgesetze geschützt sind, die Verbreitung falscher Informationen, Plagiate und die unbefugte Nutzung des geistigen Eigentums. CLIP, ein visuelles Sprachmodell, wurde trainiert, um vorherzusagen, welcher Textual content ein Bild beschriftet.
CLIP ist kein LLM, kann aber für mehrere Downstream-Anwendungen angepasst werden, und andere Modelle stehen vor ähnlichen Governance-Problemen. Das Gleiche gilt für andere Roboter-Content material-Ersteller wie DALLE2. In Zukunft kann das Auditieren anderer Grundmodelle und noch leistungsfähigerer Erzeugungssysteme von der Verbesserung der LLM-Auditierungsprozesse profitieren. In diesem Aufsatz werden drei revolutionary Beiträge geleistet. Sie beginnen mit der Feststellung von sechs Punkten darüber, wie Prüfungspraktiken entwickelt werden sollten, um die von LLMs ausgehenden Risiken zu berücksichtigen. Diese Behauptungen basieren auf einer Überprüfung der Möglichkeiten und Grenzen der aktuellen KI-Prüfungspraktiken. Zweitens bieten sie einen Rahmen für die Prüfung von LLMs auf der Grundlage der effektivsten Verfahren für IT-Governance und Systemtechnik. Insbesondere schlagen sie eine dreischichtige Strategie vor, bei der Governance-Audits (von Technologieanbietern, die LLMs entwerfen und vertreiben), Modellaudits (von LLMs nach der Vorschulung, aber vor ihrer Veröffentlichung) und Anwendungsaudits (von Anwendungen, die auf LLMs basieren) komplementär sind und sich gegenseitig informieren. (siehe Abbildung 1 oben) Drittens sprechen sie die Mängel ihrer dreischichtigen Strategie an und skizzieren mögliche Richtungen für weitere Untersuchungen.
Ihre Arbeit ist mit einer größeren Forschungsagenda und einem Prozess zur Formulierung von Richtlinien verbunden. Organisationen wie DeepMind, Microsoft und Anthropic haben Forschungsergebnisse veröffentlicht, die die von LLMs ausgehenden Schadensrisiken aufzeigen und die Notwendigkeit neuer Governance-Mechanismen hervorheben, um die damit verbundenen ethischen Herausforderungen anzugehen. KI-Labore wie Cohere, OpenAI und AI21 haben Interesse daran bekundet, zu verstehen, was es bedeutet, LLMs verantwortungsvoll zu entwickeln. Regierungen sind auch daran interessiert sicherzustellen, dass die Gesellschaft von der Verwendung von LLM profitiert und gleichzeitig Gefahren begrenzt werden.
Besuche die Papier. Alle Anerkennung für diese Forschung geht an die Forscher an diesem Projekt. Vergessen Sie auch nicht, mitzumachen unser 14k+ ML SubReddit, Discord-Kanal, Und E-Mail-Newsletterwo wir die neuesten KI-Forschungsnachrichten, coole KI-Projekte und mehr teilen.
Aneesh Tickoo ist Beratungspraktikantin bei MarktechPost. Derzeit verfolgt er seinen Bachelor-Abschluss in Datenwissenschaft und künstlicher Intelligenz am Indian Institute of Know-how (IIT), Bhilai. Er verbringt die meiste Zeit mit der Arbeit an Projekten, die darauf abzielen, die Leistungsfähigkeit des maschinellen Lernens zu nutzen. Sein Forschungsinteresse gilt der Bildverarbeitung und er entwickelt leidenschaftlich gerne Lösungen dafür. Er liebt es, mit Menschen in Kontakt zu treten und an interessanten Projekten mitzuarbeiten.
