Bevor wir beginnen, ein großes Replace. Michael Levitt, ein Nobelpreisträger, hat sich an mich gewandt und mir gesagt, dass ihm meine Texte gefallen. Das ist eine große Ehre und ich bin Ihnen allen für den Empfang wirklich dankbar. Ohne Ihre freundlichen Worte wäre ich nie so weit gekommen. Habe hier auf LinkedIn einen Beitrag dazu verfasst.
Viele Leute wenden sich wegen Leseempfehlungen an mich. Ich dachte, ich würde anfangen, jede Woche alle KI-Artikel/-Veröffentlichungen, interessanten Bücher, Movies usw. zu teilen, die mir in den Sinn kommen. Einige werden technisch sein, andere nicht wirklich. Ich werde alle Inhalte hinzufügen, die ich wirklich informativ fand (und an die ich mich im Laufe der Woche erinnert habe). Dies werden nicht immer die neuesten Veröffentlichungen sein – nur diejenigen, denen ich diese Woche meine Aufmerksamkeit schenke. Hier ohne weitere Umschweife interessante Lesungen/Besichtigungen für den 29.06.2023. Wenn Sie die Lesungen der letzten Woche verpasst haben, finden Sie sie hier.
Ein interessantes Diadeck über den Einsatz evolutionärer Algorithmen zur Umgehung staatlicher Zensur. Ich habe eine Aufschlüsselung erstellt, wie Sie Regierungs-Firewalls mithilfe von KI umgehen können, indem ich das übergeordnete Projekt durchgegangen bin. Projekt Genf hier.
Ein interessantes Argument darüber, wie nützlich KI von Natur aus voreingenommen ist und wie man mit KI umgeht. Hier waren zwei besonders aufschlussreiche Absätze:
Hier hält unsere KI einigen Dingen lediglich den Spiegel vor. Bei der Einstellung wird beispielsweise der Wert hervorgehoben, den Sie bestimmten Bedingungen, Rollen, Ausbildung usw. beimessen. Tatsächlich handelt es sich um Beweise aus Das Rekrutierungstool von Amazon zeigt, dass Begriffe wie „Frau“ herabgestuft wurden. Aber struggle das eine voreingenommene KI/ML oder spiegelte dies die unangenehme Erkenntnis wider, dass die Erfolgsmaßstäbe bei Amazon im Gegensatz zu ihrer erklärten Absicht auf traditionell männerdominierten Attributen basieren? Bei der Bereitstellung der Daten zu Einstellungsmustern stellte der Algorithmus lediglich fest, dass Personalmanager routinemäßig Lebensläufe von Personen herabstuften, die als „Frau“ kodiert werden konnten. Der Algorithmus hat sich nicht dafür entschieden, den Begriff selbst herabzustufen, sondern lediglich ein Attribut identifiziert, das den allgemeinen Einstellungstrend widerspiegelt.
Genau das versuchte James Damore in seinem berüchtigten Buch „2017“ hervorzuheben.Google Memo“, wobei er feststellte, dass Google von und für männliche Software program-Ingenieure entwickelt wurde, und dass Frauen unter diesen Erfolgsmaßstäben möglicherweise nicht gerne programmieren würden. Anstatt sich die Organisation anzusehen, wurde Damore an den Pranger gestellt, aber wenn wir diese zugrunde liegenden Annahmen darüber, was wertgeschätzt wird, nicht in Frage stellen und unsere KI/ML auf diese Werte trainieren, werden wir die Algorithmen entsprechend dieser Tendenz gewichten. Wenn ein Algorithmus die Muster des „Erfolgs“ basierend auf historischen Präzedenzfällen aufgreift, ist das im Grunde keine Voreingenommenheit im Algorithmus, sondern ein Spiegelbild der Voreingenommenheit in der Organisation selbst.
Sarah J. Zhang, Samuel Florin, Ariel N. Lee, Eamon Niknafs, Andrei Marginean, Annie Wang, Keith Tyser, Zad Chin, Yann Hicke, Nikhil Singh, Madeleine Udell, Yoon Kim, Tonio Buonassisi, Armando Solar-Lezama, Iddo Drori
Wir kuratieren einen umfassenden Datensatz mit 4.550 Fragen und Lösungen aus Aufgabenstellungen, Zwischenprüfungen und Abschlussprüfungen aller MIT-Kurse für Mathematik, Elektrotechnik und Informatik (EECS), die für den Erwerb eines Abschlusses erforderlich sind. Wir bewerten die Fähigkeit großer Sprachmodelle, die Abschlussanforderungen für jedes MIT-Hauptfach in Mathematik und EECS zu erfüllen. Unsere Ergebnisse zeigen, dass GPT-3.5 ein Drittel des gesamten MIT-Lehrplans erfolgreich löst, während GPT-4 mit prompter Technik eine perfekte Lösungsrate bei einem Testsatz ohne bildbasierte Fragen erreicht. Wir optimieren ein großes Open-Supply-Sprachmodell anhand dieses Datensatzes. Wir verwenden GPT-4, um Modellantworten automatisch zu bewerten und eine detaillierte Leistungsaufschlüsselung nach Kurs, Frage und Antworttyp bereitzustellen. Indem wir Fragen in einen niedrigdimensionalen Raum einbetten, erforschen wir die Beziehungen zwischen Fragen, Themen und Klassen und entdecken, welche Fragen und Klassen für die Lösung anderer Fragen und Klassen durch Wenig-Schuss-Lernen erforderlich sind. Unsere Analyse bietet wertvolle Einblicke in die Kursvoraussetzungen und die Lehrplangestaltung und verdeutlicht das Potenzial von Sprachmodellen für das Lernen und die Verbesserung der Mathematik- und EECS-Ausbildung.
Hyperlink hier
Sehoon Kim, Coleman Hooper, Amir Gholami, Zhen Dong, Xiuyu Li, Sheng Shen, Michael W. Mahoney, Kurt Keutzer
Generative Massive Language Fashions (LLMs) haben für eine Vielzahl von Aufgaben bemerkenswerte Ergebnisse gezeigt. Der Einsatz dieser Modelle zur Inferenz struggle jedoch aufgrund ihres beispiellosen Ressourcenbedarfs eine große Herausforderung. Dies hat bestehende Bereitstellungsframeworks dazu gezwungen, Inferenzpipelines mit mehreren GPUs zu verwenden, die oft komplex und kostspielig sind, oder kleinere und weniger leistungsstarke Modelle zu verwenden. In dieser Arbeit zeigen wir, dass der Hauptengpass für generative Inferenz mit LLMs die Speicherbandbreite und nicht die Rechenleistung ist, insbesondere für Einzelbatch-Inferenz. Während sich die Quantisierung durch die Darstellung von Modellgewichten mit reduzierter Präzision als vielversprechende Lösung erwiesen hat, führten frühere Bemühungen häufig zu erheblichen Leistungseinbußen. Um dieses Downside anzugehen, stellen wir SqueezeLLM vor, ein Publish-Coaching-Quantisierungsframework, das nicht nur eine verlustfreie Komprimierung auf extrem niedrige Genauigkeiten von bis zu 3 Bit ermöglicht, sondern auch eine höhere Quantisierungsleistung bei gleicher Speicherbeschränkung erreicht. Unser Framework beinhaltet zwei neuartige Ideen: (i) empfindlichkeitsbasierte ungleichmäßige Quantisierung, die auf der Grundlage von Informationen zweiter Ordnung nach der optimalen Bitpräzisionszuweisung sucht; und (ii) die Dense-and-Sparse-Zerlegung, die Ausreißer und smart Gewichtswerte in einem effizienten Sparse-Format speichert. Bei der Anwendung auf die LLaMA-Modelle reduziert unsere 3-Bit-Quantisierung die Verwirrungslücke gegenüber der FP16-Basislinie um das bis zu 2,1-fache im Vergleich zu modernsten Methoden mit demselben Speicherbedarf. Darüber hinaus erreichen unsere quantisierten Modelle beim Einsatz auf einer A6000-GPU eine bis zu 2,3-fache Geschwindigkeitssteigerung im Vergleich zur Basislinie. Unser Code ist Open-Supply und on-line verfügbar.
Ionut-Vlad Modoranu, Alexej Kalinow, Eldar Kurtic, Dan Alistarh
Die Nutzung von Informationen zweiter Ordnung auf der Ebene tiefer Netzwerke ist einer der Hauptansatzpunkte zur Verbesserung der Leistung aktueller Optimierer für Deep Studying. Bestehende Ansätze für eine genaue Vollmatrix-Vorkonditionierung wie Full-Matrix Adagrad (GGT) oder Matrix-Free Approximate Curvature (M-FAC) leiden jedoch unter enormen Speicherkosten, selbst wenn sie auf mittelgroße Modelle angewendet werden, da sie a speichern müssen Schiebefenster von Farbverläufen, deren Speicherbedarf in der Modelldimension multiplikativ ist. In diesem Artikel gehen wir dieses Downside mithilfe einer effizienten und einfach zu implementierenden Fehlerrückmeldungstechnik an, mit der sich Vorkonditionierer in der Praxis ohne Konvergenzverlust um bis zu zwei Größenordnungen komprimieren lassen. Insbesondere komprimiert unser Ansatz die Gradienteninformationen durch Sparsifizierung oder Low-Rank-Komprimierung, bevor sie in den Vorkonditionierer eingespeist werden, wodurch der Komprimierungsfehler in zukünftige Iterationen zurückgeführt wird. Umfangreiche Experimente zu tiefen neuronalen Netzen für das Sehen zeigen, dass dieser Ansatz Vollmatrix-Vorkonditionierer um bis zu zwei Größenordnungen komprimieren kann, ohne dass die Genauigkeit beeinträchtigt wird, wodurch der Speicheraufwand der Vollmatrix-Vorkonditionierung für Implementierungen von Vollmatrix-Adagrad (GGT) effektiv beseitigt wird. und natürlicher Gradient (M-FAC). Unser Code ist verfügbar unter diese https-URL.
Carlos Esteves, Jean-Jacques Slotine, Ameesh Makadia
Sphärische CNNs verallgemeinern CNNs auf Funktionen auf der Kugel, indem sie sphärische Faltungen als hauptsächliche lineare Operation verwenden. Der genaueste und effizienteste Weg, sphärische Faltungen zu berechnen, erfolgt im Spektralbereich (über den Faltungssatz), der immer noch kostspieliger ist als die üblichen planaren Faltungen. Aus diesem Grund beschränkten sich Anwendungen sphärischer CNNs bisher auf kleine Probleme, die mit geringer Modellkapazität angegangen werden können. In dieser Arbeit zeigen wir, wie sphärische CNNs für viel größere Probleme skaliert werden können. Um dies zu erreichen, nehmen wir entscheidende Verbesserungen vor, darunter neuartige Varianten gängiger Modellkomponenten, eine Implementierung von Kernoperationen zur Nutzung der Eigenschaften von Hardwarebeschleunigern und anwendungsspezifische Eingabedarstellungen, die die Eigenschaften unseres Modells nutzen. Experimente zeigen, dass unsere größeren sphärischen CNNs bei mehreren Zielen des molekularen Benchmarks QM9, der zuvor von äquivarianten graphischen neuronalen Netzen dominiert wurde, den neuesten Stand der Technik erreichen und bei mehreren Wettervorhersageaufgaben eine wettbewerbsfähige Leistung erzielen. Unser Code ist verfügbar unter diese https-URL.
Ok Move baut eine Plattform für eine gebündelte verwaltete Open-Supply-KI-Infrastruktur auf. Mit Ok Move können Sie erstklassige Open-Supply-Komponenten eines Finish-to-Finish-KI-Infrastruktur-Stacks zusammenstellen, der für Ihre spezifischen Anforderungen und Anwendungsfälle geeignet ist. Innerhalb der KI-Infrastruktur konzentriert sich Ok Move auf generative KI/LLM-Technologien und arbeitet derzeit mit Designpartnern zusammen, um maßgeschneiderte LLM-Feinabstimmungs- und Bereitstellungsplattformen als weitaus schnellere und kostengünstigere various Route zu einem produktionsbereiten System bereitzustellen.
Ok Move wird geleitet von Mischa Herscu Und Skyler Thomas. Sie können sie über ihre Hyperlinks erreichen. Haftungsausschluss: Ich bin weder Mitglied der Gruppe noch werde ich für diesen Gruß finanziell entschädigt. Alle Leser-Shoutouts dienen lediglich dazu, mitzuteilen, woran die Neighborhood arbeitet, ohne weitere Bedingungen.
Wenn Sie interessante Arbeiten leisten und im Highlight-Bereich vorgestellt werden möchten, hinterlassen Sie einfach Ihre Vorstellung in den Kommentaren oder indem Sie sich an mich wenden. Es gibt keine Regeln – Sie können über eine Arbeit sprechen, die Sie geschrieben haben, ein interessantes Projekt, an dem Sie gearbeitet haben, eine persönliche Herausforderung, an der Sie arbeiten, Ihre Content material-Plattform oder alles andere, was Sie für wichtig halten. Ziel ist es, Sie besser kennenzulernen und Sie möglicherweise mit interessanten Menschen in der Neighborhood zusammenzubringen. Es sind keine Kosten/Verpflichtungen damit verbunden.
Diese Woche struggle ziemlich viel los, daher gibt es nicht viele Movies oder Artikel, über die ich sprechen könnte. Ich erforsche eine neue Technologie und neue Fähigkeiten und erwarte daher, bald mehr zu sehen.
Ich werde euch alle nächste Woche mit mehr davon erwischen. Wenn Sie mich in der Zwischenzeit finden möchten, finden Sie hier meine sozialen Hyperlinks:
Verwenden Sie die untenstehenden Hyperlinks, um sich meine anderen Inhalte anzusehen, mehr über Nachhilfe zu erfahren, mich wegen Projekten zu kontaktieren oder einfach nur Hallo zu sagen.
Kleine Ausschnitte über Technologie, KI und maschinelles Lernen hier
KI-Newsletter – https://artificialintelligencemadesimple.substack.com/
Der Lieblings-Tech-Newsletter meiner Oma – https://codinginterviewsmadesimple.substack.com/
Schauen Sie sich meine anderen Artikel auf Medium an. : https://rb.gy/zn1aiu
Mein YouTube: https://rb.gy/88iwdd
Kontaktieren Sie mich auf LinkedIn. Lassen Sie uns verbinden: https://rb.gy/m5ok2y
Mein Instagram: https://rb.gy/gmvuy9
Mein Twitter: https://twitter.com/Machine01776819
