Als Erik Duhaime PhD ’19 am Heart for Collective Intelligence des MIT an seiner Dissertation arbeitete, bemerkte er, dass seine Frau, damals Medizinstudentin, stundenlang an Apps lernte, die Lernkarten und Checks anboten. Seine Forschung hatte gezeigt, dass Medizinstudenten als Gruppe Hautläsionen genauer klassifizieren konnten als professionelle Dermatologen; Der Trick bestand darin, die Leistung jedes Schülers bei Fällen mit bekannten Antworten kontinuierlich zu messen, die Meinungen von Leuten zu verwerfen, die bei der Aufgabe schlecht waren, und die Meinungen von Leuten, die intestine waren, clever zu bündeln.
Duhaime kombinierte die Lerngewohnheiten seiner Frau mit seiner Forschung und gründete Centaur Labs, ein Unternehmen, das eine cellular App namens DiagnosUs entwickelte, um die Meinungen medizinischer Experten zu realen wissenschaftlichen und biomedizinischen Daten einzuholen. Über die App überprüfen Benutzer alles, von Bildern potenziell krebsartiger Hautläsionen bis hin zu Audioclips von Herz- und Lungengeräuschen, die auf ein Downside hinweisen könnten. Wenn die Nutzer korrekt sind, nutzt Centaur ihre Meinung und vergibt kleine Geldpreise an sie. Diese Meinungen wiederum helfen medizinischen KI-Unternehmen, ihre Algorithmen zu trainieren und zu verbessern.
Der Ansatz verbindet den Wunsch medizinischer Experten, ihre Fähigkeiten zu verbessern, mit dem dringenden Bedarf an intestine gekennzeichneten medizinischen Daten von Unternehmen, die KI für die Biotechnologie, die Entwicklung von Arzneimitteln oder die Kommerzialisierung medizinischer Geräte einsetzen.
„Mir wurde klar, dass das Studium meiner Frau für KI-Entwickler eine produktive Arbeit sein könnte“, erinnert sich Duhaime. „Heute nutzen Zehntausende Menschen unsere App, und etwa die Hälfte sind Medizinstudenten, die überwältigt sind, dass sie während des Studiums Geld gewinnen. Wir haben additionally diese spielerische Plattform, auf der Menschen miteinander konkurrieren, um Daten zu trainieren und Geld zu gewinnen, wenn sie intestine sind, und gleichzeitig ihre Fähigkeiten zu verbessern – und indem sie das tun, kennzeichnen sie Daten für Groups, die lebensrettende KI aufbauen.“
Gamifizierende medizinische Kennzeichnung
Duhaime promovierte bei Thomas Malone, dem Patrick J. McGovern-Professor für Administration und Gründungsdirektor des Heart for Collective Intelligence.
„Was mich interessierte, battle das Phänomen der Weisheit der Massen“, sagt Duhaime. „Fragen Sie ein paar Leute, wie viele Gummibärchen in einem Glas sind, und der Durchschnitt aller Antworten liegt ziemlich nahe beieinander. Mich interessierte, wie Sie mit diesem Downside bei einer Aufgabe umgehen, die Geschick oder Fachwissen erfordert. Selbstverständlich möchten Sie nicht einfach ein paar beliebige Leute fragen, ob Sie Krebs haben, aber gleichzeitig wissen wir, dass Zweitmeinungen im Gesundheitswesen äußerst wertvoll sein können. Sie können sich unsere Plattform als eine leistungsstarke Möglichkeit vorstellen, eine zweite Meinung einzuholen.“
Duhaime begann mit der Suche nach Möglichkeiten, kollektive Intelligenz zur Verbesserung medizinischer Diagnosen zu nutzen. In einem Experiment schulte er Gruppen von Laien und Medizinstudenten, die er als „Semiexperten“ bezeichnet, in der Klassifizierung von Hauterkrankungen und stellte fest, dass er durch die Kombination der Meinungen der Leistungsstärksten professionelle Dermatologen übertreffen konnte. Er fand außerdem heraus, dass er durch die Kombination von Algorithmen, die auf die Erkennung von Hautkrebs spezialisiert sind, mit den Meinungen von Experten beide Methoden allein übertreffen konnte.
„Die Kernerkenntnis battle, dass man zwei Dinge tut“, erklärt Duhaime. „Das Erste ist, die Leistung der Menschen zu messen – was offensichtlich klingt, aber selbst im medizinischen Bereich wird nicht viel getan. Wenn Sie einen Dermatologen fragen, ob sie intestine sind, sagen sie: „Ja, natürlich, ich bin Dermatologe.“ Sie wissen nicht unbedingt, wie intestine sie in bestimmten Aufgaben sind. Zweitens: Wenn Sie mehrere Meinungen einholen, müssen Sie Komplementaritäten zwischen den verschiedenen Personen erkennen. Sie müssen sich darüber im Klaren sein, dass Fachwissen mehrdimensional ist. Es geht additionally eher darum, das optimale Trivia-Workforce zusammenzustellen, als darum, die fünf Leute zusammenzubringen, die alle in derselben Sache die Besten sind. Beispielsweise könnte ein Dermatologe besser in der Erkennung von Melanomen sein, während ein anderer den Schweregrad der Psoriasis besser einstufen kann.“
Noch während seiner Doktorarbeit gründete Duhaime Centaur und begann, das unternehmerische Ökosystem des MIT zu nutzen, um die Idee weiterzuentwickeln. Er erhielt 2017 Fördermittel aus dem Sandbox Innovation Fund des MIT und nahm im Sommer 2018 am Delta-V-Startup-Accelerator des Martin Belief Heart for MIT Entrepreneurship teil. Diese Erfahrung verhalf ihm später in diesem Jahr zum prestigeträchtigen Y-Combinator-Accelerator.
Die DiagnosUs-App, die Duhaime zusammen mit den Centaur-Mitbegründern Zach Rausnitz und Tom Gellatly entwickelt hat, soll Benutzern dabei helfen, ihre Fähigkeiten zu testen und zu verbessern. Duhaime sagt, dass etwa die Hälfte der Nutzer Medizinstudenten sind und die andere Hälfte hauptsächlich Ärzte, Krankenschwestern und andere medizinische Fachkräfte sind.
„Das ist besser als für Prüfungen zu lernen, bei denen man möglicherweise A number of-Selection-Fragen hat“, sagt Duhaime. „Sie bekommen die Möglichkeit, reale Fälle zu sehen und zu üben.“
Centaur sammelt jede Woche Millionen von Meinungen von Zehntausenden Menschen auf der ganzen Welt. Laut Duhaime verdienen die meisten Leute Kaffeegeld, obwohl die Individual, die mit der Plattform am meisten verdient, ein Arzt in Osteuropa ist, der etwa 10.000 Greenback verdient.
„Die Leute können es auf der Sofa machen, sie können es auf dem T machen“, sagt Duhaime. „Es fühlt sich nicht wie Arbeit an – es macht Spaß.“
Der Ansatz steht in scharfem Kontrast zur herkömmlichen Datenkennzeichnung und KI-Inhaltsmoderation, die typischerweise in Länder mit geringen Ressourcen ausgelagert werden.
Auch der Ansatz von Centaur liefert genaue Ergebnisse. In einem Papier Mit Forschern des Brigham and Ladies’s Hospital, des Massachusetts Common Hospital (MGH) und der Technischen Universität Eindhoven zeigte Centaur, dass seine Crowdsourcing-Meinungen zu Lungenultraschall ebenso zuverlässig waren wie Experten. Eine weitere Studie mit Forschern am Memorial Sloan Kettering zeigte, dass die Crowdsourcing-Beschriftung dermatoskopischer Bilder genauer battle als die von sehr erfahrenen Dermatologen. Über Bilder hinaus funktioniert die Plattform von Centaur auch mit Video, Audio, Textual content aus Quellen wie Forschungsarbeiten oder anonymisierten Gesprächen zwischen Ärzten und Patienten sowie Wellen von Elektroenzephalogrammen (EEGs) und Elektrokardiographien (EKGs).
Die Experten finden
Centaur hat herausgefunden, dass die besten Künstler aus überraschenden Orten kommen. Um Expertenmeinungen zu EEG-Mustern zu sammeln, veranstalteten Forscher im Jahr 2021 über die DiagnosUs-App auf einer Konferenz einen Wettbewerb mit etwa 50 Epileptologen, jeder mit mehr als 10 Jahren Erfahrung. Die Organisatoren fertigten ein individuelles T-Shirt an, um es dem Gewinner des Wettbewerbs zu schenken, von dem sie annahmen, dass er an der Konferenz teilnehmen würde.
Doch als die Ergebnisse vorlagen, hatten zwei Medizinstudenten aus Ghana, Jeffery Danquah und Andrews Gyabaah, alle Anwesenden geschlagen. Der bestplatzierte Konferenzteilnehmer hatte den neunten Platz belegt.
„Ich habe es zunächst wegen des Geldes gemacht, aber mir wurde klar, dass es mir tatsächlich sehr geholfen hat“, erzählte Gyabaah später dem Workforce von Centaur. „Es gab Zeiten in der Klinik, in denen mir klar wurde, dass es mir aufgrund der Erkenntnisse aus der DiagnosUs-App besser ging als anderen.“
Da KI die Artwork der Arbeit weiterhin verändert, geht Duhaime davon aus, dass Centaur Labs zur kontinuierlichen Überprüfung von KI-Modellen eingesetzt werden wird.
„Im Second unterstützen wir Menschen hauptsächlich beim Trainieren von Algorithmen, aber ich denke, wir werden zunehmend auch für die Überwachung von Algorithmen und in Verbindung mit Algorithmen eingesetzt, sodass wir im Grunde genommen als Menschen im Kreislauf für eine Reihe von Aufgaben dienen“, sagt Duhaime. „Vielleicht betrachten Sie uns weniger als eine Möglichkeit, KI zu trainieren, sondern vielmehr als Teil des gesamten Lebenszyklus, in dem wir Suggestions zu den Ergebnissen der Modelle geben oder das Modell überwachen.“
Duhaime sieht eine zunehmende Integration der Arbeit von Menschen und KI-Algorithmen und glaubt, dass Centaur Labs in dieser Zukunft eine wichtige Rolle spielen muss.
„Es geht nicht nur darum, einen Algorithmus zu trainieren und einen Algorithmus bereitzustellen“, sagt Duhaime. „Stattdessen wird es überall in der Wirtschaft digitale Fließbänder geben, und man benötigt auf Abruf menschliches Expertenurteil, das an verschiedenen Stellen entlang der Wertschöpfungskette eingebracht wird.“
