Ja manchmal. Lassen Sie uns anhand einer äußerst erfolgreichen Fallstudie tiefer in die Materie eintauchen.
Einführung
Im Jahr 2021 gewann das Emirates Workforce New Zealand den America’s Cup, das wohl wichtigste Occasion im Segelsport. Worauf führten sie einen Großteil ihres Erfolgs zurück? Ein Reinforcement-Studying-Modell, das von QuantumBlack, einem Beratungszweig für künstliche Intelligenz (KI) von McKinsey & Firm, entwickelt wurde [1].
Wenn Sie sich mit Segeln nicht auskennen, denken Sie möglicherweise nicht einmal daran, dass es sich um einen Sport handelt, geschweige denn um einen actiongeladenen Hochleistungssport mit sich ständig weiterentwickelnden Technologien auf dem neuesten Stand der Physik und Technik. Allerdings hat sich das Wettkampfsegeln im letzten Jahrzehnt durch Durchbrüche in der Computertechnik verändert und zu Bootsdesigns geführt, die noch vor wenigen Jahrzehnten für Segler nicht wiederzuerkennen waren.
Der America’s Cup gilt als die älteste Trophäe im internationalen Sport [2]: Es verkehrt seit dem Eröffnungsjahr 1857 etwa alle drei bis vier Jahre [3]. Die letzte Veranstaltung fand im Jahr 2021 statt und das Design der America’s-Cup-Boote selbst (AC75 genannt) ähnelt mittlerweile eher Flugzeugen als klassischen Segelbooten, da sie sich auf Tragflügelbooten aus dem Wasser heben. Jedes Workforce ist in der Lage, das Basisdesign zu verfeinern, um so viel Geschwindigkeit wie möglich herauszuholen.
QuantumBlack wurde von McKinsey übernommen, nachdem das Unternehmen erfolgreich mit Formel-1-Autorennteams zusammengearbeitet hatte [4]wo es nur vier Bedienelemente gibt, die der einzelne Fahrer ändern kann, und relativ begrenzte Eingaben, aber diese AC75 verfügen über eine große Auswahl an Eingaben und 14 Bedienelemente, die von verschiedenen Seglern gesteuert werden können [5].
Eine wichtige Entwicklung struggle der Einsatz von Simulationen, um das Experimentieren mit verschiedenen Segeltechniken und Ausrüstungsänderungen zu ermöglichen. Jede America’s-Cup-Kampagne nutzt sie, um ihre Segler zu schulen und Designinnovationen umzusetzen, ohne dass die Kosten für den physischen Bau anfallen, und das in einem Bruchteil der Zeit [5]. Bevor diese KI-Segler-Bots den Ring betraten, mussten die echten Athleten die Simulationen nutzen, um diese digitale Iteration von Designs zu ermöglichen. Dies erfordert zwar weniger Zeit und Geld, als tatsächlich mit verschiedenen Prototypen aufs Wasser zu gehen, ist aber dennoch ein erheblicher Zeitverlust.
Daher bestand das ursprüngliche Ziel darin, einen KI-Algorithmus zu entwickeln, der mithilfe von Reinforcement Studying Eingaben in die Simulation liefern kann, die denen echter menschlicher Seeleute nachahmen [6]. Ziel wäre es, einen digitalen Zwilling des bestehenden menschlichen Segelteams zu haben, das zu jeder Tageszeit parallel trainieren kann, um Designänderungen mit beispielloser Geschwindigkeit zu iterieren.
Das Mannequin
Reinforcement Studying ist ein Ansatz des maschinellen Lernens, der sich grundlegend vom überwachten Lernen und dem unüberwachten Lernen unterscheidet. Beim Reinforcement Studying werden zahlreiche Entscheidungen von einem „Agenten“ innerhalb seiner „Umgebung“ getroffen, wobei er versucht, die maximale „Belohnung“ zu erhalten und dabei eine optimale „Richtlinie“ findet, nach der er in der Zukunft agieren kann. In diesem Fall ist der Agent der KI-Segler-Bot, die Umgebung ist die Rennstrecke, die Belohnung hängt davon ab, wie intestine der KI-Segler im Rennen abschneidet, und die Richtlinie ist die beste Strategie zur Steuerung des AC75 unter den aktuellen Bedingungen.
Durch einen iterativen Prozess von Versuch und Irrtum kann es diesem Agenten gelingen, bei bestimmten strategischen Spielen eine Leistung auf menschlichem Niveau zu erreichen, manchmal sogar noch weiter zu gehen und menschliche Spezialisten zu übertreffen. Dies wurde im berühmten Fall von AlphaGO gezeigt, einem Verstärkungsmodell von DeepMind, das einen Go-Weltmeister besiegte [7]. Ebenso struggle das von QuantumBlack entwickelte Verstärkungsmodell nach 1.000 Stunden Coaching in der Lage, einen KI-Segler-Bot zu erstellen, der diese menschlichen Weltklasse-Segler nachahmt und so die Prototypentests um das Zehnfache beschleunigte [6] und reduzieren Sie die Kosten für das Testen jedes Designs um 95 % [5]. Es konnte zeitweise sogar die Leistung des menschlichen Groups übertreffen und als Werkzeug genutzt werden, um den Seglern beizubringen, wie sie ihre Leistung optimieren können [6].
Eine Methode zur Quantifizierung der Schwierigkeit eines Issues besteht darin, die Größe des Raums zu analysieren, den ein Agent zum Navigieren benötigt. Die Anzahl möglicher Entscheidungen, die getroffen werden müssen, wird als Recreation-Tree-Komplexität bezeichnet. Go, das bekanntermaßen komplexe Brettspiel, das oben erwähnt wurde, hat eine Spielbaumkomplexität von 170, während dieses Segelproblem schätzungsweise eine Spielbaumkomplexität von quick 2.900 hat [6].
Das Modell wurde nicht öffentlich veröffentlicht und ein Großteil der Methodik wurde vertraulich behandelt, wir werden uns jedoch mit den derzeit zugänglichen Informationen über das Innenleben des Modells befassen.
Zuerst konzentrierte sich QuantumBlack darauf, dem Agenten beizubringen, gegen den Wind zu segeln, dann gegen den Wind, dann die Wende (das Boot durch den Wind drehen, wenn es gegen den Wind geht) und das Halsen (das Boot durch den Wind drehen, wenn es gegen den Wind geht) zu optimieren. [5]. Die beiden letztgenannten Manöver sind sowohl für Menschen als auch für Agenten schwierig zu meistern. Bei jedem dieser Schritte wurden Tausende von Agenten parallel geschult, wobei jeder vom anderen lernte [6].
Wie bei vielen Anwendungsfällen des verstärkenden Lernens gibt es keine klare Möglichkeit, festzustellen, ob jede einzelne Entscheidung die richtige ist, aber es gibt Möglichkeiten, zu beurteilen, wie effektiv die kumulativen Aktionen des Agenten sind. Eine Möglichkeit zu quantifizieren, wie intestine die einzelnen Agenten in der Segelsimulation abschneiden, besteht darin, ihre Zielreihenfolge oder -zeiten zu vergleichen. QuantumBlack hat sich jedoch dafür entschieden, sich auf eine Maßnahme zu konzentrieren, die während des gesamten Rennens und nicht nur am Ende bewertet werden kann. Diese Maßnahme wird VMG genannt [5]. Hoffentlich lacht man, wenn man erkennt, dass es sich dabei um einen im Segelsport allgegenwärtigen Fachbegriff handelt, der eigentlich nur für „Velocity Made Good“ steht. VMG ist ein Maß dafür, wie viel Geschwindigkeit Ihr Boot in die Richtung hat, in die Sie fahren möchten, normalerweise in Richtung der nächsten Markierung auf der Rennstrecke. Daher erhalten die Agenten bei jedem Zeitschritt eine Belohnung, die proportional zur VMG ihres Bootes ist [5]. Ein Nachteil dieses Ansatzes besteht darin, dass es im Segelsport, ähnlich wie im Formel-1-Rennsport, Zeiten gibt, in denen man kurzfristige Geschwindigkeitseinbußen für langfristige Gewinne in Kauf nehmen möchte, und diese Belohnungsfunktion scheint dies nicht effektiv zu berücksichtigen. Es kann jedoch einen optimalen Zeitschritt geben, in dem einige dieser kurzfristigen Verluste durch längerfristige Gewinne ausgeglichen werden [5].
Dies führt uns auch zu einer Diskussion über die Nachteile des Simulationstrainings, die alle darauf zurückzuführen sind, dass sie die Realität nicht vollständig abbilden.
Einschränkungen
Um etwas mehr Authentizität zu erreichen, hat das Entwicklungsteam Einschränkungen implementiert, denen Menschen unterliegen, wie beispielsweise das Fehlen sofortiger Reaktionen auf eine Änderung der Lenkrichtung [5]. Allerdings wird es immer so sein, dass Simulationen die realen Szenarien des Segelns nicht vollständig abbilden können.
Eine der unbeantworteten Fragen in diesem Bereich ist, wie viele Informationen Sie dem Agenten über die Police geben, die er haben sollte. Mit vielen Variablen und begrenzter Zeit hätte der Agent das selbstständige Segeln ohne Anweisungen nicht erlernen können, aber mit zu vielen Anweisungen wäre es unmöglich, die Entstehung neuer Taktiken und Strategien zuzulassen [5]. Dieses Modell konnte einen akzeptablen Mittelweg finden, indem es genügend Anweisungen gab, so dass der Agent in nur wenigen Wochen lernen konnte, das Boot richtig zu segeln, und gleichzeitig ermöglichte es einigen der Ergebnisse, neue Perspektiven für das Segeln dieser Romane aufzuzeigen Boote [6].
Abschluss
Der America’s Cup besteht aus Match Races zwischen zwei Groups, dem Verteidiger, der aktuell die Trophäe hält, und dem Herausforderer. Dieser Herausforderer wird durch einen harten Wettbewerb zwischen mehreren Groups in einer Reihe von Veranstaltungen ausgewählt, wobei der Sieger der Playoffs den Verteidiger im America’s Cup herausfordert [2].
Der Herausforderer des letzten America’s Cup, das Workforce Luna Rossa, hatte einen eigenen digitalen Zwilling entwickelt, der auf KI basiert [8]. Sie besiegten ihren Gegner, den New York Yacht Membership, im Halbfinale mit 4:0 und gewannen anschließend das Finest-of-13-Finale in 8 Spielen gegen das INEOS-Workforce [10].
Das klingt nach einem Erfolg. Sollten additionally alle Segelteams diese KI-basierten digitalen Zwillinge entwickeln? Ist das der Schlüssel zum Sieg bei Regatten? Vielleicht nicht.
Wie in dem Artikel erläutert wurde, hat auch der Verteidiger, das Emirates Workforce New Zealand, einen digitalen Zwilling entwickelt [9]. Am Ende besiegten sie die herausfordernde Luna Rossa. Dies deutet darauf hin, dass hinter der Gleichung möglicherweise noch mehr steckt.
Dieser Ansatz ist für kleinere Boote und weniger wichtige Regatten, bei denen weitaus weniger Ressourcen zur Verfügung stehen, wahrscheinlich nicht umsetzbar, da eine einigermaßen realistische Simulation erforderlich ist und das Modell für jedes neue Boot neu trainiert werden müsste. Könnte hier Transferlernen eingesetzt werden? Ich denke, das sind zu viele Fragen für heute …
Der nächste America’s Cup ist für Herbst 2024 geplant [9]Angesichts all der scheinbar ununterbrochenen Fortschritte bei der KI wird es interessant sein zu sehen, wie der Segelsport weiterhin revolutioniert wird.
Bis dahin hinterlasse ich Ihnen ein paar Hyperlinks, die über die bereitgestellten Referenzen hinausgehen, falls Sie daran interessiert sind, mehr über solche Dinge zu erfahren:
Dieser Artikel wurde geschrieben von Ashley FerreiraLesegruppenleiter für UWDSC.
Verweise
[1] QuantumBlack AI-Übersicht von McKinsey
[2] America’s Cup in 3 einfachen Punkten erklärt von BOAT Worldwide
[3] Geschichte des America’s Cup von Magnus Wheatley
[4] Was kann ein KI-Bot den besten Seglern der Welt beibringen? von WIRED
[5] Wie ein Bot Team New Zealand schneller und intelligenter machte von Crusing World Workers
[6] Von KI angetrieben über das Meer fliegen von McKinsey Digital
[7] AlphaGo von Google DeepMind
[8] Wenn die virtuelle und die digitale Welt verschmelzen, entsteht ein digitaler Zwilling von Delian Companions
[9] Barcelona wird 2024 den 37. America’s Cup ausrichten vom America’s Cup
[10] America’s Cup 2021 auf Wikipedia
