Start Blog

Autonomous innovations in an uncertain world | MIT News


MIT Professor Jonathan How’s analysis pursuits span the gamut of autonomous autos — from airplanes and spacecraft to unpiloted aerial autos (UAVs, or drones) and automobiles. He’s significantly targeted on the design and implementation of distributed sturdy planning algorithms to coordinate a number of autonomous autos able to navigating in dynamic environments.

For the previous 12 months or so, the Richard Cockburn Maclaurin Professor of Aeronautics and Astronautics and a crew of researchers from the Aerospace Controls Laboratory at MIT have been growing a trajectory planning system that enables a fleet of drones to function in the identical airspace with out colliding with one another. Put one other method, it’s a multi-vehicle collision avoidance mission, and it has real-world implications round price financial savings and effectivity for quite a lot of industries together with agriculture and protection.

The take a look at facility for the mission is the Kresa Heart for Autonomous Methods, an 80-by-40-foot house with 25-foot ceilings, customized for MIT’s work with autonomous autos — together with How’s swarm of UAVs frequently buzzing across the middle’s excessive bay. To keep away from collision, every UAV should compute its path-planning trajectory onboard and share it with the remainder of the machines utilizing a wi-fi communication community.

However, in line with How, one of many key challenges in multi-vehicle work entails communication delays related to the trade of knowledge. On this case, to deal with the difficulty, How and his researchers embedded a “notion conscious” operate of their system that enables a car to make use of the onboard sensors to collect new details about the opposite autos after which alter its personal deliberate trajectory. In testing, their algorithmic repair resulted in a 100% success price, guaranteeing collision-free flights amongst their group of drones. The following step, says How, is to scale up the algorithms, take a look at in greater areas, and finally fly exterior.

Born in England, Jonathan How’s fascination with airplanes began at a younger age, because of ample time spent at airbases along with his father, who, for a few years, served within the Royal Air Pressure. Nevertheless, as How remembers, whereas different youngsters wished to be astronauts, his curiosity had extra to do with the engineering and mechanics of flight. Years later, as an undergraduate on the College of Toronto, he developed an curiosity in utilized arithmetic and multi-vehicle analysis because it utilized to aeronautical and astronautical engineering. He went on to do his graduate and postdoctoral work at MIT, the place he contributed to a NASA-funded experiment on superior management strategies for high-precision pointing and vibration management on spacecraft. And, after engaged on distributed house telescopes as a junior school member at Stanford College, he returned to Cambridge, Massachusetts, to affix the school at MIT in 2000.

“One of many key challenges for any autonomous car is methods to tackle what else is within the setting round it,” he says. For autonomous automobiles which means, amongst different issues, figuring out and monitoring pedestrians. Which is why How and his crew have been gathering real-time information from autonomous automobiles outfitted with sensors designed to trace pedestrians, after which they use that info to generate fashions to know their conduct — at an intersection, for instance — which allows the autonomous car to make short-term predictions and higher selections about methods to proceed. “It is a very noisy prediction course of, given the uncertainty of the world,” How admits. “The actual purpose is to enhance information. You are by no means going to get good predictions. You are simply attempting to know the uncertainty and scale back it as a lot as you may.”

On one other mission, How is pushing the boundaries of real-time decision-making for plane. In these situations, the autos have to find out the place they’re situated within the setting, what else is round them, after which plan an optimum path ahead. Moreover, to make sure enough agility, it’s sometimes mandatory to have the ability to regenerate these options at about 10-50 instances per second, and as quickly as new info from the sensors on the plane turns into out there. Highly effective computer systems exist, however their price, measurement, weight, and energy necessities make their deployment on small, agile, plane impractical. So how do you rapidly carry out all the required computation — with out sacrificing efficiency — on computer systems that simply match on an agile flying car?

How’s resolution is to make use of, on board the plane, fast-to-query neural networks which might be educated to “imitate” the response of the computationally costly optimizers. Coaching is carried out throughout an offline (pre-mission) section, the place he and his researchers run an optimizer repeatedly (1000’s of instances) that “demonstrates” methods to remedy a job, after which they embed that information right into a neural community. As soon as the community has been educated, they run it (as a substitute of the optimizer) on the plane. In flight, the neural community makes the identical selections that the optimizer would have made, however a lot quicker, considerably lowering the time required to make new selections. The method has confirmed to achieve success with UAVs of all sizes, and it will also be used to generate neural networks which might be able to immediately processing noisy sensory indicators (referred to as end-to-end studying), resembling the pictures from an onboard digicam, enabling the plane to rapidly find its place or to keep away from an impediment. The thrilling improvements listed below are within the new strategies developed to allow the flying brokers to be educated very effectively – usually utilizing solely a single job demonstration. One of many necessary subsequent steps on this mission are to make sure that these realized controllers could be licensed as being secure.

Over time, How has labored intently with firms like Boeing, Lockheed Martin, Northrop Grumman, Ford, and Amazon. He says working with trade helps focus his analysis on fixing real-world issues. “We take trade’s laborious issues, condense them all the way down to the core points, create options to particular facets of the issue, reveal these algorithms in our experimental amenities, after which transition them again to the trade. It tends to be a really pure and synergistic suggestions loop,” says How.

Source link

AI-Generated Drake Song Submitted for Grammys: A Pivotal Moment for Music and AI


In a landmark second that might redefine the intersection of know-how and the humanities, an AI-generated tune mimicking the model of the rapper Drake has been submitted for Grammy consideration. Reported by the New York Times, the occasion raises intriguing questions concerning the position of synthetic intelligence in inventive endeavors, the way forward for music manufacturing, and the ethics of machine-generated artwork.

AI’s Capabilities in Mimicking Human Creativity

The idea of AI-produced music is not novel; for years, programmers and musicians have been dabbling in algorithms able to composing music. Nonetheless, the truth that an AI-generated tune could possibly be deemed worthy of a prestigious award just like the Grammy speaks volumes concerning the developments in machine learning algorithms and their functionality to imitate human creativity.

The AI behind the Drake-like tune was educated utilizing knowledge from current Drake songs, permitting it to know and reproduce the rapper’s distinctive model. Whereas the nuances of human emotion and lived expertise cannot be totally replicated by an algorithm, the know-how has reached some extent the place the tip product is refined sufficient to warrant skilled recognition. This breakthrough might considerably influence the music trade, accelerating the shift in direction of technology-assisted creation and manufacturing.

The place Do We Draw the Line?

The submission of an AI-generated tune for a Grammy award opens up a Pandora’s field of moral and creative questions. Who owns the rights to a tune created by a machine? Is it moral for such a creation to compete with human-made artwork for prestigious awards? Can machine-generated artwork ever seize the depth and nuance that come from human expertise?

These questions lengthen past the music trade to all types of artwork. The acceptance of machine-made creations might both democratize the world of artwork manufacturing, making it extra accessible, or it might marginalize human artists who cannot compete with the velocity and effectivity of AI algorithms. Furthermore, what does it imply for the way forward for music if machines can emulate our favourite artists? Will we attain some extent the place it turns into tough to differentiate between human-produced and AI-generated music?

Trade Response and Future Prospects

The music trade’s response to this groundbreaking submission will likely be carefully monitored. If the tune features important traction and even wins the award, we could witness a seismic shift in how music is created, distributed, and awarded. The instruments to create artwork will likely be additional democratized, with extra folks getting access to refined music-producing algorithms.

On the flip facet, this might lead to a homogenization of artwork, the place particular person creativity is overshadowed by machine effectivity. Moreover, the trade might want to navigate a brand new authorized panorama that accounts for the possession and rights related to machine-generated music.

The submission of an AI-generated tune for Grammy consideration marks a watershed second within the integration of know-how and artwork. It not solely illustrates the leaps made in machine studying capabilities but additionally forces us to confront the moral and creative dilemmas of a future the place machines can create. Whether or not we view this growth as a possibility for inventive growth or a risk to human artistry, one factor is evident: the panorama of music, and doubtlessly all inventive endeavors, is on the cusp of radical change.

Source link

Building your First GAN. As of today, GANs (2021) are the state… | by James Casia | Sep, 2023


As of at present, GANs (2021) are the state-of-the-art for picture technology duties. GANs corresponding to StyleGAN, developed by nvidia, is getting numerous buzz for with the ability to generate excessive decision and sensible photographs of faux individuals! Though we received’t be producing tremendous sensible faces but,this pocket book tutorial will train you the fundamentals of constructing a easy GAN utilizing pytorch.

On this tutorial, we are going to be taught to create a quantity guesser. This GAN will be taught to generate(or guess) a sure quantity with out ever seeing or being informed what the quantity is! Sort of like a guessing recreation whereby the generator tries to guess a quantity whereas the discriminator merely says ‘sure’ or ‘no’. You too can entry this tutorial as a notebook.

Picture by Rock’n Roll Monkey on Unsplash
import torch
import torch.nn as nn
import torch.optim as optim
from scipy.stats import truncnorm
  • z_dim is the noise vector size
  • epochs is the quantity of epochs shall be skilled on
  • lr is the educational charge
  • p_real is the proportion of reals in a batch(utilized by the discriminator)
  • batch_size is the dimensions of the mini-batch
  • machine is both ‘cuda’ or ‘cpu’ on the place we need to practice the gan
z_dim = 1
epochs = 2000
lr = 1e-2
p_real = 0.5
batch_size = 100
machine = 'cuda'

We want knowledge to coach our GAN on. On this quite simple instance the place we train a generator to guess(generate) a quantity, we merely generate an array of that quantity

number_to_be_guessed = 69.
reals = torch.tensor([ [number_to_be_guessed] for i in vary(1000) ], machine = machine)

That is an fascinating half! Right here we outline our generator and discriminator fashions.

For the generator, we merely soak up a noise vector and output a quantity. Mills soak up noise so as to add stochasticity(randomness) to its outputs. On this instance, we soak up a noise vector of size z_dim and output one worth, our guess of the quantity.

The discriminator is our typical classification neural community. It takes in a quantity and it outputs a quantity to indicate realness or fakeness(if the guessed quantity is true). We use a sigmoid operate to scale the linear outputs from 0 to 1.

gen = nn.Sequential(nn.Linear(z_dim,1, machine = machine))
disc = nn.Sequential(nn.Linear(1,1, machine = machine))

The optimizers are accountable for updating the weights and biases for our GAN. On this case, we use the Adam Optimizer and set it’s studying charge hyperparameter. We’ll use separate optimizers for every mannequin.

gen_opt = optim.Adam( gen.parameters(), lr = lr) 
disc_opt = optim.Adam(disc.parameters(), lr = lr)

We randomly pattern values from a standard distribution with imply 0 and commonplace deviation of 1 to kind our noise vector. On this operate we soak up n the quantity of noise vectors we generate, and z_dim the dimensions of the noise vector. The optionally available parameter trunc is one thing we are going to use for technology. Its goal is to tweak the constancy/variety of the samples we’re producing.

def get_noise(n, z_dim, **kwargs):
trunc = kwargs.get('trunc', 1)
return torch.from_numpy(truncnorm.rvs(-trunc, trunc, measurement=(n,z_dim) )).sort(torch.float32).to(machine)

That is the thrilling half! Right here we practice the generator and discriminator. We use a mini-batch from our actual dataset and blend it with the pretend(guessed) numbers to coach the generator. We use least squares loss to evaluate and practice our fashions.

for _ in vary(epochs): 
# Iterate via the batches
for i in vary(reals.form[0]//batch_size):
actual = reals[:batch_size*i]
cur_batch_size = actual.form[0]

# Zero out the discriminator gradients
noise = get_noise(cur_batch_size, z_dim)
# Detach the generator as to not replace waste time calculating gradients
pretend = gen(noise).detach()
# Combine fakes and reals for discriminator

inputs = actual.clone()
labels = torch.zeros(actual.form[0], 1).to(machine)
for i in vary(inputs.form[0]):
rand = torch.rand(1)[0]
inputs[i,:] = reals[i,:] if rand <= p_real else pretend[i,:]
labels[i, :] = 1. if rand <= p_real else 0.

# Discriminator loss operate
disc_loss = torch.sq.(labels - disc(inputs)).imply()

# Replace discriminator weights
disc_loss.backward(retain_graph = True)

# Zero out the generator gradients
noise = get_noise(cur_batch_size, z_dim )
preds = disc(gen(noise))

# Generator loss operate
gen_loss = torch.sq.(1 - preds).imply()

# Replace generator weights
gen_loss.backward( )

# Print mannequin stats
if _% (epochs//10) == 0:
print("disc_loss:", disc_loss.merchandise())
print("gen_loss:", gen_loss.merchandise(), "n")
print("Pattern generator(pretend) outputs:", gen(get_noise(5, z_dim,trunc= 0.02)), "n")

Right here’s the output after working the above code

disc_loss: 556.2224731445312
gen_loss: 2.413433313369751

Pattern generator(pretend) outputs: tensor([[0.9573],
[0.9844]], grad_fn=<AddmmBackward>)


disc_loss: 0.00012864888412877917
gen_loss: 1.0305110216140747

Pattern generator(pretend) outputs: tensor([[6.0271],
[6.0342]], grad_fn=<AddmmBackward>)


disc_loss: 9.736089123180136e-05
gen_loss: 0.9732384085655212

Pattern generator(pretend) outputs: tensor([[13.7393],
[13.7318]], grad_fn=<AddmmBackward>)


disc_loss: 0.00033007992897182703
gen_loss: 0.9524571299552917

Pattern generator(pretend) outputs: tensor([[30.2323],
[30.2326]], grad_fn=<AddmmBackward>)


disc_loss: 0.007751024793833494
gen_loss: 0.8251274824142456

Pattern generator(pretend) outputs: tensor([[53.1320],
[53.1338]], grad_fn=<AddmmBackward>)


disc_loss: 0.4250054359436035
gen_loss: 0.08561630547046661

Pattern generator(pretend) outputs: tensor([[73.0557],
[73.0548]], grad_fn=<AddmmBackward>)


disc_loss: 0.19597670435905457
gen_loss: 0.3411141037940979

Pattern generator(pretend) outputs: tensor([[79.5573],
[79.5570]], grad_fn=<AddmmBackward>)


disc_loss: 0.33403146266937256
gen_loss: 0.07614059746265411

Pattern generator(pretend) outputs: tensor([[62.6337],
[62.6335]], grad_fn=<AddmmBackward>)


disc_loss: 0.2976692020893097
gen_loss: 0.10599768906831741

Pattern generator(pretend) outputs: tensor([[73.2822],
[73.2815]], grad_fn=<AddmmBackward>)


disc_loss: 0.2812991440296173
gen_loss: 0.2523903548717499

Pattern generator(pretend) outputs: tensor([[65.5589],
[65.5606]], grad_fn=<AddmmBackward>)


Our GAN is definitely studying! Evident to the lowering losses and it’s pattern generated outputs are getting nearer to the actual worth!

We check the generator and see if it is ready to generate(guess) our desired quantity.

gen(get_noise(5, z_dim,trunc= 0.002))
[74.5265]], grad_fn=<AddmmBackward>)

Fairly shut, proper? You possibly can tune the hyper-parameters to enhance it!

Source link

Fast-tracking fusion energy’s arrival with AI and accessibility | MIT News


Because the impacts of local weather change proceed to develop, so does curiosity in fusion’s potential as a clear vitality supply. Whereas fusion reactions have been studied in laboratories for the reason that Thirties, there are nonetheless many essential questions scientists should reply to make fusion energy a actuality, and time is of the essence. As a part of their technique to speed up fusion vitality’s arrival and attain carbon neutrality by 2050, the U.S. Division of Vitality (DoE) has introduced new funding for a challenge led by researchers at MIT’s Plasma Science and Fusion Center (PSFC) and 4 collaborating establishments.

Cristina Rea, a analysis scientist and group chief on the PSFC, will function the first investigator for the newly funded three-year collaboration to pilot the mixing of fusion knowledge right into a system that may be learn by AI-powered instruments. The PSFC, along with scientists from William & Mary, the College of Wisconsin at Madison, Auburn College, and the nonprofit HDF Group, plan to create a holistic fusion knowledge platform, the weather of which may supply unprecedented entry for researchers, particularly underrepresented college students. The challenge goals to encourage numerous participation in fusion and knowledge science, each in academia and the workforce, by way of outreach applications led by the group’s co-investigators, of whom 4 out of 5 are girls. 

The DoE’s award, a part of a $29 million funding package for seven projects throughout 19 establishments, will help the group’s efforts to distribute knowledge produced by fusion gadgets just like the PSFC’s Alcator C-Mod, a donut-shaped “tokamak” that utilized highly effective magnets to regulate and confine fusion reactions. Alcator C-Mod operated from 1991 to 2016 and its knowledge are nonetheless being studied, thanks partially to the PSFC’s dedication to the free trade of information.

At present, there are nearly 50 public experimental magnetic confinement-type fusion gadgets; nonetheless, each historic and present knowledge from these gadgets may be tough to entry. Some fusion databases require signing consumer agreements, and never all knowledge are catalogued and arranged the identical approach. Furthermore, it may be tough to leverage machine studying, a category of AI instruments, for knowledge evaluation and to allow scientific discovery with out time-consuming knowledge reorganization. The result’s fewer scientists engaged on fusion, better limitations to discovery, and a bottleneck in harnessing AI to speed up progress.

The challenge’s proposed knowledge platform addresses technical limitations by being FAIR — Findable, Interoperable, Accessible, Reusable — and by adhering to UNESCO’s Open Science (OS) suggestions to enhance the transparency and inclusivity of science; the entire researchers’ deliverables will adhere to FAIR and OS ideas, as required by the DoE. The platform’s databases might be constructed utilizing MDSplusML, an upgraded model of the MDSplus open-source software program developed by PSFC researchers within the Nineteen Eighties to catalogue the outcomes of Alcator C-Mod’s experiments. At present, practically 40 fusion analysis institutes use MDSplus to retailer and supply exterior entry to their fusion knowledge. The discharge of MDSplusML goals to proceed that legacy of open collaboration.

The researchers intend to handle limitations to participation for girls and deprived teams not solely by enhancing normal entry to fusion knowledge, but additionally by way of a sponsored summer season faculty that may deal with matters on the intersection of fusion and machine studying, which might be held at William & Mary for the following three years.

Of the significance of their analysis, Rea says, “This challenge is about responding to the fusion neighborhood’s wants and setting ourselves up for achievement. Scientific developments in fusion are enabled by way of multidisciplinary collaboration and cross-pollination, so accessibility is completely important. I feel all of us perceive now that numerous communities have extra numerous concepts, they usually permit quicker problem-solving.”

The collaboration’s work additionally aligns with very important areas of analysis recognized within the Worldwide Atomic Vitality Company’s “AI for Fusion” Coordinated Analysis Venture (CRP). Rea was chosen because the technical coordinator for the IAEA’s CRP emphasizing neighborhood engagement and information entry to speed up fusion analysis and improvement. In a letter of help written for the group’s proposed challenge, the IAEA acknowledged that, “the work [the researchers] will perform […] might be helpful not solely to our CRP but additionally to the worldwide fusion neighborhood in massive.”

PSFC Director and Hitachi America Professor of Engineering Dennis Whyte provides, “I’m thrilled to see PSFC and our collaborators be on the forefront of making use of new AI instruments whereas concurrently encouraging and enabling extraction of essential knowledge from our experiments.”

“Having the chance to steer such an necessary challenge is extraordinarily significant, and I really feel a duty to indicate that girls are leaders in STEM,” says Rea. “We have now an unbelievable crew, strongly motivated to enhance our fusion ecosystem and to contribute to creating fusion vitality a actuality.”

Source link

Unternehmen mit KI-gesteuerten Lösungen stärken | von Scrrum Labs Private Limited | Juli 2023


Wir stärken Unternehmen mit KI-gesteuerten Lösungen

KI-gesteuerte Lösungen unterstützen Unternehmen, indem sie fortschrittliche Algorithmen und Techniken des maschinellen Lernens nutzen, um Prozesse zu automatisieren, die Entscheidungsfindung zu verbessern, die Ressourcenzuweisung zu optimieren und das Kundenerlebnis zu personalisieren. Diese Lösungen ermöglichen es Unternehmen, ihre Effizienz zu verbessern, Innovationen voranzutreiben und sich in der sich schnell entwickelnden digitalen Landschaft einen Wettbewerbsvorteil zu verschaffen.

In der modernen Zeit erkennen Unternehmen zunehmend das transformative Potenzial KI-gesteuerter Lösungen. Diese Lösungen unterstützen Unternehmen in verschiedenen Branchen, indem sie die Leistungsfähigkeit künstlicher Intelligenz und fortschrittlicher Algorithmen nutzen.

1. Automatisierung und Effizienz: KI-gesteuerte Lösungen automatisieren sich wiederholende und zeitaufwändige Aufgaben und ermöglichen es Unternehmen, ihre Abläufe zu rationalisieren und die Effizienz zu verbessern. Diese Automatisierung setzt Personalressourcen frei, die sich auf strategischere und kreativere Aufgaben konzentrieren können, und treibt so Innovationen innerhalb der Branche voran Organisation.

2. Datenanalyse und Entscheidungsfindung: KI-Algorithmen sind in der Lage, große Datenmengen zu analysieren und aussagekräftige Erkenntnisse zu gewinnen. Durch den Einsatz KI-gestützter Analysen können Unternehmen datengesteuerte Entscheidungen treffen, Traits erkennen und zukünftige Ergebnisse vorhersagen. Dies führt zu einer fundierteren Entscheidungsfindung und einer optimierten Ressourcenallokation.

3. Personalisierte Kundenerlebnisse: KI ermöglicht es Unternehmen, ihren Kunden personalisierte Erlebnisse zu bieten. Durch die Analyse von Kundendaten und -präferenzen können KI-gesteuerte Lösungen maßgeschneiderte Empfehlungen, gezielte Marketingkampagnen und Echtzeitunterstützung durch Chatbots oder virtuelle Assistenten bereitstellen. Diese Personalisierung erhöht die Kundenzufriedenheit und fördert die langfristige Loyalität.

4. Betriebsoptimierung: KI kann verschiedene Aspekte des Geschäftsbetriebs optimieren, darunter Lieferkettenmanagement, Bestandsprognosen und Produktionsprozesse. Durch die Analyse von Echtzeitdaten helfen KI-gestützte Lösungen Unternehmen dabei, Engpässe zu erkennen, Kosten zu senken und die Gesamtbetriebseffizienz zu verbessern.

5. Betrugserkennung und Risikomanagement: KI-Algorithmen sind in der Lage, Muster und Anomalien in Daten zu erkennen, was sie zu wertvollen Werkzeugen für die Betrugserkennung und das Risikomanagement macht. Branchen wie Finanzen, Versicherungen und Cybersicherheit profitieren stark von KI-gesteuerten Lösungen, die potenzielle Betrugsfälle identifizieren, Risiken mindern und Sicherheitsmaßnahmen verbessern können.

6. Wettbewerbsvorteil: Durch den Einsatz KI-gestützter Lösungen können sich Unternehmen in ihren jeweiligen Märkten einen Wettbewerbsvorteil verschaffen. KI ermöglicht es Unternehmen, Innovationen zu entwickeln, sich an Markttrends anzupassen und hochmoderne Produkte und Dienstleistungen bereitzustellen. Durch den Einsatz von KI-Technologie können sich Unternehmen differenzieren und ihren Mitbewerbern einen Schritt voraus sein.

7. Skalierbarkeit und Wachstum: KI-gesteuerte Lösungen bieten Skalierbarkeit und ermöglichen es Unternehmen, bei ihrem Wachstum größere Datenmengen und Prozesse zu bewältigen. Diese Skalierbarkeit ermöglicht es Unternehmen, ihre Betriebsabläufe zu erweitern, ohne Kompromisse bei Effizienz oder Qualität einzugehen.

8. Automatisierung: KI ermöglicht es Unternehmen, sich wiederholende und zeitaufwändige Aufgaben zu automatisieren und so wertvolle Personalressourcen freizusetzen, die sich auf strategischere und kreativere Initiativen konzentrieren können. Dies führt zu einer gesteigerten Produktivität und Effizienz.

9. Datengesteuerte Entscheidungsfindung: KI-Algorithmen können große Datenmengen verarbeiten und wertvolle Erkenntnisse gewinnen. Durch den Einsatz KI-gestützter Analysen können Unternehmen fundiertere Entscheidungen treffen, Traits erkennen und zukünftige Ergebnisse vorhersagen, was zu besseren Ergebnissen und einer optimierten Ressourcenallokation führt.

10. Verbesserte Kundenerlebnisse: KI ermöglicht es Unternehmen, Kundenerlebnisse durch die Analyse von Kundendaten und -präferenzen zu personalisieren. Mit KI-gestützten Chatbots und virtuellen Assistenten können Unternehmen rund um die Uhr Assist, personalisierte Empfehlungen und maßgeschneiderte Interaktionen bieten, was zu einer höheren Kundenzufriedenheit und -treue führt.

Zusammenfassend lässt sich sagen, dass KI-gesteuerte Lösungen für Unternehmen aller Branchen zu einem Sport-Changer geworden sind. Von der Automatisierung und Effizienz bis hin zur Datenanalyse und personalisierten Kundenerlebnissen ermöglicht KI Unternehmen, Abläufe zu optimieren, fundierte Entscheidungen zu treffen und der Konkurrenz einen Schritt voraus zu sein. Durch den Einsatz KI-gesteuerter Lösungen können Unternehmen neue Möglichkeiten erschließen, Innovationen vorantreiben und in der sich ständig weiterentwickelnden digitalen Landschaft nachhaltiges Wachstum erzielen.

Source link

Echte Herausforderungen für AGI


Hinweis: Dieser Beitrag ist eine Zusammenfassung eines Vortrags, der bei CERN Sparks gehalten wurde! Serendipity Discussion board im September 2021, das besichtigt werden kann Hier.

Wenn Menschen sich eine Welt mit künstlicher allgemeiner Intelligenz (AGI) vorstellen, denken sie eher an Roboter als an Lösungen für die hartnäckigsten Probleme der Gesellschaft. Aber ich glaube, dass Letzteres der Wahrheit viel näher kommt. KI ermöglicht bereits große Fortschritte bei der Bewältigung grundlegender Herausforderungen: von der Lösung der Proteinfaltung Zu Vorhersage genauer Wettermusternutzen Wissenschaftler zunehmend KI, um die Regeln und Prinzipien abzuleiten, die hochkomplexen Bereichen der realen Welt zugrunde liegen – Bereiche, die sie ohne Hilfe vielleicht nie entdeckt hätten.

Fortschritte in der AGI-Forschung werden die Fähigkeit der Gesellschaft, den Klimawandel anzugehen und zu bewältigen, verbessern – nicht zuletzt aufgrund seiner Dringlichkeit, sondern auch aufgrund seiner komplexen und vielschichtigen Natur.

Kontrolle übernehmen

Im gesamten Bereich der KI-Forschung gibt es heute zwei gemeinsame Problemkategorien, auf die sich Wissenschaftler konzentrieren: Vorhersage und Kontrolle. Vorhersagemodelle versuchen, etwas über einen Bereich (z. B. Wettermuster) zu lernen und zu verstehen, wie er sich entwickeln könnte, während Kontrollmodelle Agenten dazu auffordern, in dieser Umgebung Maßnahmen zu ergreifen. Der Aufbau eines erfolgreichen Wegs zu AGI erfordert das Verständnis und die Entwicklung von Algorithmen in beiden Bereichen, die alle Variationen berücksichtigen, die unsere natürlichen und sozialen Umgebungen auf uns zukommen lassen, von der Artwork und Weise, wie Viren mutieren oder wie sich Sprache in Gebrauch und Bedeutung im Laufe der Zeit entwickeln kann, bis hin zur Artwork und Weise, wie wir bei der Produktion helfen können Energie aus Fusionsenergie. Zwei reale Bereiche, zu denen Wissenschaftler bei DeepMind beitragen, um den Klimawandel zu bekämpfen und gleichzeitig die Voraussetzungen für den Aufbau von AGI zu entwickeln, sind Wettervorhersage und Plasmakontrolle für die Kernfusion.

Es ist quick unmöglich, Wettermuster präzise zu modellieren – es ist ein Beispiel für die Vielfalt der Natur in ihrer ganzen Bandbreite. Allerdings lassen sich Ursachen und Wirkungen anhand umfangreicher historischer Daten ableiten. Übertragen derselben generativen Modelle, die zur Generierung von Bildern und Videoclips verwendet werden, in das Erlernen von Wettermustern in Zusammenarbeit mit dem Met Office (Nationaler Wetterdienst des Vereinigten Königreichs) haben Wissenschaftler von DeepMind Systeme entwickelt, die 20 Minuten Wetterdaten nutzen können, um mehrere Hypothesen für Radarkarten zu generieren Starke Regenfälle genau vorhersagen in den nächsten 90 Minuten.

Entscheidend ist, dass diese Modelle Meteorologen dabei helfen werden, Vorhersagen zu erstellen, die die Entscheidungsfindung für Notfalldienste, das Energiemanagement und die Aktivierung von Hochwasserwarnsystemen unterstützen – und so eine bessere Vorbereitung und Reaktion auf excessive Wetterereignisse ermöglichen, die weltweit immer häufiger auftreten. Die Vorhersage wichtiger Wetterereignisse durch die Vorhersage genauer Wettermuster ist ein Beispiel dafür, wie KI-Forschung einen bedeutenden Einfluss haben kann, da sie allgemeiner anwendbar und „intelligenter“ wird.

Globale Herausforderungen

Neben der Reaktion auf die Auswirkungen des Klimawandels ist die Aufklärung seiner Ursachen von ebenso großer, wenn nicht sogar noch wichtigerer Bedeutung. Fusion, eine einzige Energiequelle, die sauber, grenzenlos und autark ist, ist schwer fassbar, bleibt aber eine der vielversprechendsten Lösungen der Welt – eine, die meiner Meinung nach die Entwicklung eines allgemeinen Algorithmus erfordert, der viele verschiedene Komponenten gleichzeitig lösen kann. Bei einer Komponente sehen wir bereits Fortschritte, nämlich dem äußerst anspruchsvollen Drawback, neuartige Plasmaformen beizubehalten, um so lange wie möglich eine bessere Energieabgabe und Stabilität des Plasmas zu ermöglichen.

Durch die Zusammenarbeit mit weltbekannten Experten am Schweizer Plasmazentrum Und École polytechnique fédérale de Lausanne (EPFL) sind wir in der Lage, über die heutigen handgefertigten Modelle hinauszugehen und tiefgreifende Reinforcement-Studying-Algorithmen, die ursprünglich für die Robotik entwickelt wurden, auf die Plasmasteuerung anzuwenden. Das Ergebnis ist ein Controller, der verschiedene Plasmaformen und -konfigurationen mit 10.000 Wechselwirkungen professional Sekunde erfolgreich manipulieren kann.

Ohne die Zusammenarbeit von Experten können KI-Forscher in realen Bereichen keine nennenswerten Fortschritte erzielen. Um in diesen Bereichen die richtigen Wege für die Zukunft zu finden, sind disziplinübergreifende Partnerschaften und die Nutzung eines gemeinsamen wissenschaftlichen Ansatzes zur Entwicklung und Nutzung von KI zur Bewältigung komplexer Fragen im Mittelpunkt der dringendsten Bedürfnisse der Gesellschaft erforderlich. Deshalb ist es so wichtig, gemeinsam mit einer Vielzahl von Natur- und Sozialwissenschaftlern darüber zu träumen, wie eine Welt mit AGI aussehen könnte.

Während wir AGI entwickeln, wird die Bewältigung globaler Herausforderungen wie dem Klimawandel nicht nur entscheidende und optimistic Auswirkungen haben, die für unsere Welt dringend und notwendig sind, sondern auch die Wissenschaft von AGI selbst voranbringen. Viele andere Kategorien von AGI-Problemen müssen noch gelöst werden – von der Kausalität bis hin zu effizientem Lernen und Switch – und da Algorithmen allgemeiner werden, werden mehr reale Probleme gelöst und nach und nach zu einem System beitragen, das eines Tages bei der Lösung aller anderen Probleme helfen wird , zu.

Source link

Begeben Sie sich auf das Abenteuer des maschinellen Lernens: Den Lebenszyklus verstehen | von Pankaj Pandey | Juli 2023



Willkommen, neugierige Köpfe, in der spannenden Welt des maschinellen Lernens! Während wir diesen Bereich der künstlichen Intelligenz und Innovation betreten, erkunden wir den faszinierenden Lebenszyklus des maschinellen Lernens, eine systematische Reise, die Rohdaten in intelligente Entscheidungsmodelle umwandelt. Additionally schnallt euch an und lasst uns gemeinsam dieses Abenteuer beginnen!

Der Lebenszyklus des maschinellen Lernens enthüllt:

Maschinelles Lernen ist im Wesentlichen die Kunst, Computern beizubringen, aus Daten zu lernen und ohne explizite Programmierung Entscheidungen oder Vorhersagen zu treffen. Doch wie entfaltet sich dieser Zauber? Lassen Sie uns die Geheimnisse des Lebenszyklus des maschinellen Lernens lüften:

1. Problemidentifizierung — Die Segel auf den richtigen Kurs setzen:

Jedes Abenteuer beginnt mit einem Ziel vor Augen. In ähnlicher Weise beginnt der Lebenszyklus des maschinellen Lernens mit der Identifizierung des Issues, das wir lösen möchten. Ganz gleich, ob es darum geht, die Kundenabwanderung vorherzusagen, Bilder zu erkennen oder Filme zu empfehlen, die Klärung des Issues und die Definition von Zielen sind entscheidend für eine erfolgreiche Reise.

Aktivität für Studenten:
Beginnen wir unsere Reise zum maschinellen Lernen mit einem Brainstorming zu realen Problemen, die von Lösungen für maschinelles Lernen profitieren könnten. Jeder Schüler kann ein Downside vorstellen und die möglichen Auswirkungen seiner Lösung mithilfe von Techniken des maschinellen Lernens diskutieren.

2. Datenerfassung und -vorbereitung – Navigieren im Datenmeer:

Da wir nun ein Ziel haben, brauchen wir eine Karte. In dieser Part sammeln wir relevante Daten, um unser maschinelles Lernmodell zu erstellen. Allerdings können Rohdaten widerspenstig sein, voller Inkonsistenzen und fehlender Werte. Daher müssen wir die Daten geschickt aufbereiten und sie in ein sauberes und strukturiertes Format umwandeln, das für die Erkundung bereit ist.

Aktivität für Studierende:
Bei dieser Aktivität können Studierende in Groups arbeiten und erhalten Rohdaten zu einem ausgewählten Downside. Ihre Aufgabe wird es sein, die Daten zu bereinigen und für die Analyse vorzubereiten. Das Crew, dem die genaueste und effizienteste Datenaufbereitung gelingt, gewinnt einen Preis!

3. Function Engineering – Polieren der Edelsteine:

Ahoi! Da wir nun über einen Datenschatz verfügen, ist es an der Zeit, die darin enthaltenen Juwelen zu finden. Merkmale sind die wertvollen Merkmale, die die Vorhersagen unseres Modells beeinflussen. Geschicktes Function-Engineering umfasst das Auswählen, Erstellen oder Transformieren von Options, um die Leistung des Modells zu verbessern und verborgene Erkenntnisse aufzudecken.

Aktivität für Studierende:
Als angehende Function-Ingenieure können Studierende in einen Datensatz eintauchen und kreative Wege finden, um sinnvolle Options zu extrahieren. Sie können der Klasse ihre innovativen Function-Engineering-Ansätze vorstellen und gemeinsam analysieren wir deren mögliche Auswirkungen auf die Leistung des Modells.

4. Modellauswahl und Schulung – Festlegung des Kurses:

Wenn der Kompass eingestellt ist, ist es an der Zeit, das richtige Schiff für unsere Reise auszuwählen – das Modell des maschinellen Lernens. In dieser Part wählen wir einen geeigneten Algorithmus aus und trainieren ihn anhand unserer vorbereiteten Daten. Das Modell lernt aus Beispielen, passt seine internen Parameter an und erhält die Fähigkeit, Vorhersagen zu treffen.

Aktivität für Studierende:
Lasst uns ein Modelauswahlturnier veranstalten! Jeder Schüler oder jede Gruppe kann einen anderen Algorithmus für maschinelles Lernen auswählen und ihn anhand desselben Datensatzes trainieren. Anschließend vergleichen wir die Leistung verschiedener Modelle und besprechen, welche für verschiedene Arten von Problemen am besten geeignet sind.

5. Modellbewertung – Bestandsaufnahme unserer Reise:

Als Entdecker müssen wir den Erfolg unserer Reise beurteilen. In dieser Part bewerten wir die Leistung des Modells anhand neuer, unbekannter Daten, um sicherzustellen, dass es sich intestine verallgemeinern lässt und unsere gewünschten Kriterien erfüllt. Es ist wichtig, etwaige Mängel zu identifizieren und das Modell zu optimieren, um optimale Ergebnisse zu erzielen.

Aktivität für Studierende:
Den Studierenden kann ein separater Datensatz zur Bewertung ihrer trainierten Modelle zur Verfügung gestellt werden. Sie bewerten die Genauigkeit, Präzision, den Rückruf und andere Leistungsmetriken ihrer Modelle. Der Pupil mit dem leistungsstärksten Modell erhält den Ehrentitel „Machine Studying Navigator“.

6. Modellbereitstellung – Den Schatz teilen:

Ahoi, liebe Abenteurer! Es ist an der Zeit, unser Modell zum Leben zu erwecken, indem wir es in der realen Welt einsetzen. Ganz gleich, ob es um die Integration in bestehende Systeme oder die Erstellung neuer Anwendungen geht: In dieser Part können wir die Auswirkungen unserer Lösung für maschinelles Lernen aus erster Hand miterleben.

Aktivität für Studierende: Bei dieser Aktivität können Studierende in Groups zusammenarbeiten, um eine einfache Webanwendung zu entwickeln, die ihr trainiertes Modell nutzt. Sie werden die Anwendung ihren Kollegen vorstellen und hervorheben, wie ihr Modell genaue Vorhersagen treffen und die Entscheidungsfindung unterstützen kann.


Herzlichen Glückwunsch, mutige Entdecker, zum Abschluss dieser turbulenten Tour durch den Lebenszyklus des maschinellen Lernens! Indem wir dieser systematischen Reise folgten, haben wir die Leistungsfähigkeit des maschinellen Lernens bei der Lösung realer Probleme und beim Treffen intelligenter Entscheidungen entdeckt. Denken Sie daran, das Abenteuer endet hier nicht. Nutzen Sie die endlosen Möglichkeiten und erkunden Sie weiterhin die Weiten des maschinellen Lernens.

Guter Wind und viel Spaß beim Lernen!

Source link

Project Talks: Deep Learning Framework Comparison | by | Jul, 2023


Deep studying frameworks utilized in our undertaking

Are you interested by AI and wish to study concerning the software program used to construct deep neural networks like those that energy ChatGPT and Steady Diffusion? Learn extra under about our crew members’ experiences engaged on our undertaking evaluating the efficiency of assorted deep studying frameworks like TensorFlow, PyTorch, and extra! is a pupil design crew that’s targeted on constructing undergraduate expertise in synthetic intelligence on the College of Waterloo. Via collaborating in 8-month lengthy initiatives, crew members get to construct related and impactful expertise by way of engaged on analysis and business purposes of AI. The Deep Studying Frameworks Comparability (DLFC) undertaking was one such undertaking that ran between September 2022 — Might 2023.

Lots of our core members who joined the frameworks crew joined as a result of they had been captivated with AI and wished to develop expertise in deep studying. Folks with totally different backgrounds and ability units can be a part of the groups. We had a number of new members who had by no means touched deep studying and had been desirous to study! Workforce members may collaborate with like-minded people and study from every others’ experiences. Plus, the undertaking is a superb factor to focus on to employers on a resume! members additionally get an opportunity to attend cool occasions just like the Canadian Undergraduate Conference for AI (CUCAI). additionally hosts its personal schooling periods and occasions on the College of Waterloo, open to anybody !

The purpose of our undertaking is to match the velocity of assorted software program frameworks used to construct neural networks. At present, the 2 hottest deep studying frameworks are TensorFlow and PyTorch, each within the Python programming language. Nonetheless, there are numerous different open supply options in each Python and Julia that always declare to have velocity advantages over the others. We constructed a few networks from scratch and evaluated their coaching and testing velocity on normal datasets. Every crew member was chargeable for a unique framework, together with TensorFlow, PyTorch, MXNet, and JAX in Python, and in Flux and KNet in Julia.

We requested our crew members about their experiences on the undertaking, right here’s what they needed to say! Notice, the responses had been edited for size and readability.

Are you able to introduce your self?

Trevor: I’m a 1st 12 months MASc pupil in Techniques Design Engineering and a Technical Challenge Supervisor (TPM) of the DFLC crew.

Anusha: I’m a 4th 12 months BMath pupil in Knowledge Science and a TPM of the DLFC crew.

Musaab: I’m a 4th 12 months BASc pupil in Nanotechnology Engineering and a Core Member of the DLFC crew

City: I’m a 4th 12 months BASc pupil in Mechatronics Engineering and a Core Member of the DLFC crew.

Yash: I’m a third 12 months BASc pupil in Administration Engineering and a Core Member of the DLFC crew.

Why did you be a part of

Trevor: I joined as a result of I wished to be part of a brand new design crew targeted on creating expertise within the AI discipline by way of distinctive initiatives.

Anusha: I’m fairly eager about working with information however lack expertise within the AI facet of issues. I wished to get extra expertise in AI and ML and wished a option to apply what I discovered in my coursework.

Musaab: I’ve principally delved into AI initiatives and studying on my own, so this gave me the chance to work with a gaggle on a undertaking. I additionally noticed this as an awesome studying alternative and introduction into the varied frameworks which can be seen in business.

City: I joined as a result of I used to be eager about becoming a member of a design crew engaged on AI particularly and to additionally additional improve my data within the discipline as I wrap up my research.

Yash: I wished to achieve expertise studying extra about deep studying and creating my ability set in AI. Moreover, I wished to achieve extra technical expertise that I may placed on my resume, which additionally contributed to why I joined

How was your expertise along with your framework, did you get pleasure from utilizing it?

Trevor: As a TPM, I labored with a number of frameworks to help individuals of their work. I loved studying about how every of the frameworks do various things and gained an appreciation for the way the favored frameworks like PyTorch and TensorFlow have made an effort to make their APIs straightforward to make use of.

Anusha: I labored with Julia’s Flux library for this undertaking. This was my first expertise with Julia, so it was plenty of enjoyable choosing up a brand new programming language. Moreover, I consider I received to study extra about Neural Networks by way of this library for the reason that fashions weren’t as straightforward to implement as in a number of the in style Python frameworks. Implementing every thing from a decrease stage gave me a deeper understanding on why sure issues work.

Musaab: This was my first expertise utilizing Mxnet, however I’ll say it was a enjoyable one. I used to be lucky that it shared plenty of similarities with PyTorch, and so I used to be in a position to merge plenty of my data and ideas and apply them on MXNet.

City: I targeted on JAX. I’ve used different frameworks earlier than reminiscent of TensorFlow, Keras and Pytorch however by no means JAX. General, it was rather more difficult than any of the opposite frameworks as you wanted to construct all of the parts from scratch reminiscent of defining all vectors/matrices for all of the weights and parameters, manually updating them and performing activation features. Whereas I did get pleasure from engaged on the community at a decrease stage, it was troublesome and more durable to study when utilizing JAX.

Yash: This was my first expertise utilizing the framework KNet, which focuses on utilizing Julia. I discovered KNet attention-grabbing, because it helped me exit of my consolation zone and study a brand new programming language. Moreover, KNet is acknowledged to be catered for analysis and isn’t closely utilized within the business. General, I had challenges utilizing the framework KNet, however I discovered quite a bit and developed my ability set.

What had been a number of the struggles you discovered utilizing your framework, and the way did you resolve them?

Trevor: I discovered quite a bit concerning the purposeful perspective of making deep studying fashions by way of working with Flux, KNet and JAX. It was a really totally different mind-set in comparison with the object-oriented viewpoint of a lot of the Python frameworks. JAX was most likely probably the most difficult to make use of and I needed to seek the advice of with their documentation quite a bit all through creating the fashions and coaching code. Nonetheless, it paid off to see the efficiency advantages of utilizing the Jax framework!

Anusha: Since Julia is generally utilized in academia quite than the business, it was fairly exhausting to get tutorials on doing particular issues, in contrast to PyTorch and TensorFlow, which have plenty of tutorials. Nonetheless, Julia, and particularly Flux, has tons of documentation and that helped me resolve a number of the issues. It additionally taught me the significance of getting good documentation and the significance of going by way of documentation intimately as it could actually present plenty of useful data.

Musaab: I believe the key struggles I confronted had been principally to do with exploring an outdated operate or documentation. A number of issues could not have additionally been carried out on MXNet and/or had been not current, and workarounds took a bit to determine.

City: As talked about, the low stage nature of JAX made the preliminary studying curve rather more troublesome. Moreover, the documentation, though not dangerous, was missing for sure varieties of fashions. The problem plus restricted examples made growth troublesome. In the end, the one option to resolve this downside was to achieve a very robust understanding of the underpinnings of JAX and to be very educated on the main points of neural networks. You simply must put within the grunt work.

Yash: Once I encountered a problem, I instantly appeared on the documentation for KNet to discover a doable resolution to my problem. More often than not, it labored. Nonetheless, typically I’d uncover the documentation was outdated. This resulted in me asking my friends for assist who’ve expertise using Julia with an analogous framework. They helped out and offered suggestions on implementations for various duties I had.

What had been some key takeaways you bought from being in

Trevor: There are plenty of eager college students eager about studying about AI and I’m excited to proceed with this crew within the subsequent 12 months to develop extra thrilling initiatives!

Anusha: Firstly, I learnt tips on how to choose up a brand new programming language rapidly. I additionally received to boost my expertise for studying and understanding documentation, whereas studying the significance of getting good documentation. Most significantly, I received to study fairly a bit about picture processing and implementing Neural Networks!

Musaab: Largest takeaway was that there’s rather a lot that I’ve to study, and I’m excited for this journey in my studying.

City: For one, I received a greater understanding of neural networks. I received uncovered to JAX which requires extra work however ultimately provides you extra exact management — if you wish to construct extra performant options, additionally supported by our findings, JAX appears to be a good selection. General, it jogged my memory of simply how rather more there’s to study.

Yash: I used to be in a position to study and additional develop my ability set in deep studying. I used to be additionally in a position to community with different people and meet plenty of cool individuals. Via, I used to be in a position to study what sort of an individual I’m, permitting me to develop and study in machine studying.

Now that you simply’ve heard a bit extra about our crew, let’s dive a bit deeper into our undertaking. As a recap, every of our crew members used a unique framework to construct neural networks from scratch. We then in contrast the velocity of coaching and analysis of the networks. We additionally did analysis into the variations of the mechanics of the frameworks and in contrast how straightforward they had been to make use of as a developer.

The Python-based frameworks TensorFlow and PyTorch are “newbie pleasant” and good selections for somebody taking their first step into deep studying. There have been additionally tougher Python frameworks like MXNet and JAX, which individuals labored with. JAX, specifically, takes a purposeful programming strategy to writing neural community code, which is kind of totally different from the thing oriented strategy of TensorFlow and PyTorch.

Moreover, a few of our members took an additional problem to study frameworks primarily based on Julia, particularly Flux and KNet. Julia is a more recent programming language that has many similarities to Python, MATLAB, and R, and is designed for efficiency, particularly for numerical and scientific computing. So on high of studying about neural networks, these crew members additionally discovered a brand new programming language.

Every crew member used their framework to construct, prepare, and check a community on two duties: A multi-layer perceptron (MLP) utilized to the MNIST dataset and a ResNet convolutional neural community utilized to the CIFAR-10 dataset. We’ll break down these two duties under!

Process 1: MLP on MNIST

The primary community we constructed is a multi-layer perceptron (MLP) to do picture classification on the MNIST handwritten digits dataset. MLPs are thought-about the only neural community, although the construction can also be utilized in extra advanced architectures. The construction of an MLP consists of an enter layer, then a number of hidden layers, after which an output layer. Every layer consists of synthetic neurons, which course of inputs by a weighted sum, then making use of an activation operate. The output of every neuron is distributed to all neurons within the subsequent layer. In our process, we use the MLP to categorise a handwritten digit from the MNIST dataset into one among ten courses. Via constructing a MLP, we additionally discovered concerning the different key ideas in deep studying reminiscent of information splitting, loss features, optimizers, and metrics.

MLP neuron construction. Picture supply:

Process 2: ResNet CNN on CIFAR-10

The second community we constructed was a convolutional neural community (CNN) to do picture classification of the CIFAR-10 tiny picture dataset. CNNs use the convolution operation as a option to effectively course of photos by making use of shared filters throughout the spatial dimensions. Just like how photos have RGB color channels, CNNs additionally course of photos in numerous channels and might mix data from throughout channels to create larger stage characteristic representations, that are fed into an output classification layer. On this community, we carried out the ResNetv2 architecture. ResNet is a well-liked structure used for picture processing and was the inspiration for a lot of improvements in subsequent neural community architectures. Via this process, we additionally discovered about information augmentation and tips on how to use GPUs for neural community coaching.

CIFAR-10 tiny picture courses and examples. Picture supply:
ResNetv2 block structure from “Identification Mappings in Deep Residual Networks” (He et al., 2016). Picture supply:


After testing all of the frameworks, we discovered that JAX was one of many quickest frameworks in each the MLP and CNN duties, having a formidable 8.5x — 17x speedup over the opposite frameworks for the CNN per-epoch coaching time metric on GPU. For extra particulars on the code, our strategies, and outcomes, please discuss with our GitHub page and the paper we submitted to CUCAI.

Outcomes for CNN common epoch coaching time. Picture supply: Personal work

That’s the tip of our Challenge Talks put up! Thanks a lot for taking the time to learn our weblog. Be happy to contact our members to ask questions by way of e mail or LinkedIn. We hope that you’re desirous to be a part of the crew and be our companions within the journey of deep studying! In case you are additionally additional eager about studying extra about what we did, try our undertaking’s GitHub and paper.

Lastly, if you wish to keep updated with, we encourage you to observe the LinkedIn page. Keep tuned for posts about tips on how to be a part of new initiatives and AI schooling periods working in September 2023!

Source link

Intuitivo beschleunigt die Transformation des Einzelhandels durch grundlegende Modelle


Während wir uns durch eine sich schnell entwickelnde Einzelhandelslandschaft bewegen, ist ein transformativer Ansatz erforderlich, um den sich ändernden Bedürfnissen und Erwartungen der Kunden gerecht zu werden. Die Zukunft des Einzelhandels liegt in der Schaffung hochgradig personalisierter, KI-gestützter und Pc-Imaginative and prescient-gesteuerter autonomer Verkaufsstellen (A-POP). Diese technologische Innovation bringt Produkte in Reichweite der Kunden und überbrückt so die Lücke zwischen der digitalen und der physischen Welt. Es stellt den Kunden nicht nur die Lieblingsartikel zur Verfügung, sondern bietet ihnen auch ein nahtloses Einkaufserlebnis, ohne lange Warteschlangen oder komplexe Transaktionsverarbeitungssysteme. Dies ist der Beginn einer aufregenden neuen Ära im Einzelhandel, die von zukunftsorientierten Unternehmen wie Intuitivo angeführt wird.

Wir bei Intuitivo revolutionieren das Einkaufserlebnis mit unserem cloudbasierten KI/ML-Transaktionsverarbeitungssystem. Diese bahnbrechende Technologie ermöglicht es uns, Millionen von A-POPs gleichzeitig zu betreiben und so die Artwork und Weise, wie Kunden einkaufen, zu verändern. Die Lösung übertrifft herkömmliche Verkaufsautomaten und Alternativen und bietet einen wirtschaftlichen Vorteil mit zehnmal günstigeren Kosten, einfacher Einrichtung und wartungsfreiem Betrieb.

Mit dieser Spitzentechnologie können Einzelhändler schnell und effizient Tausende von A-POPs bereitstellen. Die Skalierung struggle für Einzelhändler schon immer eine gewaltige Herausforderung, vor allem aufgrund der Logistik- und Wartungskomplexität, die mit der Erweiterung traditioneller Verkaufsautomaten oder anderer Lösungen verbunden ist. Allerdings ist unsere kamerabasierte Lösung, die Gewichtssensoren, RFID oder andere kostenintensive Sensoren überflüssig macht, wartungsfrei und deutlich günstiger. Dadurch können Einzelhändler effizient Tausende von A-POPs einrichten, Kunden ein unvergleichliches Einkaufserlebnis bieten und Einzelhändlern gleichzeitig eine kostengünstige und skalierbare Lösung bieten.

A-POPs im Stadion der Baseballmannschaft von Miami.

Die Leistungsfähigkeit des Phase Something Mannequin (SAM)

An der Spitze der KI-Forschung hat Meta AI ein hochmodernes Modell namens Phase Something Mannequin (SAM) entwickelt. SAM ist ein Recreation-Changer im Bereich KI und Pc Imaginative and prescient mit der Fähigkeit, jedes Objekt mit einem einzigen Klick aus jedem Bild „auszuschneiden“. Dieses fortschrittliche KI-Modell zeigt eine Zero-Shot-Generalisierung auf unbekannte Objekte und Bilder, sodass kein zusätzliches Coaching erforderlich ist.

SAM ist einzigartig aufforderungsfähig. Mithilfe von Eingabeaufforderungen können Sie angeben, was in einem Bild segmentiert werden soll, sodass eine Vielzahl von Segmentierungsaufgaben ohne zusätzliche Schulung möglich sind. Egal, ob Sie interaktive Punkte und Kästchen verwenden oder versuchen, alles in einem Bild automatisch zu segmentieren, SAM kann alles bewältigen. Selbst bei mehrdeutigen Eingabeaufforderungen können mehrere gültige Masken generiert werden.

Trainingsprozess von SAM

Die fortschrittlichen Fähigkeiten von SAM sind das Ergebnis seiner einzigartigen Schulungsmethodik. Darauf wurde trainiert Millionen von Bildern und Masken, die mithilfe einer Mannequin-in-the-Loop-Daten-Engine gesammelt wurden. Die Forscher nutzten SAM und seine Daten, um Bilder interaktiv zu kommentieren und das Modell zu aktualisieren, wobei sie diesen Zyklus mehrmals wiederholten, um sowohl das Modell als auch den Datensatz zu verbessern.

Nachdem das Staff mithilfe von SAM genügend Masken mit Anmerkungen versehen hatte, konnte es das hochentwickelte mehrdeutigkeitsbewusste Design von SAM nutzen, um neue Bilder vollautomatisch mit Anmerkungen zu versehen. Der endgültige Datensatz umfasst über 1,1 Milliarden Segmentierungsmasken werden auf rundherum gesammelt 11 Millionen lizenzierte und die Privatsphäre schützende Bilder.

Die neue Ära der Etikettierung ist da: Von der menschlichen Etikettierung zur Wissensdestillation

Die Auswirkungen dieser Modelle auf den Einzelhandel sind tiefgreifend. Mit SAM können wir den Prozess der Produktkennzeichnung automatisieren, eine Aufgabe, die früher viel menschliche Arbeit und Zeit erforderte. Dies eröffnet die Möglichkeit, Millionen von Bildern exponentiell schneller zu verarbeiten und so die Schulungszeit und -kosten für Produktplanogrammmodelle erheblich zu reduzieren.

Doch die Vorteile von SAM gehen über die reine Geschwindigkeit hinaus. Die Ausgabe von SAM ist detaillierter und genauer als bei herkömmlichen Begrenzungsrahmen. Es generiert Segmentierungsmasken, die jedes einzelne zu einem Produkt gehörende Pixel identifizieren. Dieser Detaillierungsgrad ermöglicht eine wesentlich präzisere Produktidentifizierung und -verfolgung.

Gesampelter Body aus einer echten Transaktion, die vom Intuitivo-SAM-Modell verarbeitet wurde.

Wir optimieren diese Modelle mit einem benutzerdefinierten Datensatz aus unseren A-POPs und jetzt sind diese Modelle in der Lage, jedes Objekt in jedem Bild in der Einzelhandelslandschaft zu segmentieren und so den Etikettierungsprozess mit beispielloser Geschwindigkeit zu beschleunigen. Im direkten Vergleich liegen unsere fein abgestimmten SAM-Prozesse bei ca 62 Mal Mehr Bilder, als ein Mensch im gleichen Zeitraum manuell Begrenzungsrahmen erstellen kann. Die von SAM generierten Ausgaben werden zum Trainieren eines Modells verwendet, das Segmentierungsmasken in Transaktionen erkennt und so eine einzigartige Möglichkeit bietet, Millionen von Bildern in einem beispiellosen Tempo zu verarbeiten.

Intuitivo nutzt die Methode der Wissensdestillation, bei der wir unsere Grundmodelle für komplexe Aufgaben wie Anmerkungen einsetzen und dieses Wissen in kleinere und kostengünstige Modelle übertragen.


Dies liegt daran, dass Basis-Modelle hinsichtlich der GPU-Berechnung anspruchsvoll sein können und möglicherweise nicht für Echtzeitanwendungen geeignet sind, insbesondere wenn Sie Millionen von A-POPs skalieren möchten.

Angesichts dieser transformativen Ergebnisse kann sich Intuitivo eine Zukunft des Einzelhandels vorstellen, die nahtlos hybrid, vollständig autonom und sturdy dezentralisiert ist. Die hochmoderne KI-Technologie von Intuitivo integriert schnell neue SKUs durch einen robusten, datengesteuerten aktiven Lernprozess, und die Intervention des Basis Mannequin verspricht, dies noch weiter zu beschleunigen. Die maschinellen Lernmodelle von Intuitivo werden ständig mit neuen Bildern aus Echtzeittransaktionen aktualisiert, um sicherzustellen, dass die KI eine in der Branche beispiellose Genauigkeit behält.

Mit der bahnbrechenden Fähigkeit, innerhalb weniger Wochen von einem einzelnen A-POP auf tausend zu skalieren, sind Sie in der Lage, sofort mit der Nutzung der Vorteile unserer A-POPs zu beginnen. Intuitivo ist bereit, den traditionellen Einzelhandel in ein außergewöhnlich effizientes, kostengünstiges und kundenorientiertes Einkaufserlebnis zu verwandeln.

José Benítez – Gründer und Direktor für KI bei Intuitiv

Source link

Maschinelles Lernen CI/CD mit CircleCI und AWS Sagemaker | von Timothy Cheung | Juli 2023


Die Integration von CI/CD in Ihre ML-Pipeline bietet viele Vorteile, beispielsweise die Automatisierung der Bereitstellung von ML-Modellen für die Produktion im großen Maßstab.

Der Schwerpunkt dieses Artikels liegt auf der Veranschaulichung, wie die Schulung und Bereitstellung des AWS Sagemaker-Modells in CircleCI CI/CD-Pipelines integriert werden kann. In diesem Tutorial wird davon ausgegangen, dass Sie bereits über ein AWS-Konto mit Zugriff auf Sagemaker verfügen. Wenn Sie neu auf der CircleCI-Plattform sind, können Sie sich für ein kostenloses Konto anmelden und den Anweisungen folgen Schnellstartanleitung einzurichten.

Die Struktur dieses Projekts ist ein Monorepo, das mehrere Modelle enthält. Der Monorepo-Ansatz kann gegenüber dem Polyrepo-Ansatz Vorteile haben, einschließlich einer vereinfachten Versionierung von Abhängigkeiten und der Verwaltung von Sicherheitslücken.

Den Code für dieses Tutorial finden Sie hier Github-Repository.

Der erste Schritt besteht darin, AWS-Anmeldeinformationen in Ihrem Projekt auf CircleCI einzurichten. Sie können dies in CircleCI tun, indem Sie zu den Einstellungen Ihres Projekts gehen, auf Umgebungsvariablen klicken und dann auf die Schaltfläche „Variable hinzufügen“ klicken, um einen Namen und einen Wert der neuen Umgebungsvariablen einzugeben. Sobald Sie sie festgelegt haben, können Sie diese Umgebungsvariablen mithilfe von in Ihr Python-Skript übernehmen os.environ. Weitere Möglichkeiten zum Festlegen von Umgebungsvariablen in Ihrem Projekt finden Sie unter Schauen Sie sich diese Dokumentation an. Wenn Sie außerdem eine Verbindung zu Ihrem Cloud-Anbieter herstellen möchten, ohne dass langlebige Anmeldeinformationen in CircleCI gespeichert werden, können Sie dies über tun OIDC-Token.

In diesem Beispielprojekt haben wir insbesondere AWS-Zugriffsschlüssel und einen Sagemaker-Ausführungsrollen-ARN in unseren Umgebungsvariablen gespeichert. Es ist zu beachten, dass boto3 die genannten Umgebungsvariablen automatisch abruft AWS_ACCESS_KEY_ID Und AWS_SECRET_ACCESS_KEY Wenn wir eine Boto3-Sitzung erstellen, sollten wir sie daher nicht in etwas anderes umbenennen.

Auf CircleCI gespeicherte Geheimnisse

Darüber hinaus speichern wir Umgebungsvariablen, die für einen CI/CD-Job spezifisch sind, indem wir sie mit deklarieren atmosphere Geben Sie den Schlüssel in der Konfigurationsdatei ein. Dies ist in unserem Fall nicht unbedingt erforderlich, wir tun dies jedoch zur Demonstration.

MODEL_NAME: abalone-model
MODEL_DESC: abalone mannequin description textual content

In unseren Python-Skripten rufen wir diese Umgebungsvariablen wie folgt ab:

model_name = os.environ["MODEL_NAME"]
model_description = os.environ["MODEL_DESC"]
role_arn = os.environ["SAGEMAKER_EXECUTION_ROLE_ARN"]

Zur Veranschaulichung haben wir zwei Modelle verwendet, die häufig in der AWS-Dokumentation zu finden sind: Abalone und Churn. Bei beiden handelt es sich um einfache XGBoost-Modelle, wobei Abalone ein linearer Regressor und Churn ein binärer Klassifikator ist. Jedes Modell ist in einem eigenen Ordner enthalten und jeder Ordner enthält die folgenden Dateien:

Diese Datei lädt die Daten für ihr Modell herunter, verarbeitet sie vor und lädt sie dann in S3 hoch. Wir laden die Trainings- und Validierungsdatensätze in separaten Ordnern hoch, wie es von Sagemaker gefordert wird.

# Add coaching and validation information to S3
csv_buffer = io.BytesIO()
train_data.to_csv(csv_buffer, index=False)
s3_client.put_object(Bucket=bucket, Physique=csv_buffer.getvalue(), Key=f"{model_name}/prepare/prepare.csv")

csv_buffer = io.BytesIO()
validation_data.to_csv(csv_buffer, index=False)
s3_client.put_object(Bucket=bucket, Physique=csv_buffer.getvalue(), Key=f"{model_name}/validation/validation.csv")

Diese Datei trainiert unser Modell und registriert es dann in der Modellregistrierung. Sie ist die erste Stelle in unserem CI/CD, an der wir Sagemaker tatsächlich verwenden.

Bei der Konfiguration des Sagemaker XGBoost Estimator können wir den S3-Pfad angeben, über den die Modellartefakte ausgegeben werden sollen output_path. Wir müssen ihm die Sagemaker-Sitzung und einen Sagemaker-Ausführungsrollen-ARN bereitstellen, da wir diesen Code außerhalb von Sagemaker-Notizbüchern ausführen und er diese Informationen daher nicht automatisch korrekt abruft.

# Configure coaching estimator
xgb_estimator = Estimator(
base_job_name = model_name,
image_uri = image_uri,
instance_type = "ml.m5.massive",
instance_count = 1,
output_path = model_location,
sagemaker_session = sagemaker_session,
position = role_arn,
hyperparameters = {
"goal": "reg:linear",
"max_depth": 5,
"eta": 0.2,
"gamma": 4,
"min_child_weight": 6,
"subsample": 0.7,
"verbosity": 2,
"num_round": 50,

Nach dem Coaching des Modells übertragen wir das Modellpaket in die Sagemaker-Modellregistrierung. Sagemaker unterscheidet zwischen einem Modell und einem Modellpaket. Ein Modell ist lediglich das Objekt, das wir an einem Endpunkt bereitstellen und Inferenz ausführen würden, während das Modellpaket alle mit diesem Modell verbundenen Artefakte enthält, wie z. B. Modellgewichtungen, Bewertungsergebnisse und Konfigurationsdateien. Wir pushen Modellpakete in die Modellregistrierung, keine Modelle.

Wir möchten eine Modellregistrierung verwenden, damit wir in nachfolgenden Schritten, z. B. bei der Bereitstellung oder wenn wir Modelle auf frühere Versionen zurücksetzen möchten, problemlos auf trainierte Modelle verweisen können. Beachten Sie, dass wir das Modellpaket vorab genehmigen, da wir CircleCI-Genehmigungsjobs verwenden, um die Modellgenehmigung zu verwalten.

# Retrieve mannequin artifacts from coaching job
model_artifacts = xgb_estimator.model_data

# Create pre-approved cross-account mannequin package deal
create_model_package_input_dict = {
"ModelPackageGroupName": model_name,
"ModelPackageDescription": "",
"ModelApprovalStatus": "Permitted",
"InferenceSpecification": {
"Containers": [
"Image": image_uri,
"ModelDataUrl": model_artifacts
"SupportedContentTypes": [ "text/csv" ],
"SupportedResponseMIMETypes": [ "text/csv" ]

create_model_package_response = sagemaker_client.create_model_package(**create_model_package_input_dict)

Diese Datei stellt das neueste genehmigte Modellpaket auf dem Modellendpunkt bereit, indem entweder der Endpunkt erstellt wird, falls er noch nicht vorhanden ist, oder ein vorhandener Endpunkt aktualisiert wird.

Um das neueste genehmigte Modellpaket zu erhalten, verwenden wir eine Sagemaker-Funktion, um vorhandene Modellpakete nach absteigender Erstellungszeit aufzulisten und den Modellpaket-ARN abzurufen:

# Get the most recent accredited mannequin package deal of the mannequin group in query
model_package_arn = sagemaker_client.list_model_packages(
ModelPackageGroupName = model_name,
ModelApprovalStatus = "Permitted",
SortBy = "CreationTime",
SortOrder = "Descending"

Dann erstellen wir ein Modell aus dem Modellpaket:

# Create the mannequin
timed_model_name = f"{model_name}-{current_time}"
container_list = [{"ModelPackageName": model_package_arn}]

create_model_response = sagemaker_client.create_model(
ModelName = timed_model_name,
ExecutionRoleArn = role_arn,
Containers = container_list

Und erstellen Sie eine Endpunktkonfiguration mit diesem Modell:

# Create endpoint config
create_endpoint_config_response = sagemaker_client.create_endpoint_config(
EndpointConfigName = timed_model_name,
ProductionVariants = [
"InstanceType": endpoint_instance_type,
"InitialVariantWeight": 1,
"InitialInstanceCount": endpoint_instance_count,
"ModelName": timed_model_name,
"VariantName": "AllTraffic",

Abschließend aktualisieren wir den Endpunkt mit der neuen Konfiguration:

create_update_endpoint_response = sagemaker_client.update_endpoint(
EndpointName = model_name,
EndpointConfigName = timed_model_name

Da wir einen Monorepo-Ansatz gewählt haben, benötigen wir eine Möglichkeit, unser CI/CD nur für das geänderte Modell auszuführen. Andernfalls wird beim Zusammenführen von Änderungen am Abalone-Modell auch das Churn-Modell neu trainiert und neu bereitgestellt! Hier kommen die dynamischen Konfigurationen von CircleCI zum Einsatz. Mit dieser Funktion können wir erkennen, ob Änderungen an einem bestimmten Ordner vorgenommen wurden, und wenn ja, den Wert eines Pipeline-Parameters festlegen. Der Pipeline-Parameter wiederum bestimmt, welche Workflows in unserer CI/CD-Pipeline ausgeführt werden.

Sie müssen mehrere Schritte ausführen, um die Verwendung dynamischer Konfigurationen zu aktivieren, z. B. die Aktivierung in Ihren CircleCI-Projekteinstellungen. Wir werden jedoch nicht näher darauf eingehen, da es eine gibt Schritt-für-Schritt-Anleitung verfügbar. Stattdessen konzentrieren wir uns auf die Abschnitte, die für unsere CI/CD-Architektur für maschinelles Lernen am wichtigsten sind. Lass uns eintauchen.


Der erste Schritt bei der Nutzung dynamischer Konfigurationen ist die Setup-Konfiguration. In unserem Beispiel-Repository heißt es config.yml. Wir beschäftigen die path-filtering orb, um zu identifizieren, welche Ordner Codeänderungen enthalten.

Beachten Sie, dass wir Dateien mit denen im Hauptzweig vergleichen. Darüber hinaus ordnen wir Änderungen in bestimmten Ordnern Parameterwerten zu. Wenn beispielsweise Änderungen im Ordner abalone_model erkannt werden, gilt der Pipeline-Parameter deploy-abalone wird auf true gesetzt. Darüber hinaus geben wir den Pfad der Konfigurationsdatei an, die ausgelöst werden soll, sobald die Pfadfilterung und die Aktualisierung der Pipeline-Parameterwerte abgeschlossen sind.

base-revision: essential
mapping: |
abalone_model/.* deploy-abalone true
churn_model/.* deploy-churn true
config-path: ".circleci/dynamic_config.yml"

Konfiguration fortsetzen

Nachdem die Pipeline-Parameterwerte aus der Setup-Konfiguration aktualisiert wurden, führen wir nun die Proceed-Konfiguration aus, die in unserem Beispiel-Repository den Namen „dynamic_config.yml“ trägt. Um das Verständnis der Konfigurationsdatei zu erleichtern, konzentrieren wir uns auf die abalone-model Arbeitsablauf.

when: << pipeline.parameters.deploy-abalone >>
- abalone-model-train:
- essential
- request-deployment:
kind: approval
- essential
- abalone-model-train
- abalone-model-deploy:
- essential

Erstens wird der Workflow nur ausgeführt, wenn der Pipeline-Parameter deploy-abalone ist wahr. Als nächstes führen wir den Job aus abalone-model-train, das die Datei ausführt. Dann lösen wir das aus request-deployment Job, bei dem es sich um einen Genehmigungsjob handelt, der eine manuelle Genehmigung des Benutzers auf CircleCI erfordert, damit der Workflow fortgesetzt werden kann. Dies wäre ein Punkt, an dem ein Prüfer die Modellbewertungsmetriken auf Sagemaker überprüfen würde, bevor er die Bereitstellung des Modells auf dem Endpunkt zulässt. Wenn schließlich die Genehmigung erteilt wird, wird die abalone-model-deploy Der Job führt „“ aus.

Beachten Sie, dass die Schulungs- und Genehmigungsjobs den Hauptzweig ignorieren, während der Bereitstellungsjob nur im Hauptzweig ausgeführt wird. Dadurch können neue Modellversionen trainiert werden, wenn der Entwickler in einem Entwicklerzweig an Aktualisierungen des Modells arbeitet, ohne dass irgendeine Artwork von Bereitstellung ausgelöst wird. Sobald die Codeänderungen dann akzeptiert und in essential zusammengeführt wurden, wird der Bereitstellungsjob ausgelöst, ohne dass eine weitere Neuschulung des Modells ausgelöst wird.

Folgendes sehen wir auf CircleCI, wenn Codeänderungen in einem Entwicklerzweig an das Abalone-Modell übertragen werden. Die dynamische Konfiguration hat selektiv nur die Abalone-Trainingspipeline ausgeführt. Der request-deployment Das Gate des Genehmigungsjobs verhindert, dass die Codeänderungen in die Hauptdatei eingefügt werden. Sobald es genehmigt ist, kann die PR auf Github zusammengeführt werden.

In einem Entwicklerzweig wird nur die Trainingspipeline ausgeführt

Folgendes sehen wir, wenn Codeänderungen im Hauptzweig zusammengeführt werden. Da sich die Codeänderungen dieses Mal auf essential beziehen, führt die dynamische Konfiguration selektiv nur die Abalone-Bereitstellungspipeline aus.

Im Hauptzweig wird nur die Bereitstellungspipeline ausgeführt

Wir haben die Verwendung von CircleCI zusammen mit AWS Sagemaker demonstriert, um eine Finish-to-Finish-ML-Pipeline zu erstellen. Es automatisiert den Prozess des Trainierens eines Modells und dessen Bereitstellung auf einem Endpunkt für Echtzeit-Inferenzen.

Es verwendet ein Monorepo-Setup, bei dem jedes Modell in einem eigenen Ordner enthalten ist. Darüber hinaus werden die dynamischen Konfigurationen von CircleCI verwendet, um jede Pipeline an das Modell anzupassen, bei dem Codeänderungen aufgetreten sind.

Nehmen Sie gerne Kontakt mit mir auf Linkedin.

Source link

Zur Werkzeugleiste springen