Jei kada nors susimąstėte, kaip mašina gali atpažinti jūsų veidą ar suprasti, ką sakote, atsakymas slypi žmogaus smegenų žavesyje. Šios biologinės struktūros, sudarytos iš tarpusavyje sujungti neuronai, perduodantys elektrinius signalusJie pasitarnavo kaip planas kuriant tai, ką šiandien žinome kaip dirbtinius neuroninius tinklus, kurie iš esmės yra algoritmai, skirti spręsti sudėtingus matematinius galvosūkius.
Šiandieniniame pasaulyje esame įpratę, kad dirbtinis intelektas yra superkompiuterių ir milžiniškų energijos sąnaudų sinonimas. Tačiau ryškėja labai įdomi tendencija, kuria siekiama... optimizuoti energijos vartojimo efektyvumąabejojant, ar mums tikrai reikia apdoroti milijonus daugybos veiksmų, kad gautume paprastą atsakymą, taip mėgdžiojant savo smegenų energetinį blaivumą.
Klasikinė architektūra: nuo perceptrono iki gilaus mokymosi
Norėdami suprasti, kur einame, turime žinoti, iš kur atėjome. Pagrindinis neuroninis tinklas paprastai yra suskirstytas į tris lygius. Viskas prasideda nuo įvesties sluoksnisČia sistema gauna duomenis iš išorės, juos analizuoja ir siunčia toliau. Tada ateina paslėpti sluoksniaikuris gali būti vienas arba dešimtys jų; būtent čia vyksta tikrasis apdorojimas, tobulinant informaciją kiekviename etape.
Galiausiai atvykome į išvesties sluoksnis...kuris suteikia mums galutinį verdiktą. Priklausomai nuo to, ko ieškome, galime turėti vieną mazgą atsakymui „taip“ arba „ne“ (dvejetainė klasifikacija) arba kelis mazgus, jei problema yra sudėtingesnė ir reikia rinktis iš kelių kategorijų.
Kai mes kalbame apie Gilus mokymasisKalbame apie tinklus su daugybe paslėptų sluoksnių ir milijonais jungčių. Šiame modelyje ryšys tarp neuronų apibrėžiamas kaip skaitinė vertė, vadinama svoriuProblema ta, kad šie tinklai eikvoja daug duomenų ir energijos, todėl norint išvengti klaidų, reikia milijonų pavyzdžių.
Mokymo esmė: tiesioginis ir atgalinis sklaidymas
Kad tinklas mokytųsi, jis pirmiausia turi bandyti spėti. Procesas Pirmyn dauginimasis Iš esmės tai kelionė iš kairės į dešinę: duomenys gaunami, dauginami iš svorių, pridedamas koregavimas, vadinamas šališkumu, ir jie pereina aktyvinimo funkciją (pvz., Sigmoidą arba ReLu), kad nuspręstų, ar neuronas „suveikia“, ar ne.
Bet kadangi tinklas iš pradžių nieko nežino, jis patirs nepaprastą nesėkmę. Štai kur... Atgalinis dauginimasir čia vyksta magija. Algoritmas dabar juda iš dešinės į kairę, apskaičiuodamas paklaidą tarp gauto rezultato ir tikrojo rezultato. Naudojant matematinės išvestinėsTinklas koreguoja svorius, kad sumažintų tą klaidą kitoje iteracijoje.
Svarbi šio proceso detalė yra mokymosi greitisJei jis per didelis, tinklas greitai mokosi, bet yra netikslus; jei per mažas, procesas tampa begalinis. Galutinis tikslas yra pasiekti globalų sąnaudų funkcijos minimumą, kuris leistų tinklui teisingai apibendrinti informaciją.
Nesvarumo neuroninių tinklų revoliucija
Štai čia ir prasideda įdomybės. Profesorė Lizy K. John ir jos komanda laužo stereotipus, siūlydamos nesvarūs neuroniniai tinklaiNors įprastas dirbtinis intelektas (DI) remiasi milijardų daugybos operacijų atlikimu (labai brangi operacija aparatinei įrangai), šis metodas naudoja tarpusavyje sujungtos paieškos lentelės.
Užuot atlikęs sudėtingą aritmetinį veiksmą, tinklas tiesiog patikrina saugomą atsakymą, pagrįstą dvejetainiais įvesties duomenimis. Tai sistema, daug panašesnė į žmonių samprotavimus: mes ne dauginame skaičių galvoje, kad nuspręstume, ar eiti į kairę, ar į dešinę, o Mes apdorojame aktyvavimo signalus.
Rezultatai tiesiog stulbinantys. Atliekant tokias užduotis kaip medicininis stebėjimas (EKG arba EEG) arba raktinių žodžių atpažinimas, šie tinklai gali būti tūkstantį kartų mažesnis ir efektyvesnisĮsivaizduokite, kad nuo 17 megabaitų modelio pereinama prie vos 14 kilobaitų modelio. Tai leidžia dirbtiniam intelektui tiesiogiai gyventi jutiklyje per... Edge Computing nereikalaujant siųsti duomenų į debesį, kuris taip pat yra Taškas už privatumą Vartotojas.
Tvaraus ir lengvo dirbtinio intelekto link
Ne viskas sukasi apie svarmenų atsikratymą; yra ir tendencija... lengvi neuroniniai tinklaiJie sukurti taip, kad sunaudotų kuo mažiau energijos ir atminties, naudojant tokius metodus kaip retas mokymas arba genėjimaskuris susideda iš ryšių, kurie niekaip neprisideda prie galutinio rezultato, pašalinimo.
Šis požiūris yra gyvybiškai svarbus tokiuose sektoriuose kaip pastatų energijos valdymas ar duomenų centrų vėsinimas, kur vartojimo optimizavimas gali reikšti energijos taupymas iki 30 %Tikslas aiškus: kad dirbtinis intelektas nebūtų klimato problema, o sprendimo dalis, suteikianti galimybę naudoti nebrangius įrenginius, tokius kaip ARM Cortex mikrovaldikliai, atlikti išmaniąsias užduotis realiuoju laiku.
Nuo transformatorių, kurie maitina šiuolaikinius pokalbių robotus, iki į vaizdus orientuotų konvoliucinių neuroninių tinklų (CNN), kelias į efektyvumą veda per sumažinti skaičiavimo sudėtingumąŠuolis nuo klasikinio perceptrono prie generatyvinio dirbtinio intelekto buvo milžiniškas duomenų ir galios požiūriu, tačiau tikrasis pažangiausias sprendimas dabar siekia nuveikti daugiau su daug mažiau.
Perėjimas nuo tankių, daugybinių procesų reikalaujančių architektūrų prie sistemų, pagrįstų dvejetaine paieška ir genėtais modeliais, leidžia dirbtiniam intelektui veikti mažyčiuose įrenginiuose. Integravus energijos vartojimo efektyvumą ir matematinį supaprastinimą, duomenų apdorojimas tampa žymiai greitesnis ir tvaresnis, atveriant kelią vietiniams, privatiems skaičiavimams, kurie nebereikia didelių GPU, kad tinkamai veiktų.
