den nye generation af maskinlæring? – Nonteek

2

Neuromorfe computere: At blive inspireret af biologi kan hjælpe med at overvinde begrænsningerne ved moderne computerarkitekturer.

Vi havde allerede nævnt neuromorfe computere i artiklen om specialiseret hardware til AI. Konceptet med neuromorfe computere er ikke ligefrem nyt: faktisk blev det opfundet i 80’erne af C. Mead, derefter “gjort officielt” i en artikel, der senere blev berømt: Neuromorfe elektroniske systemer.
Enkelt sagt er en neuromorf computer en computer bygget med en arkitektur, der er i stand til simulering af hjernens funktion. Grunden til, at behovet for at gå denne vej, såvel som af hensyn til videnskabelig simulering, er at overvinde de iboende grænser for moderne arkitektur, som vi hurtigt nærmer os.

Begrænsninger af moderne arkitekturer

I dag fungerer næsten alle computere stort set efter Von Neumann arkitektur: en CPU, en eller flere hukommelsesenheder (RAM, harddisk osv.) og en bus med forskellige kanaler.
I denne type arkitektur overføres data konstant frem og tilbage gennem bussen fra CPU’en til hukommelsen og omvendt. Datastrømmen er næsten konstant, og den er timet med en system ursom i dag er af størrelsesordenen GHz, eller milliarder cyklusser i sekundet.

Denne type arkitektur, selvom den er meget vellykket i nutidens computere, har et svagt punkt, det vil sige flaskehalsen, der skabes mellem CPU’en og lagerenhederne, da de opererer med drastisk forskellige hastigheder. Denne type problemer afbødes på en eller anden måde, men ikke løst, med implementeringen af caching-mekanismer og maksimering af bussens overførselshastighed. Et andet problem er, at den progressive miniaturisering, som er fulgt Moores lov indtil nu, nærmer sig nu sine fysiske grænser Disse grænser er grunden til, at vi bliver nødt til at finde forskellige måder at blive ved med at øge computerkraften, som bliver mere og mere nødvendig for at træne nutidens neurale netværk.

Neuromorfe computere til undsætning

Den type problemer, der er nævnt, bliver mere og mere presserende i tiden med Big Data og af Dyb læring, med dets stadig bredere og komplekse neurale netværk. Så hvad skal man gøre? En mulig måde ville være at gå med kvantecomputere (vi har allerede talt om det i Blafferens guide til kvantecomputere), som er lovende, men stadig i et meget tidligt stadie og endnu ikke modne nok til generelle løsninger. Så i sidste ende kunne løsningen på disse problemer bare være at blive inspireret af biologi og bygge kunstige systemer, der fungerer som den menneskelige hjerne: neuromorfe computere.

Neuromorf behandling er baseret på nogle nøglepunkter:

  • Hukommelse og udregning samme sted: ikke længere to separate systemer som i Von Neumann-arkitekturen, men mange simple “processorer” (inspireret af neuroner).
  • Parallelisme: neurale netværk bygget på dette princip er designet til at være iboende i stand til hård parallelisme.
  • Omfattende tilslutningsmuligheder: som i den menneskelige hjerne er noderne tæt forbundet lokalt (i samme struktur), men også gennem “lange” forbindelser med noder af andre strukturer.
  • Spike forarbejdning: de forskellige noder kommunikerer gennem spidser, inspireret af biologiske aktionspotentialer.

Spikende neurale netværk

Et afgørende træk ved neuromorfisk bearbejdning er brugen af ​​”spigende” neurale netværk, der operationelt ligner deres biologiske modstykker. I de “traditionelle” neurale netværk, såsom perceptron- eller foldningsnetværk, “skyder” alle neuronerne i et givet lag en ægte værdi sammen for hver udbredelsescyklus. Værdien for hver neuron afhænger af værdierne modtaget ved input og funktionsaktivering.
I stedet for i spiknetværk skyder neuronerne i stedet for at skyde (eller ej) ved hver udbredelsescyklus kun, når aktiveringen overstiger en vis tærskel. Med andre ord følger den samme lov om “alt eller intet” af biologiske handlingspotentialer.

Handlingspotentiale: når depolariseringen overstiger tærsklen, udløses den proces, der fører til dannelsen af ​​AP’en (spidsen), som derefter forplanter sig gennem membranen, fuldstændigt. AP er altid enten fuldt genereret, hvis tærsklen overskrides, eller intet.

På grund af denne lov kan disse signaler med sikkerhed betragtes som digitale, hvor vi kan modulere frekvensen og tidsrammen, med hvilken de affyres. Ydermere afhænger triggeren også af arten af ​​synapserne (forbindelser mellem neuroner), som kan være excitatoriske eller hæmmende. Fordelen ved denne type netværk ligger i beregningsmæssig enkelhed (neuronerne laver kun simple algebraiske summer).

Når det er sagt, selvom beregningstypen i disse netværk er teoretisk simpel, er problemet, at det kan blive komplekst at implementere det med traditionelle arkitekturer. Faktisk korrekt repræsenterer tendensen af ​​signalerne over tid (frekvens), ville det være nødvendigt at implementere differentialligninger, hvis kompleksitet ville underminere den indledende fordel.

Men ved at bruge passende arkitekturer, baseret på brugen af memristor (en slags modstand med hukommelse) kan vi implementere kredsløb, der effektivt kan simulere biologiske synapser. Disse arkitekturer kan implementeres med komponenter, der er relativt billige og til en brøkdel af den energi, som deres traditionelle modparter har brug for.

Bemærkelsesværdige implementeringer

Udviklingen af ​​neuromorfe computere er langsomt ved at gribe ind, selvom teknologien endnu ikke er moden, og for bare to år siden havde investeringerne allerede oversteget $400 millioner i Nordamerika og EU (se nedenfor). Nedenfor er nogle af de bedst kendte implementeringer.

Human Brain Project

Human Brain-projektet er et kæmpe forskningsprojekt, der har til formål at accelerere forskningen inden for neurovidenskab. Et af områderne i projektet er “Silicium hjerne“, hvor SpinNaker (se nedenfor), og Hjerneskalaer (en arkitektur designet til at simulere plasticiteten af ​​neurale forbindelser) fusionerede.

SpinNaker

Baseret på ARM-processorerhver SpinNaker chippen har en processor, et SDRAM-hukommelsesmodul og en router, der er i stand til at formidle spidsbeskederne til de andre chips. Fra et softwaresynspunkt er programmeringsparadigmet for SpiNNaker en simpel begivenhedsdrevet model, og projektet giver dedikerede værktøjer. Applikationer kontrollerer ikke eksekveringsflowet, men kan kun angive de funktioner, der skal udføres, når en specifik hændelse indtræffer, såsom ankomsten af ​​en pakke, eller en forløbet tid. SpinNaker-applikationskernen SARK (SpiNNaker Application Runtime Kernel) overvåger udførelsesflowet og planlægger/dirigerer opkaldene til funktionerne. Det nyeste er repræsenteret af SpiNNaker maskinemed mere end 500.000 processorer.

SpiNNaker arkitektur koncept

TrueNorth

Denne arkitektur blev udviklet i 2014 af IBM, som en del af SYNAPS program. TrueNorth, ligesom andre arkitekturer af denne art, arbejder med spiking neurale netværk. TrueNorth viste sig at være særligt velbevandret inden for computersyn, og det var kun sidste år IBM meddelte et samarbejde med AirForce Research Lab om at bygge et 64-chip array. Ideen er at tilføre merværdi til applikationsområdet som førerløse biler, satellitter og droner.

Mobil

Implementeringen af ​​computervisionsteknologier kunne ikke mangle i smartphones, og der er adskillige telefoner i den bedste række, som allerede har NPU (Neural Processing Unit) processorer monteret. Anvendelsen er stadig begrænset, men scenariet kan ændre sig hurtigt, da teknologien er der.
Startende med Android 8.1 NN-API vil blive gjort tilgængelig, hvorigennem udviklerne vil kunne få adgang til NPU’en uden at kende dens arkitektoniske detaljer. Google har også frigivet TensorFlow Litesom fuldt ud understøtter det.

Pixel Visual Core

Google Pixel 2XL monterer Pixel Visual Core ombord, kun låst op med Android 8.1, selvom den i øjeblikket kun bruges til HDR+ applikationer. Qualcomm implementerede AI i sine Snapdragon 835 og 845 og vil arbejde sammen med Baidu for at forbedre talegenkendelse.

Selvfølgelig kunne også Apple med sin A11 og Huawei med Kyrin ikke gå glip af festen.
Som allerede nævnt er brugen af ​​disse NPU’er ret begrænset i øjeblikket, men vi er ved begyndelsen, og sektoren boomer.

Noter

EN clock rate på 1 GHz svarer til en frekvens på omkring 10 cyklusser pr. nanosekund.

Dette på trods af forskningen fortsætter med at skubbe denne fysiske grænse yderligere, for eksempel igennem nye grafen induktorereller udnyttelse af kvanteeffekter i transistorer.

Grunden til, at denne form for arkitektur endnu ikke er udbredt på trods af, at ideen er over 40 år gammel, skyldes den samme grund, at fremskridtet for kunstig intelligens stoppede i mere end 20 år, efter de første løfter, det er den teknologi, det var ikke klar endnu. I dag med den fornyede interesse for kunstig intelligens og neurovidenskab, kombineret med teknologisk modning, kommer neuromorfe computere tilbage på mode.

Links

Spiking neurale netværk, den næste generation af maskinlæring
Neuromorfe chips er bestemt til dyb læring – eller uklarhed
Qualcomm-støttet opstart annoncerer AI-processorfamilie
Forskere skaber organiske nanotrådssynaptiske transistorer, der efterligner arbejdsprincipperne for biologiske synapser
Introduktion til neuromorfe computerindsigter og udfordringer (pdf)
Hvad gør AI-fremstillede processorer egentlig?
Neuromorphic Computing kunne bygge menneskelignende maskinhjerner
Maskinlæring og kunstig intelligens: Sådan bliver smartphones endnu smartere
Neuromorfe chips: en vej mod AI på menneskeligt niveau
NEUROMORF COMPUTING CHIP – DEN NÆSTE UDVIKLING I KUNSTIG INTELLIGENS
Kunstig synapse for neuromorfe chips
Et Memristor-baseret uovervåget neuromorfisk system mod hurtig og energieffektiv GAN (pdf)
Klassificering af neuromorfe data ved hjælp af en deep learning-ramme til billedklassificering (pdf)
Large-Scale Neuromorphic Spiking Array Processors: En søgen efter at efterligne hjernen (pdf)
Konvolutionelle netværk til hurtig, energieffektiv neuromorfisk databehandling (pdf)

Projekter

Human Brain Project
DET BLÅ HJERNE-PROJEKT – ET SCHWEIZISK HJERNEINITIATIV
NEST Initiative – The Neural Simulation Technology Initiative
Gromacs Gromacs
TRIN – STchastic Engine for Pathway Simulation
Projekt NEURON – Novel Education for Understanding Research on Neuroscience
Neuromem Smart – Hardwareneuroner inspireret af biologi

lignende indlæg

Leave a Reply