Deep Learning: Pokušaj stvaranja ljudskog mozga u telu mašine

25. feb.

Kada su Bila Gejtsa pitali čime bi se bavio, kada bi kojim slučajem sada bio student, on je odgovorio da bi to sigurno bilo “duboko učenje” (Deep Learning). Reč je o oblasti mašinskog učenja koja omogućava preciznija predviđanja i modele na osnovu velikog seta neobeleženih podataka.

Ako vam je ova tema “špansko selo”, nije zgoreg da se uputite barem okvirno u ovu oblast, budući da se većina tehnologije od koje praktično zavisi savremeni čovek, oslanja na sve složenije mašinsko učenje.

Ova oblast se toliko razvila, da na nju više ne može da se primeni termin veštačka inteligencija (AI) jer se odnosi na zastarele sisteme koji su bili hit šezdesetih godina prošlog veka. Danas govorimo o sasvim drugačijim pristupima koji su duboko utkani u gotovo sve servise kojima se služimo – od Google pretrage, do tagovanja fotografija na Facebooku.

IT kompanije se utrkuju ko će pre doći do “svetog grala” inteligentne mašine, pa je Google čak pokrenuo i besplatni kurs dubokog učenja, u kom se objašnjava ova tehnika koja stoji iza tako velikog broja njegovih servisa (od prepoznavanja govora, do sortiranja fotografija).

Tromesečni kurs nije za apsolutne početnike, ali je namenjen inženjerima i stručnjacima za potaktke koji žele da saznaju više o dubokom učenju i Googleovom novom softveru TensorFlow za mašinsko učenje koji je od prošle godine Open Source (otvoreni kod). Google je toliko napredovao u ovoj oblasti, da je njegova mreža računara u okviru DeepMind projekta uspela sama da dođe do odgovora na pitanje koje se obično postavlja na intervjuima za posao u ovoj kompaniji (o tome ćemo kasnije).

Kako su naučnici došli do takvih sistema? Da bismo bliže ispitali ovu oblast, treba da se upoznamo sa tokom razvoja mašinskog učenja. (U okviru svakog od nabrojannih pristupa, razvijen je veliki broj različitih sistema, sa više ili manje uspeha).

Veštačka inteligencija – stvar prošlosti

Prve AI tehnologije bili su kompjuterski programi dizajnirani da rešavaju probleme koje je i ljudski mozak s lakoćom savladavao, poput razumevanja teksta ili prepoznavanja predmeta na slici. Rezultati ovog rada bili su u najmanju ruku razočaravajući, a napredak spor. Za mnoge probleme, istraživači su zaključili da računar mora da ima ogromno znanje kako bi se mogao smatrati “pametnim”. Zato su osmislili takozvane “ekspert sisteme”, kompjuterske programe koji rade u saradnji s ljudima, stručnjacima za određenu oblast. Tako su kompjuteri počeli da, recimo, postavljaju medicinske dijagnoze postavljajući setove pitanja lekarima o pacijentu. Ako računar pogreši u dijagnostici, stručnjak doda još nekoliko pitanja ili pravila u zaključivanju, kako bi mu olakšao posao. Klasični AI sistemi tako su postali vrlo “vešti” u rešavanju specifičnih problema.

IBM Watson može se smatrati modernom verzijom klasičnog AI sistema. On je fokusiran na stvaranje sofisticirane baze podataka na neku određenu temu. Iako se Watson ne oslanja isključivo na pravila, on zahteva blisku intervenciju stručnjaka za datu oblast kako bi dao adekvatne procene. Klasični AI rešavali su neke jasno definisane probleme, ali su bili ograničeni svojom nesposobnošću da samostalno uče i uprkos svom nazivu, nisu imali gotovo ništa srodno s ljudskom inteligencijom.

Pristup jednostavnih neuronskih mreža

Kada su stručnjacima postale jasne granice klasičnih AI sistema, neki su se okrenuli ideji da inteligentne mašine treba modelovati prema ljudskom mozgu i da je potrebno simulirati mreže neurona. Dobijena tehnologija – veštačke neuronske mreže (ANN) – stvorena je pre više od 50 godina, kada se znalo veoma malo čak i o tome kako stvarni neuroni funkcionišu. Od tada, neurolozi su naučili mnogo toga o anatomiji i fiziologiji mozga, ali se ANN dizajn vrlo malo promenio.

Štaviše, ANN je pomerio fokus sa biološkog realizma na učenje bez ljudske intervencije. Tako su ANN sistemi stekli veliku prednost u odnosu na klasični AI, jer su učili na osnovu podataka, bez potrebe da se oslanjaju na stručnjake koji će im postavljati pravila i instrukcije.

Današnje ANN mreže deo su šire kategorije “mašinskog učenja” koja obuhvata druge matematičke i statističke tehnike. One se oslanjaju na ogromne količine podataka, statističku analizu i klasifikovanje rezultata.

ANN su nedavno evoluirali u mreže za takozvano duboko učenje (Deep Learning), koje su omogućili superbrzi računari. Deep Learning uspešno savladava mnoge probeme, poput klasifikacije slika, prevoda jezika i prepoznavanja spam mejlova.

Iako sistemi jednostavnih neuronskih mreža mogu da reše mnoge probleme koji su “mučili” klasični AI i dalje imaju svoja ograničenja. Recimo, ne mogu da funkcionišu u uslovima ograničenih podataka za obuku i ne rešavaju probleme u kojima se šeme u podacima konstantno menjaju. U osnovi, ovaj sistem je sofisticirana matematička tehnika koja pronalazi pravilnosti u velikim setovima statističkih podataka i malo šta više od toga.

Postoji mnogo važnije pitanje koje stoji iza postojećih ograničenja klasične AI i jednostavnih neuronskih mreža. Oba ova pristupa nemaju za cilj da postignu istinsku inteligenciju mašina, što nas dovodi do trećeg pristupa.

Biološke neuronske mreže

Stručnjaci veruju da će proučavajući ljudski mozak uspeti da shvate šta je zapravo inteligencija i kakva svojstva mozga su ključna za stvaranje inteligentnih sistema. Recimo, znamo da mozak predstavlja informaciju koristeći oskudno distribuirane reprezentacije (SDR), koje su ključne za semantičku generalizaciju i kreativnost. Istinski inteligentni sistemi, prema dosadašnjim saznanjima, trebalo bi da budu zasnovani na tom principu. SDR nije nešto što se može jednostavno dodati postojećim tehnikama mašinskog učenja. To je više osnova od koje zavisi sve ostalo. Druga ključna svojstva mozga su pamćenje, prvenstveno niza šema i sposobnost kontinuiranog učenja.

Osim toga, znamo da su biološki neuroni mnogo sofisticiraniji od onih koji su korišteni za jednostavne neuronske mreže. Naučnici su shvatili da ne možemo doći do mašinske inteligencije nadograđivanjem sistema jednostavnih neurona, nego da ga moraju u potpunosti odbaciti i pristupiti realističnijem biološkom pristupu.

Jedan od primera primene je tehnologija Hierarchical Temporal Memory (HTM). Ti sistemi mogu da uče strukturu tokova podataka, predviđaju ishode i detektuju anomalije. Oni kontinuirano uče iz neobeleženih podataka. Koristeći glomazni biološki pristup, mozak nam daje mapu gde treba da delujemo u budućnosti, tako što kompletira naše razumevanje ponašanja, pažnje i kratkoročnog pamćenja. Ta mapa razlikuje HTM od drugih tehnika i čini je najboljim kandidatom za stvaranje inteligentnih mašina.

DeepMind

Iz svih ovih pristupa proističe većina savremenih sistema, uključujući i Google DeepMind projekat, o kom smo govorili na početku teksta. O tome šta sve može njihova tehnologija, najbolje govori problem koji je mreža DeepMind računara uspela da reši. Evo kakav zadatak je dobio:

Egzekutor je postrojio 100 zatvorenika u jednu kolonu i svakom od njih stavio crvenu ili plavu kapu na glavu. Zatvorenici su pozicionirani tako da svaki od njih vidi kakve boje su kape na glavama zatvorenika ispred njega, ali ne zna kakvu je on kapu dobio, niti oni koji su postrojeni iza njega. Egzekutor polazi sa začelja kolone i pita poslednjeg zatvorenika kakve je boje njegova kapa. On mora odgovoriti da li je crvena ili plava, a ako odgovori tačno, preživeće. Ako pogreši, egzekutor ga ubija odmah i tiho, tako da svi zatvorenici čuju odgovor, ali niko ne zna da li je upitani dao tačan odgovor i redom nastavlja da ispituje zatvorenike. U noći pre postrojavanja, zatvorenici raspravljaju o strategiji koja bi trebalo da im spase živote. Šta bi trebalo da učine?

Kako bi rešila ovaj problem, DeepMind neuronska mreža modelovala je svih 100 zatvorenika kao odvojene računare u mreži i zatim razmotrila kakve kape bi mogao da vidi svaki od zatvorenika, ako bi bili postrojeni u kolonu. Svaki od računara zatim je razmatrao šta bi trebalo da kaže drugima, a zatim su kolektivno radili na odgovoru.

Odgovor je sledeći:

Imate 100-procentnu šansu da spasete sve, osim poslednjeg zatvorenika i 50 odsto šanse da spasete i njega. Računari su se složili o sledećoj strategiji. Poslednji zatvorenik broji koliko ima plavih kapa ispred njega. Ako je broj paran, odgovoriće “plava”, a ako je neparan “crvena”. Ako 99. zatvorenik čuje “plava”, a prebroji neparan broj plavih kapa, onda mora da na glavi ima plavu kapu, tako da je broj plavih kapa paran. Ako prebroji paran broj plavih kapa, to znači da ima crvoenu kapu na glavi. Isto tako, ako poslednji zatvorenik vikne “crvena”, onda 99. zna da je njegov kolega iza video neparan brj plavih kapa.

Onda prebrojava koliko plavih kapa vidi. Opet, ako je broj paran, njegova kapa je plava, a ako je neparan, na glavi mu je crvena kapa. On onda kaže egzekutoru kakve boje nosi kapu i život mu je pošteđen. Sledeći zatvorenik sada zna da li je ostao paran ili neparan broj kapa, uključujući i njegovu, na osnovu toga kakvu kapu je imao 99. Onda brojanjem plavih kapa koje vidi, zna koje je boje njegova. Život mu je pošteđen. Tako rade i svi ostali zatvorenici od kojih svi prežive, dok je sudbina poslednjeg neizvesna, jer ima 50 odsto šanse da pogodi svoju boju kape.

Istraživači koji su radili na ovom eksperimentu, kažu da je mreža računara sama došla do rešenja problema i da je ovo veliki korak u razvoju pametnih mašina. Ipak, oni ni sami nisu sigurni kako su kompjuteri došli do protokola koji ih je doveo do rešenja.

***

Deep Learning je jedan od ključnih činilaca nauke o podacima, koja postaje sve važnija u savremenom svetu. Toliko je ključno za buduće tehnologije, da većina kompanija koja istražuje ovu oblast javno deli svoja dostignća s javnošću. Zašto? Zato što bi nek manje kompanije i pojedinci možda mogli da dođu do revolucionarnih rešenja koja bi mogla da transformišu budućnost pametnih računara, koji će kompanijama (ali i čovečanstvu) biti od velike koristi. Ko zna, možda ste to baš vi.