Faceți cunoștință cu cel mai mic supercomputer AI din lume — acesta are „inteligență la nivel de doctorat”, spun creatorii săi, și încape în buzunar. Acest dispozitiv portabil revoluționar este capabil să ruleze modele lingvistice mari (LLM-uri) cu 120 de miliarde de parametri, fiind de aproximativ trei ori mai puternic decât arhitectura GPT-3, totul fără a fi nevoie de acces la internet sau de conexiune la cloud.
O companie start-up din SUA a dezvoltat ceea ce susține a fi cel mai mic supercomputer cu inteligență artificială (AI) din lume. Dotat cu hardware de înaltă performanță și o memorie RAM extrem de generoasă, reprezentanții companiei afirmă că aparatul poate rula modele AI cu „inteligență de nivel doctorat”, în ciuda faptului că este suficient de compact pentru a fi purtat în buzunar. În termeni practici, acest lucru înseamnă că sistemul este capabil de rezolvarea autonomă a problemelor, raționament abstract și planificare strategică, direct de pe palmul utilizatorului, arată Live Science.
„AI Pocket Lab”, așa cum l-au numit creatorii săi de la Tiiny AI, este capabil să ruleze local un model lingvistic complex (LLM) cu 120 de miliarde de parametri, eliminând total dependența de o conexiune la internet. În mod normal, pentru a rula astfel de sisteme masive ar fi nevoie de o întreagă infrastructură de tip centru de date. Miniaturizarea acestor procese deschide posibilitatea unor capacități locale de codare la nivel de expert, evaluarea și perfecționarea documentelor sau realizarea unor raționamente complexe în mai mulți pași, oriunde v-ați afla.
Cât de puternic este cel mai mic supercomputer AI
Sub capotă, dispozitivul este construit în jurul unui procesor ARM cu 12 nuclee, un tip de arhitectură utilizat în mod obișnuit în smartphone-uri, laptopuri și tablete de top. În ciuda dimensiunilor sale reduse — dispozitivul măsoară doar 14,2 × 8 × 2,53 cm — acesta este echipat cu o memorie RAM LPDDR5X impresionantă, de 80 GB. Pentru context, majoritatea laptopurilor actuale performante oferă între 8 GB și 32 GB RAM. Din acest total, o memorie RAM masivă de 48 GB a Pocket Lab este rezervată exclusiv pentru unitatea de procesare neurală (NPU), un cip special optimizat pentru calculele matematice intense legate de AI. Atât Intel, cât și AMD produc de câțiva ani procesoare care includ NPU-uri dedicate pentru a gestiona sarcinile AI și pentru a îndeplini pragul de 40 de trilioane de operații pe secundă (TOPS) stabilit de Microsoft pentru a rula funcțiile AI avansate pe Windows 11.
Pocket Lab se califică drept supercomputer (și nu doar un mini-PC sau o stație de lucru standard) datorită puterii sale brute de calcul. Acesta este capabil să execute sarcini de lucru extrem de solicitante — în special inferențe locale pe modele lingvistice cu peste 100 de miliarde de parametri — care necesită, în mod normal, sisteme multi-GPU complexe de clasă data center. Printre modelele actuale pe care dispozitivul le poate rula local se numără GPT-OSS 120B, versiunile mari ale modelelor Phi și diverse modele din familia Llama cu parametri ridicați.
Această inovație face parte dintr-o tendință globală recentă către edge computing pentru inteligența artificială, o strategie care încearcă să reducă din constrângerile energetice și impactul sever asupra mediului pe care îl are procesarea distribuită în centrele de date masive.
Putere de buzunar
Deși este încă departe de a rivaliza cu cele mai puternice supercomputere din clasamentele mondiale, AI Pocket Lab reușește să ofere o putere de calcul cumulată de 190 TOPS între NPU și CPU. Dispozitivul reprezintă un pas major către miniaturizare, urmând direcția marcată recent de anunțul Nvidia privind mini PC-ul Project Digits. Deși nu atinge aceeași putere brută ca proiectul celor de la Nvidia, Pocket Lab se remarcă printr-o dimensiune mult mai redusă și o portabilitate superioară.
Pentru a reuși să concentreze atâta putere într-un șasiu atât de modest, echipa Tiiny AI s-a bazat pe o serie de tehnologii de ultimă oră și optimizări software ingenioase. Printre acestea, elementul cheie a fost inovația numită TurboSparse. Această tehnologie permite LLM-urilor masive să ruleze mult mai rapid pe hardware limitat, asigurându-se că sistemul apelează doar la acele părți ale unui model de care are nevoie într-un anumit moment. În timp ce modelele tradiționale utilizează fiecare parametru pentru fiecare cuvânt procesat sau generat, un model TurboSparse activează doar parametri specifici pentru fiecare etapă a fluxului de lucru.
O altă caracteristică vitală este PowerInfer, care permite programarea eterogenă a componentelor CPU, GPU și NPU ale dispozitivului. Practic, fiecare procesor primește exact sarcina de lucru pe care este cel mai capabil să o gestioneze, transformând întregul sistem într-un ansamblu mult mai eficient și reducând drastic consumul de energie. PowerInfer integrează, de asemenea, un sistem de gestionare inteligentă a energiei, care decide în timp real când este necesară puterea maximă și când se poate opera cu un consum redus, în principal prin eliminarea calculelor redundante sau inutile.
Implicațiile existenței unui supercomputer AI miniatural depășesc simpla reducere a dependenței noastre de centrele de date dăunătoare mediului. Tehnologia reprezintă un avantaj uriaș pentru confidențialitatea datelor: utilizatorii pot exploata puterea unui LLM sofisticat fără a fi conectați la internet și fără ca informațiile lor sensibile să fie procesate în cloud de către terți. În același timp, Pocket Lab permite accesul la inteligența artificială avansată în situații critice de teren, cum ar fi stațiile de cercetare aflate în zone izolate, pe nave maritime sau la bordul aeronavelor aflate în afara razei de conectivitate.
