Poate e loc și de Bart Simpson în AI, nu doar de tehnomogulii care se cred Iron Man sau Batman

Feelingul meu este că zilele astea AI-ul trece printr-o schimbare de paradigmă enormă.

Tranziția de la modele pur conversaționale (think fast-ul lui Kahneman) care sunt autocomplete-uri probabilistice pe steroizi, la modele care "raționează" în sensul că își crează un șir de gândire autoreflexivă, un plan de rezolvare a problemei înainte să dea un rezultat. Acel "slow thinking", esențial pentru a rezolva probleme.

Asta se vede în modelele o1 / o3 de la Chatgpt dar și în cele pe care le lansează zilele astea Google (Gemini 2 Thinking). Deja le găsiți în Google Studio, gratuit, și sunt în perioada de trial gratuit.

Partea interesantă (și neașteptată, imprevizibilă cel puțin ca juxtapunere temporală) este că peste acestă revoluție se suprapune una care vine de la DeepSeek. Care au lansat în vreo 3 săptămâni 2 modele opensource foarte bune. Cel de ieri (deepseek-r1) este de tipul think slow. Dar mai mult decât atât: are versiuni opensource care pot rula pe calculatoare "oarecum" normale.

Problema e că până acum un Llama 3 decent era cel de 70b care chiar si cuantificat (comprimat, să zicem) tot necesita peste 48 GB de placă video. Și tot nu raționa. Iar Llama 3 acela mare de 400b necesita contract special la Enel plus vreo 15K euro în plăci video. Ceea ce nu e tocmai accesibil pentru pasionații cu mult timp, dar nu la fel de mulți bani.

Îmi pare că situația s-a schimbat zilele astea prin calculatorul de 3000 dolari cu 128 GB de VRAM de la Nvidia si modelul acestora de la DeepSeek.

Eu am rulat versiunea de 32b (vreo 30 mega de VRAM necesari) si vă zic că e tare de tot, chiar raționează, nu doar calchiază.

Pare-se că unul dintre driverii acestei schimbări a fost chiar embargoul pe placi video în PRC. Se pare că s-a lucrat mult pe partea de optimizare.

Anyway, e irelevant că e chinez acel model. Feelingul meu e că în 3 luni și Meta o să lanseze un Llama 4 cel puțin la fel de optim, Mistral la fel în Franța, probabil și Google o să dea un Gemma 3 for free ca să nu rămână în urmă, poate și un Phi5r de la Microsoft...

Ce înseamnă asta pe scurt?

E că se va trece de la AI computing de tip mainframe la AI computing de tip microcalculator. Și asta e bine. Mai ales în contextul în care miliardarii americani ai AI-ului sunt orientați spre autoritarism, iar de jucătorii din spațiul chinez ce să mai vorbesc?

Ne îndreptăm spre o democratizarea a AI-ului, cu mulți prosumatori.

Și da, vine cu riscuri mari, că pare că e mai ușor să sintetizezi otrăvuri decât tratamente. Dar hei, asta trebuie să fie treaba statului. Să găsească măsuri de protecție, de prevenire, de educație și să aibă grijă să nu fie chiar atât de mulți nemulțumiți inteligenți.

Treabă antreprenoriatului mic-mediu și a cetățenilor e să folosească acest potențial enorm. Pentru mai multă prosperitate și mai multă umanitate.

Și da, gândiți-vă la o chestie. Vaclav Smil spunea că apariția motoarelor a dat fiecărui om capacitatea motrică a 200 de oameni. Practic noi trăim așa de bine folosind lucrul mecanic real prestat de 200 de oameni virtuali pentru fiecare dintre noi. Cu problema combustibililor fosili, evident.

La fel va fi și cu AI-ul și de aia e bine să fie democratizat. Vom avea fiecare produsul inteligenței umane a 200 de oameni virtuali.

Și astfel putem face mai mult pentru relaționarea noastră, așa cum mai puține ore de muncă brută la câmp sau în mină a dat șanse să fim mai buni unii cu alții, mai empatici și mai puțin sălbatici (da, e dovedit și asta pe cifre).

Anyway, dacă vreți să vă jucați cu Llama și aveți un laptop cu placă video sau VRAM mixt (MacBook) de minim 16 GB, puneți-vă ollama și rulați deepseek 8b/32b.

Rupe. Și e doar începutul. Într-o lună o să fie mult depășit, o să îl privesc așa cum privesc acum llama3, care mi se părea extraordinar acum 9 luni.

Următoarea revoluție sidewise, aplicarea memoriei pe termen lung de tip uman descrisă în Google’s Titans, care va permite trainingul/fine-tunningul concomitent cu inferența. Dar probabil asta pe la vară.

LE: Am uitat să spun câteva lucruri.

1. Tocmai de aceea mi se pare că investiția de 500 miliarde în big AI infrastructure nu va fi calea pe care o va lua domeniul. Maxim partea de surveillance. Dar breakthrough-urile vor veni de la cercetătorii și liceenii cu computere d-alea de 3000 dolari..

2. DeepSeek este un model făcut de o firmă din Republica Populară Chineză. De aceea, chiar și modelul open-source instalat on premises nu ar trebui folosit pentru analiza de date personale sau pentru lucru cu proprietate intelectuală (exemplu cod sursă cu valoare economică). Deocamdată doar jucați-vă. Sau folosiți strategii mixte (DeepSeek pentru low importance cu Gemini /Claude pentru chestii mai secure)

3. Mai e o schimbare majoră, din cauză de provocarea opensource/selfhosted. Presiunea pe preț. Deja Google Gemini flash este la pennies per million tokens. Poți analiza toate datele de achiziții publice anuale cu niște sute de euro. Wink wink / Bazinga