Conform Go4IT: ByteDance, compania mamă a TikTok, țintește supremația în inteligența artificială prin dezvoltarea unui model AI de proporții uriașe, comparabil cu cele mai avansate creații ale rivalilor de peste Ocean. Potrivit unor surse citate de Financial Times, gigantul tehnologic asiatic a demarat deja procesul de pre-antrenare pentru un nou model de inteligență artificială care ar urma să dispună de nu mai puțin de 10 trilioane de parametri.
O cursă a parametrilor în inteligența artificială
Această cifră masivă – 10 trilioane de parametri – depășește cu mult capacitățile modelelor AI chinezești existente. Spre comparație, modelul Kimi K3 dezvoltat de Moonshot AI, deținătorul precedentului record în China, se oprește la 2,8 trilioane de parametri. Numărul de parametri este esențial în inteligența artificială, reprezentând valorile numerice interne pe care modelul le ajustează în timpul antrenamentului. Aceștia acționează ca niște „butoane de reglaj”, determinând modul în care modelul procesează informațiile de intrare și generează rezultate. Prin urmare, un număr mai mare de parametri sugerează o capacitate sporită de procesare și o „gândire” AI mai complexă.
Procesul de pre-antrenare a unui astfel de model durează, de obicei, între trei și șase luni, urmând ca ulterior să fie supus unei ajustări fine înainte de lansare. Deși Anthropic, un alt jucător important pe piața AI, nu dezvăluie public dimensiunea modelelor sale, estimările din industrie plasează modelul de vârf Mythos 5 în jurul valorii de 8 trilioane de parametri, iar Fable 5 la aproximativ 5 trilioane. Totuși, numărul de parametri este doar o componentă a performanței, calitatea datelor de antrenament și metodele folosite având, de asemenea, un rol crucial.
Ambiții globale și strategii specifice ByteDance
Eforturile ByteDance de a crea unul dintre cele mai mari modele de inteligență artificială din lume subliniază ambiția laboratoarelor tehnologice chineze de a recupera decalajul față de liderii americani și chiar de a-i depăși în domeniul AI de ultimă generație. În ultimele săptămâni, modele dezvoltate în China, precum cele de la Moonshot și Alibaba, au demonstrat performanțe notabile în diverse teste, apropiindu-se de nivelul modelelor occidentale. Modelul Mythos 5 al Anthropic, cel mai avansat de pe piață, este disponibil momentan doar pentru organizații selectate, după o interdicție temporară impusă din motive de securitate în luna iunie.
Spre deosebire de multe companii chineze de AI care optează pentru modele open-source, ByteDance pare să mizeze pe strategii proprii, dezvoltând modele închise și extinzându-și agresiv infrastructura dedicată inteligenței artificiale. Succesele anterioare includ modelul Seedance, recunoscut pentru capabilitățile sale avansate de generare video, și Doubao, un model orientat către consumatori care a atins o popularitate remarcabilă în China, cu peste 324 de milioane de utilizatori activi lunar.
Independență tehnologică, dar provocări în implementare
Surse apropiate companiei indică faptul că ByteDance a instruit recent echipele sale să evite utilizarea metodelor de „distilare” bazate pe modele dezvoltate de alte companii. Această decizie reflectă un angajament ferm pentru dezvoltarea independentă, fără a se baza pe tehnologii externe. Cu toate acestea, unii analiști sugerează că această abordare, adoptată de peste un an, ar fi putut încetini ritmul dezvoltării modelelor ByteDance în comparație cu concurența. Distilarea modelelor este un proces prin care un model mare și complex este „comprimat” într-unul mai mic și mai rapid, acesta din urmă învățând să imite performanța modelului „profesor”.
Echipa Seed, responsabilă pentru dezvoltarea modelelor AI la ByteDance și condusă de fostul cercetător Google DeepMind, Wu Yonghui, numără aproximativ 2.000 de specialiști la nivel global. Aceasta acoperă domenii precum cercetarea fundamentală, ingineria infrastructurii, etichetarea datelor și traducerea. Fondatorul ByteDance, Zhang Yiming, a încurajat angajații să se concentreze pe obținerea unor „capacități de model de clasă mondială pe termen lung”, punând mai puțin accent pe eventualele eșecuri pe termen scurt.
Ultimul raport al companiei menționează că Zhang Yiming ar fi îndemnat angajații săi să se concentreze pe atingerea unor „capacități de model de clasă mondială” pe termen lung, prioritizând dezvoltarea fundamentală în detrimentul fricii de eșecuri pe termen scurt.
Sursa: Go4IT
