Cum funcționează cu adevărat modelele de limbaj mari (precum ChatGPT)
Am explicat, într-un articol anterior, ce este pe scurt un „model AI". Aici mergem mai adânc, specific pentru modelele de limbaj mari (LLM), tehnologia din spatele ChatGPT, Claude, Gemini și altele.
Pasul 1 — Textul devine numere (tokenizare)
Primul pas e transformarea textului în bucăți mici numite token-uri — cuvinte întregi, părți de cuvinte, sau caractere individuale. Fiecare token e apoi transformat într-un șir de numere — modelul lucrează exclusiv cu aceste numere, niciodată direct cu litere.
Pasul 2 — „Vectorii" de sens (embeddings)
Fiecare token e transformat într-un vector — o listă lungă de numere care reprezintă „sensul" acelui token. Cuvinte cu sensuri similare ajung să aibă vectori matematic apropiați — „pisică" și „câine" sunt mai apropiate decât „pisică" și „calculator".
Pasul 3 — Mecanismul de atenție (attention)
Aici se află inovația centrală, introdusă prin arhitectura Transformer (2017). „Atenția" permite modelului să cântărească cât de relevant e fiecare alt cuvânt din context pentru înțelegerea cuvântului curent — de exemplu, pentru a înțelege la ce se referă un pronume, modelul „acordă atenție" mai mare substantivului corespunzător.
Pasul 4 — Predicția următorului token
La bază, un model de limbaj prezice cel mai probabil token următor, dat fiind tot textul de până atunci. Nu „gândește" un răspuns complet dintr-o dată — îl construiește token cu token. Asta explică de ce poate „inventa" informații care sună plauzibil, dar nu sunt neapărat corecte.
Pasul 5 — Antrenarea
Înainte de a putea prezice orice, modelul trece prin antrenare pe cantități uriașe de text — cărți, articole, cod sursă. De fiecare dată când greșește predicția, parametrii lui interni sunt ajustați ușor. Acest proces se repetă de un număr astronomic de ori.
Pasul 6 — Ajustarea fină și feedback uman
Un model antrenat doar să prezică cuvântul următor ar fi greu de controlat. De aceea, majoritatea sistemelor trec prin fine-tuning, folosind feedback direct de la oameni, care evaluează răspunsurile, ajutând modelul să învețe ce e preferat.
De ce modelul „halucinează" uneori
„Halucinația" înseamnă generarea de informații plauzibile, dar incorecte. Modelul nu consultă o bază de „fapte verificate" — generează text pe baza tiparelor statistice, iar uneori tiparul cel mai probabil nu corespunde adevărului factual.
De ce modelul nu „își amintește" conversații anterioare
Majoritatea modelelor nu au memorie persistentă între conversații separate — fiecare pornește „de la zero", decât dacă sistemul oferă explicit o funcție de memorie salvată separat.
Concluzie
Un model de limbaj mare nu gândește în sensul uman — transformă text în numere, calculează relații contextuale prin mecanisme de atenție, și prezice, token cu token, cea mai probabilă continuare. Înțelegerea acestui proces te ajută să folosești aceste unelte cu discernământ.
Articole conexe