Zilele trecute, prin presă, a circulat vestea că DeepSeek a extras cunoștințele ChatGPT utilizând tehnica distilării. Acest mini articol își propune să explice, scurt, la obiect și pe înțelesul tuturor ce este tehnica distilării și care sunt beneficiile și limitele.

Tehnica distilării presupune că un student (în cazul de față DeepSeek) învață de la un profesor foarte experimentat (în cazul de față ChatGPT). Studentul a învățat din rezultatele ChatGPT, iar nu din datele de antrenament. ChatGPT este un model închis și nu open-source, iar datele nu pot fi accesate. DeepSeek nu a extras toate cunoștințele ChatGPT (adică datele de antrenament) deoarece nu a avut acces la acestea și nici nu le-a accesat în mod ilegal. Ceea ce a făcut a fost să trimită input-uri pe scară largă și să își antreneze propriul model cu output-urile generate de ChatGPT. Așa cum un elev învață din ce spune un profesor, la fel și DeepSeek a învățat din ce a „spus” ChatGPT.

Tocmai de aceea există limite. Din moment ce elevul nu a avut acces la tot knowhow-ul profesorului, adică la datele de antrenament, elevul va avea limite. De exemplu, el nu va performa la fel de bine la profesorul pe anumite subiecte sau pe anumite sarcini complexe. Totuși, pe anumite subiecte poate fi mai bun deoarece a fost antrenat cu informații specifice sau pentru anumite tipuri de întrebări. În plus, fiind mai mic decât ChatGPT, DeepSeek rulează mai rapid și consumă mai puține resurse, ceea ce îl face mai eficient în practică.

Paradoxal, deși DeepSeek poate atinge performanțe mai bune în domenii unde a fost pregătit intensiv sau optimizat suplimentar, poate să „scârțâie” în alte domenii unde ChatGPT are know-how, iar DeepSeek nu. Această limitare apare deoarece DeepSeek nu a copiat tot bagajul de cunoștințe al profesorului, ci doar o parte din „esența” acestui bagaj – acea parte care a fost extrasă din rezultatele generate de profesor.

Cum te pot ajuta?

• Vrei să afli mai multe despre cum se aplică AI Act în practică? Înscrie-te la evenimentele noastre viitoare aici.
• Dorești să externalizezi implementarea GDPR sau AI Act către un profesionist? Completează formularul de pe site-ul meu.