Meta ha rilasciato due modelli più piccoli alimentati da Llama 3. Uno ha 8 miliardi di parametri e ha ottenuto un punteggio di 82 MMLU, una metrica del settore che misura la forza del modello.
LeCun ha rivelato che sono attualmente in fase di sviluppo versioni più grandi, tra cui una con 400 miliardi di parametri. Prevede che questi modelli più grandi saranno più potenti e supporteranno più lingue e modalità.
Qual è il modello Meta Llama 3?
Meta ha rilasciato il modello Llama 3 come offerta di AI generativa. Meta lo ha definito il miglior modello open source disponibile e sostiene che supera tutti gli altri modelli di IA generativa oggi disponibili. Il Llama 3 è in grado di generare immagini e testi e può essere addestrato in modo specifico per un dominio o un caso d’uso; inoltre, ci si aspettano prestazioni più veloci ed efficienti rispetto al suo predecessore, il Llama 2.
Secondo l’azienda, Llama 3 vanta un numero di parametri pari a 8 miliardi o 70 miliardi e può supportare la generazione del linguaggio, la classificazione, l’estrazione di informazioni, la risposta a domande basate sul contenuto, la ricerca e lo sviluppo e la risposta a domande basate sul contenuto. Ora può essere scaricato per l’uso da Databricks, Amazon Web Services, Google Cloud Platform e Microsoft Azure.
Secondo i suoi creatori, Llama 3 ha superato il suo predecessore in vari benchmark, secondo quanto riportato dalla loro azienda. Addestrato su un set di dati sette volte più grande di quello utilizzato con Llama 2, questo modello è in grado di produrre risposte più sfumate in aree come l’IA conversazionale e la generazione di linguaggio naturale rispetto al suo predecessore Llama 2, oltre a competere con modelli di IA generativa di punta come GPT-3.5 di OpenAI e Google Gemini 1.5 Pro – secondo loro!
Meta ha in programma di rilasciare nel tempo varianti di Llama 3 più avanzate, tra cui quelle in grado di creare immagini, testi e altro ancora. Questi modelli più recenti dovrebbero consentire a Meta di rispondere a richieste più sofisticate e di sviluppare piani in più fasi in modo più efficace, ha dichiarato l’azienda.
Queste varianti saranno all’avanguardia; tuttavia, sono state rilasciate anche le opzioni di tuning di Colab Enterprise per consentire agli utenti di personalizzare e ottimizzare questi modelli con i propri dati. È simile al modo in cui Llama 2 e Guard 2 sono stati ottimizzati con dati specifici del dominio per la personalizzazione, creando così versioni uniche.
L’approccio di Meta, che prevede il rilascio regolare di modelli Llama 3 di piccole e grandi dimensioni, dimostra il suo impegno a mantenere la leadership nell’IA generativa open source. Inoltre, questa strategia sottolinea il suo valore per le aziende che cercano vari modelli personalizzati per casi d’uso specifici.
Quali sono le caratteristiche del modello Llama 3?
Il modello Llama 3 di Meta è stato addestrato su un enorme set di dati, che comprende 15T token di contenuti multilingue, secondo Meta. Questa enorme quantità di dati ha permesso al nuovo modello di eccellere in compiti quali la classificazione del testo, la risposta a domande chiuse, la codifica della scrittura creativa e l’estrazione di informazioni che abitano la persona/il personaggio che abitano la sintesi del ragionamento. Inoltre, sono stati inclusi altri miglioramenti come l’aggiunta di un tokenizer basato su Tiktoken che ha aumentato il vocabolario fino a 128k tokens.
L’azienda afferma che il modello Llama 3 ha superato altri dispositivi in benchmark come MMLU (conoscenza a livello universitario), GSM-8K (matematica a livello elementare), GPQA e HumanEval; ha superato modelli come Google Gemma 7B Instruct e Mistral Medium in vari casi d’uso e ha superato Claude Sonnet, Gemini Pro 1.5 e l’ultima generazione GPT-4 di Google in alcuni benchmark.
La famiglia di modelli linguistici Llama 3 comprende sia varianti pre-addestrate a 8B e 70B parametri, sia varianti ottimizzate per le istruzioni. Secondo Meta, i modelli di istruzione sono ottimizzati per i casi d’uso del dialogo e superano molti modelli di chat open source su benchmark comuni del settore. Inoltre, questi modelli presentano anche un’architettura a flusso conversazionale che aiuta il modello a comprendere meglio il parlato naturale non strutturato e a rispondere più prontamente alle richieste.
Oltre a eccellere in questi parametri, l’azienda riferisce che il suo nuovo modello vanta anche una riduzione del “tasso di allucinazione”, ovvero dell’imprecisione nel produrre le query degli utenti. Inoltre, questo motore di analisi vocale multilingue è in grado di riconoscere forme di parlato sia naturali che sintetiche, gestendo con facilità pause naturali, contrazioni e slang.
Meta sta attualmente lavorando a modelli di Llama 3 più grandi e avanzati, con 400 miliardi di parametri e il supporto di più lingue e modalità; questi saranno rilasciati nel corso dell’anno. Meta ha intenzione di rendere pubblicamente accessibili questi modelli di Llama più avanzati, sperando che vengano utilizzati dagli sviluppatori per alimentare applicazioni di loro ideazione; inoltre, una versione aggiornata di Meta AI, che attualmente alimenta le barre di ricerca su Instagram, Facebook e WhatsApp, utilizzerà questi modelli come base.
Quali sono i vantaggi del modello Llama 3?
Il modello Llama 3 di Meta è una soluzione AI avanzata, che offre prestazioni migliori e una migliore esperienza utente. Adatta sia alle aziende che ai privati, le sue numerose applicazioni la rendono una scelta intelligente, come l’analisi del sentimento, la classificazione dei dati e le attività di traduzione linguistica.
Il modello Llama 3 può essere scaricato gratuitamente da Meta con due dimensioni di parametri disponibili, rispettivamente 8 miliardi e 70 miliardi. Inoltre, la sua architettura ad alte prestazioni è ottimizzata per funzionare al meglio sull’hardware Intel, come gli acceleratori Gaudi AI e i processori Xeon, per ottenere il massimo delle prestazioni.
Meta ha dichiarato che il suo modello Llama 3 ha superato il suo predecessore in benchmark come MMLU, ARC e DROP e ha ottenuto buoni risultati anche in altre metriche standard di valutazione dell’intelligenza artificiale. Inoltre, la sua trasparenza permette agli utenti di osservare come arriva ai suoi risultati.
Inoltre, questo modello è in grado di gestire grandi volumi di dati rimanendo scalabile su diverse piattaforme informatiche, il che lo rende comodo per gli sviluppatori che lavorano a diversi progetti. Inoltre, la sua accuratezza fornisce applicazioni aziendali cruciali.
Questo modello è in grado di gestire un’impressionante varietà di lingue e di adattarsi facilmente a requisiti specifici. Inoltre, il modello è dotato di misure di sicurezza Llama Guard e CybersecEval, progettate per ridurre al minimo i rischi.
Inoltre, questo modello è stato pre-addestrato su un set di dati sette volte più grande del suo predecessore. Con un addestramento completato su oltre 15 trilioni di token e scenari multilingue come punto focale, attualmente detiene il primato di miglior modello della sua categoria!
Tuttavia, un modello così esteso presenta alcune sfide. Uno di questi ostacoli è la necessità di ingenti risorse computazionali durante l’addestramento e la messa a punto, con conseguenti significative emissioni di carbonio associate al processo di creazione. Per mitigare questo problema, Meta ha adottato un approccio etico alla sua creazione, compensando le emissioni di carbonio associate ai processi di formazione come parte del suo piano di sviluppo. Inoltre, Meta ha messo il suo modello a disposizione degli sviluppatori di tutto il mondo per testarlo e perfezionarlo.
Quali sono gli svantaggi del modello Llama 3?
Come tutti i modelli linguistici di grandi dimensioni, Llama 3 può soffrire di alcune limitazioni. L’addestramento di questo modello richiede tempo e denaro; per ottenere risultati ottimali, è necessario raccogliere più esempi di addestramento, il che può rivelarsi dispendioso in termini di tempo e denaro. Inoltre, le sue risposte potrebbero diventare ipersensibili a determinate parole o frasi che potrebbero causare risposte inaspettate.
Sebbene la modellazione AI presenti alcune limitazioni, rimane una risorsa efficace per gli sviluppatori e le aziende che desiderano creare applicazioni basate sull’AI. Questo modello non solo riduce i tempi e i costi di sviluppo, ma consente anche agli sviluppatori di personalizzare l’esperienza dell’utente, cosa che può rivelarsi particolarmente utile in settori quali i servizi finanziari, la sanità, la vendita al dettaglio ecc.
Meta ha introdotto diverse modifiche al suo modello Llama 3, come la riduzione del numero di parametri necessari e la velocizzazione delle prestazioni. Inoltre, è stato introdotto il supporto per gli input multimodali che possono aggiungere immagini o clip audio direttamente nell’output di testo per attività creative come la scrittura di musica o la composizione di poesie. Inoltre, anche il dialogo naturale tra utenti e macchine può trarre beneficio.
Meta ha ampliato il processo di post-training al di là della semplice diminuzione dei parametri del modello, creando nuove tecniche di messa a punto come il fine-tuning supervisionato e l’apprendimento per rinforzo con feedback umano per ottimizzare le prestazioni complessive. Inoltre, Meta sostiene che il suo modello Llama 3 ha un migliore campionamento di scarto, il che significa un minor numero di uscite errate.
L’azienda ha anche pubblicato delle dimostrazioni che mostrano il modello Llama 3 in azione, come rispondere a domande, completare compiti e seguire istruzioni. Puoi vedere queste dimostrazioni sul loro sito web.
La decisione di Meta di rilasciare il modello Llama 3 come open source potrebbe avere un forte impatto sulla posizione del settore e incoraggiare altre aziende a seguirne l’esempio, abbassando ulteriormente le barriere di ingresso per gli sviluppatori e semplificando l’integrazione dell’intelligenza artificiale per i produttori di prodotti.
Sei interessato a distribuire i modelli Llama 3? Contattaci!
