Meta a lancé aujourd’hui deux petits modèles alimentés par Llama 3. One compte 8 milliards de paramètres et a obtenu un score MMLU de 82 – une mesure de l’industrie qui évalue la force du modèle.
LeCun a révélé que des versions plus grandes, dont une avec 400 milliards de paramètres, sont actuellement en cours de développement. Il prévoit que ces modèles plus grands seront plus puissants et prendront en charge un plus grand nombre de langues et de modalités.
Qu’est-ce que le modèle Meta Llama 3 ?
Meta a lancé son modèle Llama 3, son offre d’IA générative. Meta l’a présenté comme le meilleur modèle open source disponible et affirme qu’il surpasse tous les autres modèles d’IA générative disponibles aujourd’hui. Le Llama 3 peut générer des images et du texte et peut même être formé spécifiquement à un domaine ou à un cas d’utilisation ; on peut également s’attendre à des performances plus rapides et plus efficaces que celles de son prédécesseur, le Llama 2.
Selon l’entreprise, Llama 3 compte 8 milliards ou 70 milliards de paramètres et peut prendre en charge la génération de langage, la classification, l’extraction d’informations, la réponse à des questions fondées sur le contenu, la recherche et le développement ainsi que la réponse à des questions fondées sur le contenu. Il peut désormais être téléchargé pour être utilisé à partir de Databricks, Amazon Web Services, Google Cloud Platform et Microsoft Azure.
D’après ses créateurs, le Llama 3 a surpassé son prédécesseur sur divers critères de référence, selon les rapports de leur entreprise. Entraîné sur un ensemble de données sept fois plus important que celui utilisé avec Llama 2, ce modèle peut produire des réponses plus nuancées dans des domaines tels que l’IA conversationnelle et la génération de langage naturel par rapport à son prédécesseur Llama 2. Il peut également rivaliser avec des modèles d’IA générative de premier plan tels que les modèles GPT-3.5 d’OpenAI et Gemini 1.5 Pro de Google – d’après eux !
Meta prévoit de lancer des variantes plus avancées de Llama 3 au fil du temps, y compris des variantes capables de créer des images, du texte et plus encore. Ces derniers modèles devraient permettre à Meta de répondre à des demandes plus sophistiquées tout en développant des plans en plusieurs étapes de manière plus efficace, a déclaré l’entreprise.
Ces variantes seront à la pointe de la technologie, mais les options de réglage de Colab Enterprise sont également disponibles pour permettre aux utilisateurs de personnaliser et d’optimiser ces modèles à l’aide de leurs propres données. C’est de la même manière que Llama 2 et Guard 2 ont été optimisés avec des données spécifiques au domaine pour la personnalisation, créant ainsi des versions uniques.
L’approche de Meta, qui consiste à publier régulièrement de petits et grands modèles de Llama 3, montre son engagement à maintenir son avance dans le domaine de l’IA générative open source. En outre, cette stratégie souligne sa valeur pour les entreprises qui recherchent différents modèles adaptés à des cas d’utilisation spécifiques.
Quelles sont les caractéristiques du modèle Llama 3 ?
Le modèle Llama 3 de Meta a été entraîné sur un énorme ensemble de données, comprenant 15T tokens de contenu multilingue, selon Meta. Cette masse de données a permis à son nouveau modèle d’exceller dans des tâches telles que la classification de textes, la réponse à des questions fermées, le codage de l’écriture créative, l’extraction d’informations, l’habillage d’un personnage, le raisonnement et la synthèse. En outre, d’autres améliorations ont été apportées, comme l’ajout d’un tokenizer basé sur Tiktoken qui permet d’augmenter le vocabulaire jusqu’à 128k tokens.
L’entreprise affirme que son modèle Llama 3 a surpassé d’autres appareils sur des critères de référence tels que MMLU (connaissances de niveau licence), GSM-8K (mathématiques de niveau primaire), GPQA et HumanEval ; surpassant des modèles tels que Google Gemma 7B Instruct et Mistral Medium dans divers cas d’utilisation, ainsi que Claude Sonnet, Gemini Pro 1.5 et la dernière génération GPT-4 de Google sur certains critères de référence.
La famille de modèles linguistiques Llama 3 comprend des variantes pré-entraînées avec des paramètres 8B et 70B, ainsi que des variantes adaptées aux instructions. Selon Meta, les modèles d’instruction sont optimisés pour les cas d’utilisation du dialogue et surpassent de nombreux modèles de chat open source sur des critères de référence communs à l’industrie. En outre, ces modèles sont dotés d’une architecture de flux conversationnel qui aide le modèle à mieux comprendre les discours naturels non structurés tout en répondant plus rapidement aux invites.
En plus d’exceller dans ces domaines, l’entreprise indique que son nouveau modèle se targue également de réduire le “taux d’hallucination”, c’est-à-dire l’inexactitude des requêtes de l’utilisateur. En outre, ce moteur d’analyse vocale multilingue peut reconnaître des formes de discours naturelles et synthétiques, tout en gérant facilement les pauses naturelles, les contractions et l’argot.
Meta travaille actuellement sur des modèles Llama 3 plus grands et plus avancés, avec 400 milliards de paramètres et la prise en charge de plusieurs langues et modalités ; ces modèles seront mis sur le marché dans le courant de l’année. Meta prévoit de rendre ces modèles Llama plus avancés accessibles au public, en espérant qu’ils seront utilisés par les développeurs pour alimenter des applications de leur propre conception. En outre, une version améliorée de Meta AI, qui alimente actuellement les barres de recherche sur Instagram, Facebook et WhatsApp, s’appuiera sur ces modèles.
Quels sont les avantages du modèle Llama 3 ?
Le modèle Llama 3 de Meta est une solution d’IA avancée, qui offre des performances et une expérience utilisateur améliorées. Adaptées aux entreprises comme aux particuliers, ses nombreuses applications en font un choix judicieux, notamment pour l’analyse des sentiments, la classification des données et les tâches de traduction.
Le modèle Llama 3 peut être téléchargé gratuitement à partir du site Meta. Deux tailles de paramètres sont disponibles, 8 milliards et 70 milliards respectivement. De plus, son architecture haute performance est optimisée pour fonctionner au mieux avec le matériel Intel, comme les accélérateurs Gaudi AI et les processeurs Xeon, pour des performances maximales.
Meta a indiqué que son modèle Llama 3 surpassait son prédécesseur sur des critères de référence tels que MMLU, ARC et DROP, tout en obtenant de bons résultats sur d’autres mesures d’évaluation standard de l’IA. En outre, sa transparence permet aux utilisateurs d’observer comment il parvient à ses résultats.
En outre, ce modèle peut traiter de grands volumes de données tout en restant évolutif sur différentes plateformes informatiques, ce qui le rend pratique pour les développeurs travaillant sur différents projets. En outre, sa précision permet des applications commerciales cruciales.
Ce modèle peut traiter une variété impressionnante de langues et s’adapter facilement à des exigences spécifiques. En outre, le modèle est doté des mesures de sécurité Llama Guard et CybersecEval, conçues pour minimiser les risques.
En outre, ce modèle a été pré-entraîné sur un ensemble de données sept fois plus important que son prédécesseur. Avec une formation réalisée sur plus de 15 trillions de tokens et des scénarios multilingues comme point de mire, il détient actuellement la place de meilleur modèle dans sa catégorie !
Toutefois, un modèle aussi étendu présente certains défis. L’un de ces obstacles est la nécessité d’utiliser d’importantes ressources informatiques pour l’entraînement et le réglage fin, ce qui se traduit par des émissions de carbone significatives associées à son processus de création. Pour atténuer ce problème, Meta a adopté une approche éthique de sa création en compensant les émissions de carbone associées aux processus de formation dans le cadre de son plan de développement. En outre, Meta a mis son modèle à la disposition des développeurs du monde entier pour qu’ils le testent et l’affinent.
Quels sont les inconvénients du modèle Llama 3 ?
Comme tous les grands modèles linguistiques, Llama 3 peut souffrir de certaines limitations. La formation de ce modèle prend du temps et de l’argent ; pour obtenir des résultats optimaux, de nombreux exemples de formation doivent être collectés, ce qui peut s’avérer long ou coûteux. En outre, ses réponses pourraient devenir trop sensibles à certains mots ou phrases, ce qui pourrait entraîner des réponses inattendues.
Bien que la modélisation de l’IA présente certaines limites, elle reste une ressource efficace pour les développeurs et les entreprises qui cherchent à créer des applications basées sur l’IA. Ce modèle permet non seulement de réduire les délais et les coûts de développement, mais aussi de personnaliser l’expérience de l’utilisateur, ce qui peut s’avérer particulièrement utile dans des secteurs tels que les services financiers, les soins de santé, la vente au détail, etc.
Meta a apporté plusieurs modifications à son modèle Llama 3, notamment en réduisant le nombre de paramètres nécessaires et en accélérant les performances. En outre, la prise en charge des entrées multimodales a été introduite, ce qui permet d’ajouter des images ou des clips audio directement à la sortie du texte pour des activités créatives telles que l’écriture de musique ou la composition de poèmes. En outre, le dialogue naturel entre les utilisateurs et les machines peut également en bénéficier.
Meta a élargi son processus de post-entraînement au-delà de la simple diminution des paramètres du modèle en créant de nouvelles techniques de réglage telles que le réglage fin supervisé et l’apprentissage par renforcement avec retour d’information humain afin d’optimiser ses performances globales. En outre, Meta affirme que son modèle Llama 3 a un meilleur échantillonnage de rejet, ce qui signifie qu’il y a moins de sorties incorrectes.
L’entreprise a également publié des démonstrations montrant le modèle Llama 3 en action, notamment en répondant à des questions, en accomplissant des tâches et en suivant des instructions. Vous pouvez visionner ces démonstrations sur leur site web.
La décision de Meta de publier son modèle Llama 3 en open source pourrait avoir un impact sur sa position dans l’industrie et encourager d’autres entreprises à faire de même, en abaissant encore les barrières à l’entrée pour les développeurs tout en simplifiant l’intégration de l’IA pour les fabricants de produits.
Êtes-vous intéressé par le déploiement des modèles Llama 3 ? Nous contacter!
