Сьогодні Meta випустила дві менші моделі на базі Llama 3. Одна з них має 8 мільярдів параметрів і набрала 82 бали MMLU – галузевої метрики, що вимірює силу моделі.
Лекун розповів, що в даний час розробляються більші версії, в тому числі з 400 мільярдами параметрів. Він очікує, що ці більші моделі будуть потужнішими і підтримуватимуть більше мов і модальностей.
Що таке модель Meta Llama 3?
Компанія Meta випустила модель Llama 3 як пропозицію генеративного ШІ. Компанія Meta рекламує її як найкращу модель з відкритим вихідним кодом і стверджує, що вона перевершує всі інші моделі генеративного ШІ, доступні на сьогоднішній день. Llama 3 може генерувати зображення і текст, і навіть може бути навчена спеціально для певного домену або сценарію використання; також можна очікувати швидшої та ефективнішої роботи, ніж у його попередника, Llama 2.
За даними компанії, Llama 3 може похвалитися 8 або 70 мільярдами параметрів і може підтримувати генерацію мови, класифікацію, вилучення інформації, відповіді на запитання на основі контенту, дослідження і розробки, а також відповіді на запитання на основі контенту. Тепер його можна завантажити з Databricks, Amazon Web Services, Google Cloud Platform та Microsoft Azure.
Llama 3 затьмарив свого попередника за різними бенчмарками, як стверджують його творці, згідно зі звітами їхньої компанії. Навчена на в сім разів більшому наборі даних, ніж використовувався в Llama 2, ця модель може давати більш нюансовані відповіді в таких сферах, як розмовний ШІ та генерація природної мови, порівняно зі своєю попередницею Llama 2, а також конкурувати з флагманськими моделями генеративного ШІ, такими як GPT-3.5 від OpenAI та Google Gemini 1.5 Pro – за їхніми словами!
Мета планує з часом випустити більш просунуті варіанти Llama 3, включаючи ті, що здатні створювати зображення, виводити текст тощо. Ці пізніші моделі повинні дозволити Meta відповідати на більш складні запити, розробляючи багатокрокові плани більш ефективно, заявили в компанії.
Ці варіанти будуть найсучаснішими; однак, також випускаються опції тюнінгу від Colab Enterprise, щоб користувачі могли налаштувати та оптимізувати ці моделі за власними даними. Це схоже на те, як Llama 2 і Guard 2 були оптимізовані з урахуванням специфічних для домену даних для кастомізації; таким чином були створені унікальні версії.
Підхід Meta до регулярного випуску малих і великих моделей Llama 3 свідчить про її прагнення зберегти лідерство в галузі генеративного ШІ з відкритим вихідним кодом. Крім того, ця стратегія підкреслює її цінність для підприємств, які шукають різні моделі, пристосовані для конкретних випадків використання.
Які особливості моделі Llama 3?
Модель Llama 3 від Meta була навчена на величезному наборі даних, що включає 15Т токенів багатомовного контенту, згідно з даними Meta. Ця величезна кількість даних дозволила новій моделі досягти успіху в таких завданнях, як класифікація тексту, відповіді на закриті запитання, кодування творчого письма, вилучення інформації про персонаж/персонажа, що живе в ньому, узагальнення міркувань. Крім того, були також включені інші вдосконалення, такі як додавання токенізатора на основі Tiktoken, що збільшило словниковий запас до 128 тис. токенів.
Компанія стверджує, що їхня модель Llama 3 перевершила інші пристрої в таких тестах, як MMLU (знання на рівні бакалаврату), GSM-8K (математика для початкової школи), GPQA і HumanEval; перевершила такі моделі, як Google Gemma 7B Instruct і Mistral Medium в різних випадках використання, а також перевершила Claude Sonnet, Gemini Pro 1.5 і останнє покоління GPT-4 від Google в деяких тестах.
Сімейство мовних моделей Llama 3 включає варіанти з попередньо навченими параметрами 8B і 70B, а також варіанти, що налаштовуються за допомогою інструкцій. За словами Meta, моделі, налаштовані на інструкції, оптимізовані для діалогових сценаріїв використання і перевершують багато моделей чатів з відкритим вихідним кодом у загальних галузевих тестах. Крім того, ці моделі також мають архітектуру розмовного потоку, яка допомагає моделі краще розуміти природну неструктуровану мову та швидше реагувати на підказки.
Компанія повідомляє, що її нова модель не лише перевершує ці показники, але й може похвалитися зниженою “частотою галюцинацій”, тобто неточністю у створенні запитів користувачів. Крім того, цей багатомовний механізм аналізу мовлення може розпізнавати як природні, так і синтетичні форми мовлення, легко обробляючи природні паузи, скорочення та сленг.
Наразі Meta працює над більшими, більш досконалими моделями Llama 3 з 400 мільярдами параметрів і підтримкою багатьох мов і модальностей; вони будуть випущені пізніше цього року. Meta планує зробити ці вдосконалені моделі Llama загальнодоступними, сподіваючись, що розробники використовуватимуть їх для створення додатків власного дизайну; крім того, оновлена версія Meta AI, яка зараз працює в пошукових рядках Instagram, Facebook і WhatsApp, використовуватиме ці моделі в якості основи для своєї роботи.
Які переваги має модель Llama 3?
Модель Llama 3 від Meta – це вдосконалене рішення для штучного інтелекту, що забезпечує підвищену продуктивність і покращений користувацький досвід. Широкі можливості застосування роблять його розумним вибором – наприклад, аналіз настроїв, класифікація даних і завдання мовного перекладу – як для бізнесу, так і для приватних осіб.
Модель Llama 3 можна безкоштовно завантажити з сайту Meta з двома доступними розмірами параметрів: 8 мільярдів і 70 мільярдів відповідно. Крім того, його високопродуктивна архітектура оптимізована для найкращої роботи з обладнанням Intel, таким як прискорювачі штучного інтелекту Gaudi та процесори Xeon, що забезпечує максимальну продуктивність.
Компанія Meta повідомила, що її модель Llama 3 перевершила свою попередницю в таких бенчмарках, як MMLU, ARC і DROP, а також показала хороші результати за іншими стандартними показниками оцінки ШІ. Крім того, прозорість проекту дозволяє користувачам спостерігати за тим, як він досягає своїх результатів.
Крім того, ця модель може обробляти великі обсяги даних, залишаючись при цьому масштабованою на різних обчислювальних платформах, що робить її зручною для розробників, які працюють над різними проектами. Крім того, його точність забезпечує важливі бізнес-додатки.
Ця модель може працювати з вражаючою кількістю мов і легко адаптується до конкретних вимог. Крім того, модель оснащена засобами безпеки Llama Guard і CybersecEval, призначеними для мінімізації ризиків.
Крім того, ця модель була попередньо навчена на в сім разів більшому наборі даних, ніж її попередниця. Завдяки навчанню на більш ніж 15 трильйонів токенів і багатомовним сценаріям, які є основним напрямком роботи – на сьогоднішній день це найкраща модель у своїй категорії!
Однак така експансивна модель створює певні виклики. Однією з таких перешкод є потреба у значних обчислювальних ресурсах під час навчання та доопрацювання – це призводить до значних викидів вуглецю, пов’язаних з процесом його створення. Щоб пом’якшити цю проблему, Meta застосувала етичний підхід до свого створення, компенсуючи викиди вуглецю, пов’язані з навчальними процесами, як частину свого плану розвитку. Більше того, Meta зробила свою модель вільно доступною для розробників по всьому світу для тестування та вдосконалення.
Які недоліки має модель Llama 3?
Як і всі великі мовні моделі, Llama 3 може мати деякі обмеження. Навчання цієї моделі вимагає часу і грошей; для отримання оптимальних результатів необхідно зібрати кілька навчальних прикладів, що може виявитися трудомістким і дорогим. Крім того, його реакція може стати надмірно чутливою до певних слів або фраз, що може викликати несподівані реакції.
Хоча ШІ-моделювання має певні обмеження, воно залишається ефективним ресурсом для розробників і компаній, які прагнуть створювати додатки на основі штучного інтелекту. Ця модель не лише скорочує час і витрати на розробку, але й дозволяє розробникам налаштовувати користувацький досвід, що може виявитися особливо корисним у таких галузях, як фінансові послуги, охорона здоров’я, роздрібна торгівля тощо.
Meta представила кілька модифікацій своєї моделі Llama 3, таких як зменшення кількості необхідних параметрів і прискорення роботи. Крім того, було впроваджено підтримку мультимодальних входів, які дозволяють додавати зображення або аудіокліпи безпосередньо до текстового виводу для творчих занять, таких як написання музики або поетичних творів. Крім того, природний діалог між користувачами та машинами також може принести користь.
Мета розширила процес пост-тренінгу за межі простого зменшення параметрів моделі, створивши нові методи налаштування, такі як контрольоване точне налаштування та навчання з підкріпленням за допомогою зворотного зв’язку з людиною, щоб оптимізувати загальну продуктивність. Крім того, Meta стверджує, що їхня модель Llama 3 має кращу вибірку відхилень, що означає меншу кількість помилкових результатів.
Компанія також випустила демонстраційні ролики, що показують модель Llama 3 в дії, наприклад, відповіді на запитання, виконання завдань і дотримання інструкцій. Ви можете переглянути ці демо-версії на їхньому сайті.
Рішення Meta випустити свою модель Llama 3 з відкритим вихідним кодом може стати вагомою заявою про їхню позицію в галузі та заохотити інші компанії наслідувати цей приклад, ще більше знизивши бар’єри входу для розробників і спростивши інтеграцію ШІ для виробників продуктів.
Ви зацікавлені в розгортанні моделей Llama 3? Зв’яжіться з нами!
