Meta 今天发布了两款采用 Llama 3 技术的较小机型。 其中一个有 80 亿个参数，MMLU 得分为 82 分，这是衡量模型强度的行业标准。
LeCun 透露，目前正在开发更大的版本，包括拥有 4000 亿个参数的版本。 他预计，这些更大的模型将更加强大，同时支持更多的语言和模式。
Meta Llama 3 是什么型号？
Meta 发布了其生成式人工智能产品 Llama 3 模型。 Meta 将其吹捧为目前最好的开源模型，并声称它胜过目前任何其他生成式人工智能模型。 Llama 3 可以生成图像和文本，甚至可以根据某个领域或使用案例进行专门训练；与前一代 Llama 2 相比，其性能有望更快、更高效。
据该公司称，Llama 3 拥有 80 亿或 700 亿个参数，可支持语言生成、分类、信息提取、基于内容的问题解答、研究与开发以及基于内容的问题解答。 现在可以从 Databricks、亚马逊网络服务、谷歌云平台和微软 Azure 下载使用。
据 Llama 3 的创造者称，根据他们公司的报告，Llama 3 在各种基准测试中都优于前代产品。 该模型在比 Llama 2 大七倍的数据集上进行了训练，与前代 Llama 2 相比，它能在对话式人工智能和自然语言生成等领域做出更细致入微的反应，并能与 OpenAI 的 GPT-3.5 和 Google Gemini 1.5 Pro 模型等旗舰生成式人工智能模型相抗衡！
Meta 还计划陆续推出更先进的 Llama 3 变体，包括能够同时创建图像和文本输出的变体等。 该公司表示，这些较新的模式将使 Meta 能够处理更复杂的查询，同时更有效地制定多步骤计划。
这些变体将是最先进的；不过，Colab Enterprise 的 “调整选项 “也将发布，用户可以使用自己的数据对这些模型进行定制和优化。 这类似于《Llama 2》和《Guard 2》利用特定域数据进行定制优化，从而创造出独特的版本。
Meta 定期发布小型和大型 Llama 3 模型的做法表明，它致力于保持在开源生成式人工智能领域的领先地位。 此外，这一战略还凸显了其对寻求为特定用例量身定制各种模式的企业的价值。
Llama 3 型号有哪些特点？
据 Meta 公司称，Meta 的 Llama 3 模型是在一个庞大的数据集上训练出来的，其中包括 15T 个多语言内容的标记。 海量数据使其新模型在文本分类、封闭式问题解答、编码创意写作、提取栖息在角色/人物中的信息、推理总结等任务中表现出色。 此外，还包括其他增强功能，例如添加了基于 Tiktoken 的标记器，可将词汇量增加到 128k 个标记。
该公司声称，他们的 Llama 3 型号在 MMLU（本科生水平的知识）、GSM-8K（小学数学）、GPQA 和 HumanEval 等基准测试中胜过其他设备；在各种使用情况下胜过谷歌 Gemma 7B Instruct 和 Mistral Medium 等型号，并在某些基准测试中胜过 Claude Sonnet、Gemini Pro 1.5 和谷歌最新的 GPT-4 代。
Llama 3 语言模型系列包括 8B 和 70B 参数预训练和指令调整变体。 据 Meta 称，指令调整模型针对对话用例进行了优化，在常见的行业基准上优于许多开源聊天模型。 此外，这些模型还具有会话流架构，可帮助模型更好地理解自然的非结构化语音，同时更迅速地响应提示。
除了在这些基准测试中表现出色外，该公司还报告说，其新机型还降低了 “幻觉率 “或用户查询的不准确性。 此外，该多语言语音分析引擎还能识别自然语音和合成语音，并轻松处理自然停顿、缩略语和俚语。
Meta 目前正在开发更大、更先进的 Llama 3 模型，这些模型具有 4000 亿个参数，支持多种语言和模式，将于今年晚些时候发布。 Meta 计划向公众开放这些更先进的 Llama 模型，希望它们能被开发者用于开发自己设计的应用程序；此外，目前为 Instagram、Facebook 和 WhatsApp 的搜索栏提供支持的 Meta AI 升级版也将以这些模型为基础。
Llama 3 型号有哪些优势？
Meta 的 Llama 3 型号是一种先进的人工智能解决方案，可提供更强的性能和更佳的用户体验。 它适用于企业和个人，广泛的应用使其成为明智的选择，例如情感分析、数据分类和语言翻译任务。
Llama 3 模型可从 Meta 免费下载，有两种参数大小可供选择，分别为 80 亿和 700 亿。 此外，其高性能架构经过优化，可在英特尔硬件（如高迪人工智能加速器和至强处理器）上发挥最佳性能。
Meta 公司报告称，其 Llama 3 模型在 MMLU、ARC 和 DROP 等基准测试中的表现优于前代产品，同时在其他标准人工智能评估指标上也表现出色。 此外，它的透明度还能让用户观察到它是如何实现输出的。
此外，这种模式可以处理大量数据，同时在不同的计算平台上保持可扩展性，为开发人员开展各种项目提供了便利。 此外，它的准确性还提供了重要的商业应用。
该机型可处理的语言种类繁多，可轻松满足特定要求。 此外，该机型还采用了 Llama Guard 和 CybersecEval 安全措施，旨在最大限度地降低风险。
此外，该模型在一个比其前身大七倍的数据集上进行了预训练。 仅在超过 15 万亿个词库上完成的训练和多语言场景就是它的重点–事实上，它目前在同类产品中占据着最佳模型的位置！
然而，这种扩展模式也带来了一定的挑战。 其中一个障碍就是在训练和微调过程中需要大量的计算资源，这就导致在创建过程中产生大量的碳排放。 为缓解这一问题，Meta 在其发展计划中采取了一种道德方法，即抵消与培训过程相关的碳排放。 此外，Meta 还向全球开发人员免费提供他们的模型，供他们测试和改进。
Llama 3 型号有哪些缺点？
与所有大型语言模型一样，Llama 3 可能会受到一些限制。 训练这一模型需要时间和金钱；为了获得最佳结果，必须收集多个训练实例，这可能会耗费时间或金钱。 此外，它的反应可能会对某些单词或短语过于敏感，从而导致意想不到的反应。
虽然人工智能建模存在一定的局限性，但对于希望创建人工智能驱动应用程序的开发人员和企业来说，它仍然是一种有效的资源。 这种模式不仅能减少开发时间和成本，还能让开发人员定制用户体验；这对金融服务、医疗保健、零售等行业特别有帮助。
Meta 对其 Llama 3 型号进行了多项改进，例如减少了必要的参数数量并提高了性能。 此外，还引入了对多模态输入的支持，可将图像或音频片段直接添加到文本输出中，以实现音乐创作或诗歌创作等创造性追求。 此外，用户与机器之间的自然对话也能从中受益。
Meta 不仅仅降低了模型参数，还通过创建新的调整技术（如有监督的微调和强化学习）来优化其整体性能。 此外，Meta 声称他们的 Llama 3 型号具有更好的剔除采样，这意味着错误输出更少。
公司还发布了 Llama 3 模型的操作演示，如回答问题、完成任务和听从指令。 您可以在他们的网站上观看这些演示。
Meta 公司决定将其 Llama 3 模型作为开放源代码发布，这将对其行业地位产生深远影响，并鼓励其他公司效仿，进一步降低开发人员的准入门槛，同时简化产品制造商的人工智能集成。
