本周，Meta向开发人员透露了其最新的人工智能模型，即备受期待的Llama-4 LLM，并暗示了仍在接受培训的更大模型。尽管新的模型是艺术的状态，但Meta声称它可以与最佳的封闭源模型竞争，而无需进行任何微调。
根据梅塔（Meta）的官方宣布，“这些模型是我们最好的，这是我们最好的，这要归功于Llama 4 Beamoth的蒸馏，这是一个2880亿个活跃参数模型，具有16位专家，这是我们迄今为止最强大的LLMS中最聪明的LLMS。Llama4 Bememoth toppers-4.5超过了Claude Sonnet 3.7，以及几个stem dem pros to pros in dem pros and dem pros and stem were and stem were and stem new were tem and。即使它仍在飞行时，有关它的更多细节。”
Llama 4 Scout和Maverick模型各自使用170亿个活动参数，但专家的数量有所不同：侦察兵使用16，而Maverick使用128。现在可以在Llama.com和Hugging Face上下载两种型号，Meta还将它们集成到WhatsApp，Messerge，Instagram和Meta.ai网站中。
专家（MOE）体系结构的混合在技术界已经存在了一段时间，但是它是骆驼的新手，旨在使该模型高效。专家的混合物不使用大型模型来激活其所有参数，而是仅激活必要的部分，使模型的其余部分“休眠”，从而节省计算资源。这意味着更强大的模型可以在功能较小的硬件上运行。
例如，在Meta的情况下，Llama 4 Maverick包含4000亿个参数，但一次仅激活170亿个参数，使其可以在单个NVIDIA H100 DGX卡上运行。
Meta的新Llama 4型号具有本地多模式，并具有早期的融合技术，可以整合文本和视觉令牌。这允许与大量未标记的文本，图像和视频数据进行联合预训练，从而使模型更加通用。
也许最令人印象深刻的是Llama 4 Scout的上下文窗口1000万个令牌。这大大超过了上一代的128K限制，并且超过了大多数竞争对手，甚至超过了像Gemini这样的现有领导者，其1M背景。根据META的说法，此LEAP可以在单个提示中启用多文件摘要，广泛的代码分析和跨大量数据集的推理。梅塔（Meta）表示，其模型能够在其1000万个令牌窗口的任何部分中处理和检索信息。
Meta还取笑了其仍在训练的庞然大物模型，该模型拥有2880亿个活跃参数，有16个专家和近2万亿个参数。该公司声称，该模型已经优于GPT-4.5，Claude 3.7十四行诗和Gemini 2.0 Pro在STEM基准测试上，例如Math-500和GPQA Diamond。
但是，并不是所有闪闪发光的都是黄金。一些独立的研究人员对Meta的基准主张提出了挑战，在进行自己的测试时发现了不一致之处。例如，一些用户发现，尽管提供了错误的答案，但Llama-4的评分比其他模型更好。此外，该模型通常会使用表情符号过于激发的音调写作。
尽管Meta声称自己的模型擅长处理长上下文提示，但其他用户对这些陈述提出了挑战。独立的AI研究员西蒙·威林森（Simon Willinson）在博客文章中写道：“然后，我通过OpenRouter与Llama 4 Scout进行了尝试，并出于某种原因获得了完整的垃圾输出。”
我们对该模型的测试表明，Meta关于该模型检索功能的说法破裂了。我们进行了“在干草堆中”实验的“针头”，将特定的句子嵌入了冗长的文本中，并挑战了模型以找到它们。在适度的上下文长度，Llama-4
帖子视图： 486
关键词：