Facebook 母公司 Meta 与微软一起推出了新版本的 Llama 语言模型。Llama 2 模型可用于研究和商业用途,并可通过 Microsoft Azure 和 Windows、Amazon Web Services 和 Hugging Face 获取。
Meta 老板马克·扎克伯格和微软首席执行官萨蒂亚·纳德拉展示了具有 70 亿、130 亿和 700 亿参数的预训练和微调模型。参数的数量描述了模型的知识。扎克伯格在 Facebook 的一篇帖子中解释说,Llama 2 的训练数据比其前身多了 40%,并且还提供了改进的架构。总共使用了两万亿个代币进行训练。

Meta 的开放性
仅从关键数据来看,Meta 所展现出的开放性就已经令人瞩目。OpenAI for GPT-4 和 Google for PaLM 2 最近都没有发布任何有关参数或训练数据的信息 – AI 行业正在密切关注这一进展。另一方面,Meta 提供更多信息并提供包括权重的模型供下载。可以通过相应的 Meta 网站进行查询。
Llama 1 对 Meta 来说是成功的,该组织声称已经收到了超过 100,000 个来自研究人员的询问。此外,完整模型发布后不久就开始在网上流传,成为近几个月出现的各种开源模型的蓝图。
微软扩展人工智能生态系统
除了本地下载外,Llama 2 还可以通过微软的 Azure 云、亚马逊的 AWS 服务和 Hugging Face 进行下载。不过,重点还是与微软的合作。两个团队都强调了他们过去在人工智能领域的合作是多么成功。例如,这适用于将 PyTorch 环境集成到 Azure 云中。
因此,微软正在继续构建其人工智能生态系统。到目前为止,该结构主要基于 OpenAI 的 GPT 语言模型,微软已将其集成到 Bing 搜索中,并作为各种应用程序和 Windows 11 Copilot。通过 Llama 2,Meta 现在正在通过另一种强大的语言模型扩大 Azure 中 AI 开发人员的产品范围。开发人员还应该受益于用于模型训练或处理时微调的人工智能工具。
目前其他公司也加入其中。高通计划从 2024 年起提供基于 Llama 2 的 AI 实现,以便生成式 AI 模型在智能手机或 VR 设备上运行得更好。
ChatGPT 的竞争对手
因此很明显:Llama 应该找到直接进入用户设备的方式。这一策略与 OpenAI 和 Google 形成鲜明对比,后者仅提供 ChatGPT 和 Bard 等人工智能解决方案在线服务。因此,它继续沿着 Llama 1 的发布所设定的路线进行。直接在家用计算机上运行的 ChatGPT 竞争对手是可以想象的。
为程序员设计的新 AI 模型
Meta 通过专为编程设计的变体扩展了 Llama 模型。其基础是通过训练进行调整的 Llama 2 语言模型。与基本模型一样,它是免费提供的,因此可以用于研究和商业用途。
Meta 提供了三种变体的称为“Code Llama”的模型:通用代码库模型、专门用于 Python 的模型和“Instruct”版本,该版本应该经过微调以特别好地处理自然语言输入。有关模型的详细信息可以在博客文章和论文中找到,代码可在 GitHub 上找到,下载可在 Meta 上找到。
GitHub
https://github.com/facebookresearch/codellama
Meta
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
编程支持被认为是基于大型语言模型 (LLM) 的人工智能助手最常用的用例之一。
例如,微软通过 GitHub Copilot 提供了此功能,但 ChatGPT 和 Bard 等生成式聊天机器人也具有相应的功能。然而,与 AI 聊天机器人一样,用户必须期待从误导性到不正确的答案。
根据一项研究,大约 52% 的 ChatGPT 结果不准确。
https://arxiv.org/pdf/2308.02312.pdf
注意:PDF 文档为英文。


