type
status
date
slug
summary
tags
category
icon
password
URL
Meta 发布了 Code Llama 的最新版本。 Code Llama 70B 是一个用于代码生成的强大开源LLM。它有两种变体：CodeLlama-70B-Python 和 CodeLlama-70B-Instruct。
据 Meta 称，它适用于研究和商业项目。通常的 Llama 许可证适用。
新的 70B Instruct 版本在 HumanEval 上获得了 67.8 的评分，在没有示例的提示（零样本）方面领先于 GPT-4 和 Gemini Pro。 Code Llama的第一个版本得分高达48.8分。
据 Meta 称，Code Llama 的强大功能使其成为完善代码生成模型的理想基础，旨在推动整个开源社区的发展。第一个 Code Llama 变体已经得到开源社区的显着改进。
代码 Llama 70B 和其他 Llama 型号可在此处向 Meta 索取。更多信息也可在 Github 上获取。
Code Lama 支持流行的编程语言，如 Python、C++、Java、PHP、Typescript (Javascript)、C#、Bash 等。
三种型号和两种变体
Meta 发布了 Code Llama 三种规模，参数数量分别为 70 亿、130 亿和 340 亿。特别大的上下文窗口是 100,000 个标记，这使得该模型对于同时处理大量代码特别有趣。
“如果开发人员需要调试大部分代码，他们可以将整个代码长度传递给模型，”Meta AI 写道。
该变体具有 340 亿个参数，旨在提供最高的代码质量，因此适合作为代码助手。较小的模型针对实时代码完成进行了优化。
它们具有较低的延迟，并且默认接受中间填充 (FIM) 训练。
此外，Meta 还发布了一个针对 Python 优化的 Code Llama 变体，该变体使用额外的 1000 亿个 Python Code Token 进行训练，以及一个使用代码任务及其示例解决方案进行优化的 Instruct 变体。
Meta 推荐使用此变体进行代码生成，因为它应该特别严格地遵循提示。
AI for Code：Code Llama 优于其他开源模型，但 GPT-4 仍保持领先
在 HumanEval 和 Mostly Basic Python Programming (MBPP) 基准测试中，Code Llama 34B 取得了 GPT-3.5 水平的结果，但在 Human Eval 中远远落后于 GPT-4。 Llama 2 未针对代码进行优化，但其性能优于 Code Llama 以及其他经过测试的开源模型。
Meta 在 Github 上与 Llama 2 相同的 Llama 许可证下发布 Code Llama。该应用程序及其生成的内容可用于科学和商业目的。
开源倡议批评 Meta 将模型作为开源进行营销，因为该许可证限制了商业用途和某些应用领域，因此并不完全符合开源定义。
总结
- Meta 发布了 Code Llama，它是 Llama 2 的演变版，它还接受了 5000 亿个代码令牌的训练，并为许多流行的编程语言提供了高级编程功能。
- Code Llama 根据自然语言提示生成代码，可以完成代码或查找 bug，类似于 Github Copilot 或 GPT-4。根据 Meta 的基准测试，OpenAI 的 AI 模型明显更强大，但它需要花钱并且与 Open AI 服务器绑定。
- Meta 在 Github 上的开源许可下发布了三种大小（7、13 和 340 亿个参数）和两种变体（Python、Instruct）的 Code Llama。
生成的代码可用于商业项目，尽管许可证有一些限制。