谷歌 Deepmind 发布使用 Gemini 技术的开源 AI 模型

type

status

date

slug

summary

category

icon

password

URL

谷歌推出了新一代开放式人工智能模型 Gemma，它建立在 Gemini 模型的经验之上，旨在负责任的人工智能开发。

Gemma 由 Google DeepMind 和其他 Google 团队开发，旨在为全球开发人员和研究人员提供易于使用、功能强大的模型。

这些模型有两种尺寸：Gemma-2B 和 Gemma-7B，每种都有预训练和基于指令的变体。

Gemma 模型使用来自网页、数学问题和代码的多达 6 万亿个主要是英语的标记进行训练，使用与 Gemini 系列模型类似的架构、数据和训练方法。与 Gemini 不同，Gemma 不是多模式的，也没有接受过多语言任务“卓越”培训。

根据谷歌的技术报告，Gemma 在 18 个基于文本的任务中的 11 个中优于类似大小的开放模型，例如具有 7 和 130 亿个参数的 LLaMA 2 以及 Mistral-7B。最大的优势可以在数学和编码领域观察到，即使大型模型似乎仍然有很大的改进空间。

谷歌的进步还值得注意，因为 Gemma-2B 是一个小得多的模型，在安全测试中比 Mistral-7B 表现更好，参数数量是 Mistral-7B 的三倍多。 Gemma-7B 模型在评估遵循提示的准确性的实验中也名列前茅。

Gemma 目前无法与商业替代品或更大的开源模型（例如 LLaMA-2-70B 或 Mixtral-8x7B）竞争。

谷歌表示，负责任的发展是首要任务

报告称：“我们认识到，LLMs不仅给人工智能开发生态系统带来好处，而且还可能被恶意利用，例如创建虚假图像、人工智能生成的虚假信息以及非法和令人不安的材料。”说。

完全自由地发布权重而不是将模型隐藏在 API 后面会带来额外的风险。

这就是为什么 Google 采取了各种措施来确保 Gemma 的安全性和可靠性。个人信息和其他敏感数据已从预先训练的模型中过滤掉。

此外，它们还通过广泛的微调和人类反馈（RLHF）适应了负责任的行为。

谷歌表示，随后它通过手动红队、自动对抗测试和危险活动性能评估对模型进行了彻底评估。

为了帮助外部开发者创建安全的AI应用程序，谷歌还推出了新的Responsible Generative AI Toolkit。

该工具包包含安全分类方法、调试工具以及基于 Google 在大型语言模型方面的经验的最佳实践。

Gemma 针对各种 AI 硬件平台进行了优化，包括 NVIDIA GPU 和 Google Cloud TPU。 Nvidia 将把 Gemma 模型集成到自己的数据聊天机器人应用程序中，并在自己的 Playground 中提供 Gemma 2B 和 Gemma 7B 模型的测试版本。

与 JAX、PyTorch 和 TensorFlow 等主要框架的兼容性使 Gemma 成为适用于各种 AI 开发任务的多功能工具。

谷歌还通过 Kaggle 和 Google Cloud 等平台上的免费研发积分，让访问 Gemma 变得更加容易。

新的云用户可以获得 300 美元的信用额度，研究人员还可以申请高达 500,000 美元的信用额度资助。

谷歌将有机会通过进一步的开发（例如引入多模式功能）将 Gemma 提升到这个水平或更高水平。

Gemma 可能是 Google Deepmind 进军开源大门的一次尝试。

目前尚无法预测模型市场将如何发展，以及专有模型是否会像目前 OpenAI 的 GPT 模型那样保持主导地位。

到目前为止，Meta 和 LLaMA 家族被认为是大型科技开源语言模型的先驱。与 Google 不同，Meta 尚未提供像 Google Gemini 这样的商业语言模型。凭借开源政策，Meta主要希望主导开发者场景并适应自己的生态系统，以便以后更高效地开发更高质量的AI产品。

谷歌已经玩过类似的游戏并赢得了胜利：Android移动操作系统。

总结

Gemma 在 18 个基于文本的任务中的 11 个中优于类似大小的开放模型（例如 LLaMA 2 和 Mistral-7B），其中在数学和编码方面具有最大优势。

为了确保 Gemma 的安全性和可靠性，谷歌从模型中过滤掉了个人信息和敏感数据，并推出了 Responsible Generative AI Toolkit，其中包括安全分类方法、调试工具和开发者最佳实践。