type
status
date
slug
summary
tags
category
icon
password
URL
Google 研究开发了一种名为 Cappy 的新技术，用于提高大型语言模型 (LLMs) 的性能和效率。仅具有 3.6 亿个参数的轻量级预训练评分器使 LLMs 无需微调即可适应特定任务。
正如 Google 工程师 Yun Zhu 和 Lijuan Liu 在博客文章中所解释的那样，Cappy 是一种评级系统，它使用相对较少的计算工作来评估 LLMs 生成的答案的质量，从而提高其性能。
新方法允许LLMs适应特定任务，而无需微调模型参数。据谷歌称，这可以节省存储和计算能力。
Cappy 起到了一种裁判的作用：它评估 LLMs 的答案与特定问题的契合程度。 Cappy分配0到1之间的值。值越高，答案越好。
例如，如果用户问“工业革命对社会有什么影响？” LLM 会产生不同的输出，因此 Cappy 可以突出显示涵盖城市化、工人阶级的出现和社会动荡等最重要方面的答案并将其输出给用户。
相关性较低、得分较低的答案被隐藏。通过这种方式，Cappy 可确保 LLM 提供最准确、相关和高质量的答案。
Cappy 可以在分类任务中独立工作，也可以作为多任务 LLMs 中的辅助组件来提高其性能。
精益“Scorer”优化LLM性能
为了进行这些评估，Cappy 首先接受大量问答对的训练。系统学会区分好答案和坏答案。现有的 RoBERTa 语言模型作为此学习过程的基础。
Cappy 还可以与只能通过接口寻址的 LLMs 配合使用。
与上下文学习方法相比，信息直接在提示中提供，Cappy 不受输入长度的限制，可以包含任意数量的训练示例。
据谷歌称，在测试中 Cappy 表明它可以提高多任务 LLMs 性能。在 PromptSource 的 11 项分类任务中，Cappy 的表现优于 Meta 的 OPT-175B 和 OPT-IML-30B 模型，并达到现有最佳多任务 LLMs（T0-11B 和 OPT-IML-175B）的准确性。
通过 BIG 基准测试中的 45 个复杂生成任务（这对许多LLMs来说是一个挑战），Cappy 能够显着提高 FLAN-T5 模型的性能。
Cappy 和 FLAN-T5 的结合始终提供比标准方法更好的结果，在标准方法中，语言模型评估自己的答案。
谷歌研究人员认为 Cappy 是提高人工智能语言模型性能和效率的一种有前途的方法。该过程可以更快、更轻松地LLMs针对特定应用程序进行优化。
这可以使人工智能系统在未来更加灵活和广泛适用，而不需要对模型进行极其计算密集的重新配置。
从长远来看，Cappy 可以为新一代人工智能应用程序铺平道路，这些应用程序比以前的系统更高效、更灵活、更强大。
总结
- Google Research 开发了 Cappy，这是一个轻量级的 3.6 亿参数评分系统，旨在提高大型语言模型 (LLMs) 的性能，而无需微调模型参数。
- Cappy 按 0 到 1 的等级对 LLMs 生成的答案的质量进行评分，并突出显示最相关的答案。它通过问答对的训练学会区分好答案和坏答案。
- 在测试中，Cappy 能够提高多任务 LLMs 的性能，甚至在分类任务上优于一些现有的最佳模型。谷歌研究人员认为 Cappy 是一种很有前途的方法，可以使人工智能语言模型更加高效和灵活。
- 作者:Ai-皇帝
- 链接:https://www.ai-hd.com/article/9f794729-68c2-4114-b740-187536b2570f
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。