type
status
date
slug
summary
tags
category
icon
password
URL
Google DeepMind的FunSearch使用语言模型首次找到了一个以前未知且更好的数学问题解决方案。
根据无限猴子定理，一只拥有打字机和无限时间的猴子最终会复制出莎士比亚的作品，或者可能是迄今未知的数学公式。
Google Deepmind没有把猴子放在打字机前，而是通过FunSearch使用了被批评者称为“随机鹦鹉”的大型语言模型，并通过反馈循环系统地不断改进结果。FunSearch代表在功能空间中进行搜索。
与其他情况不同，该过程的最终结果是解决了一个科学谜题 - Google Deepmind表示，这是语言模型首次发现这样的解决方案。
她不在训练数据中 - 她甚至都不为人所知，"公司研究副总裁Pushmeet Kohli说。
FunSearch将语言模型与进化算法相结合
FunSearch使用Codey，这是Google PaLM 2的一个专门针对代码的变体，用于在现有的代码框架中生成新的代码片段，可以生成特定数学问题的解决方案。系统会检查生成的解决方案是否比已知的更好。
最佳建议将与Codey的反馈一起返回，并且该过程将迭代重复。因此，FunSearch将进化算法与语言模型相结合。"我们使用语言模型的方式是创造力的引擎，"DeepMind计算机专家Bernardino Romera-Paredes说道。
经过几天和数百万个建议，FunSearch找到了一个包含“帽子集问题”正确且迄今未知的解决方案的代码。在数学中的帽子集问题中，目标是确定在特定范围内，集合中没有三个不同元素形成等差数列时，整数集合的最大大小。
与Google Deepmind的AlphaTensor相比，该语言模型的使用还可以扩展到其他问题领域，而AlphaTensor是基于AlphaZero的方法。为了测试这一点，FunSearch团队还将其应用于装箱问题，即尽量将物品装入尽可能少的容器中。解决这个问题既对现实世界有影响，也对数字空间有影响-而Google Deepmind则专注于后者。
系统找到了一种比人类迄今为止开发的所有方法都更快的解决方案。
FunSearch是自动适应算法的起点
另一个优点是：FunSearch找到的解决方案以代码形式存在，因此可以查看和理解。然而，该方法需要良好的反馈信号，例如在生成证据时无法获得。
然而，团队预计FunSearch的性能将与语言模型的性能相匹配
在该文章中提到：“LLM的快速发展可能会以较低的成本获得质量更好的样本，并使FunSearch在解决各种问题时更加有效。”
我们认为自动调整的算法很快将成为常见的实践，并在实际应用中使用。
总结
- Google Deepmind的FunSearch使用语言模型和进化算法，首次找到了一个名为“Cap Set Problem”的数学问题的新解决方案。
- FunSearch使用Codey，这是Google PaLM 2的一个专门针对代码的变体，用于生成新的代码片段并迭代地开发更好的解决方案。
- 该系统还找到了一种更快的解决方案，以解决装箱问题，这表明该方法可以扩展到其他问题领域。
- 作者:Ai-皇帝
- 链接:https://www.ai-hd.com/article/f03f5990-2dee-4daf-a76a-b0affde36991
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。