type
status
date
slug
summary
tags
category
icon
password
URL
日本人工智能初创公司 Sakana AI 开发了一种通过使用进化算法组合现有模型来自动生成新人工智能模型的方法。初步结果是有希望的。
Sakana AI的核心思想是利用进化和集体智慧等自然原理来创建新的AI模型。
目标是开发能够自动为自定义应用领域生成定制人工智能模型的机器，而不是每次都开发新模型。
这家总部位于东京的初创公司现已发布了其第一个人工智能模型，该模型基于一种名为“进化模型融合”的新进化方法。
它使用进化技术来有效地找到从大量具有不同功能的开源模型中组合不同模型的最佳方法。
该方法在两个层面上起作用：一方面，不同模型的层在数据流层面上重新组合。另一方面，不同模型的权重在参数层面进行重新洗牌。
进化算法搜索可能组合的广阔空间，以找到使用传统方法和人类直觉很难发现的新的、不直观的解决方案。
复合人工智能模型实现个体最佳表现
为了测试该方法，Sakana AI 拥有具有数学功能的日语大语言模型 (LLM) 和自动开发的日语视觉语言模型 (VLM)。
令人惊讶的是，这两个模型在多个 LLM 和视觉基准测试中都取得了最先进的结果，尽管它们尚未针对这些基准测试中的良好性能进行明确优化。
特别是，具有 70 亿个参数的日本数学 LLM 在多个日本 LLM 基准测试中甚至超越了之前一些具有 700 亿个参数的日本 SOTA LLMs。
Sakana AI 认为，这个实验性日语数学 LLM 足以用作一般日语 LLM。
LLMs 在解决日语数学问题时的表现比较。模型1-3为原始模型，模型4-6为优化后的合并模型。模型7-10是现有强大的LLMs的结果进行比较。
|图片来源：Sakana AI
日语 LLM 也非常擅长处理特定文化的内容，在日语图像文本对数据集上取得了出色的结果。
该方法还可以应用于成像的扩散模型。 Sakana AI 报告了仅使用四个扩散步骤开发出高质量、快如闪电的日本 SDXL 模型的初步结果。
Sakana AI 在 Hugging Face 和 GitHub 上发布了三个日本基础模型。
- 大语言模型 (EvoLLM-JP)
- 视觉语言模型（EvoVLM-JP）
- 图像生成模型（EvoSDXL-JP，即将推出）
Sakana AI 认为神经进化、集体智慧和基础模型的结合是一种有前途的长期研究方法。
该初创公司表示，这种渐进式方法可以让大型组织在将大量资源投入到完全专有的模型之前，利用越来越多的开源人工智能模型，更快、更经济地开发定制的人工智能模型。
Sakana AI 由 AI 明星联合创立
Sakana AI 是一家总部位于东京的初创公司，由前谷歌人工智能专家 Llion Jones 和 David Ha 创立，致力于开发受自然启发的生成人工智能模型。
这些模型旨在生成各种形式的内容，例如文本、图像、代码和多媒体。
创始人希望创建能够对环境变化做出敏感和适应性反应的人工智能系统，类似于具有集体智慧的自然系统。这代表了与传统人工智能模型的背离，传统人工智能模型通常被设计为不可变的结构。
联合创始人 Jones 是 2017 年著名研究论文《Attention Is All You Need》的作者，该论文介绍了近期许多人工智能成功背后的“Transformer”深度学习架构。这家初创公司已从 Lux Capital 和 Khosla Ventures 等投资者那里筹集了 3000 万美元的种子资金，旨在将东京变成人工智能中心，类似于旧金山的 OpenAI 和伦敦的 Deepmind。
总结
- 日本人工智能初创公司 Sakana AI 正在开发一种名为“进化模型融合”的方法，通过进化算法自动组合现有的人工智能模型，生成新模型。
- 第一个结果显示了令人鼓舞的性能：自动开发的日语大语言模型（LLM）和视觉语言模型（VLM）在多个基准测试中取得了最佳结果。
- 创始人是前谷歌人工智能专家，他们希望利用进化和集体智慧等自然原理来创建更能适应环境变化的人工智能系统。