type
status
date
slug
summary
tags
category
icon
password
URL
据称，OpenAI 研究人员在致公司董事会的一封信中警告称，一项人工智能发现可能对人类构成威胁。
路透社援引两名知情人士的话报道了这一消息。这封信也与奥特曼的临时开除有关，但并不是唯一的原因。
据 The Verge 的消息人士称，董事会从未收到过这样的信函，因此在奥特曼的解雇中没有发挥任何作用。路透社表示尚未看到这封信。该信息并未报道这封信本身，而是报道了其中描述的突破性“Q*”。
Q-Star可以独立解决简单的数学任务
据称这封信是关于 Q*（发音为 Q-Star）算法的，据说该算法能够独立解决不属于小学培训材料的简单数学问题。
据说 OpenAI 的首席科学家 Ilya Sutskever 负责开发。
一些 OpenAI 研究人员将 Q-Star 视为通用人工智能 (AGI) 道路上的突破，因为它可能表明 AI 系统已经发展出更通用、更接近人类的推理能力。
据路透社报道，研究人员在给董事会的信中指出了人工智能的可能性和潜在危险，但没有详细说明安全问题。除此之外，这样的人工智能系统可以极大地加速科学发展。
他们还对 OpenAI 是否为这样的人工智能系统采取了必要的安全预防措施表示担忧。
据路透社报道，研究人员还提到了“人工智能科学家团队”的工作，该团队的存在已得到多个消息来源的证实。该团体是由之前的团队“Code Gen”和“Math Gen”合并而来。
她研究如何优化现有的人工智能模型以提高其思维能力并最终产生科学工作。
据说，Q-Star 的幕后黑手是两位研究人员 Jakub Pachocki 和 Szymon Sidor，他们的工作是在 Ilya Sutskever 的工作基础上进行的。据说该系统的演示已经在 OpenAI 上流传了几周。
据报道，出于安全考虑，奥特曼被苏塞克弗解雇后不久，帕乔基和西多尔就辞职了。然而，他们带着奥特曼回来了。据说 OpenAI 联合创始人 Greg Brockman 正在致力于将 Q-Star 集成到 OpenAI 产品中。
“内部实现AGI”
OpenAI 泄密者“Jimmy Apples”在 9 月中旬发推文称“AGI 已在内部达成共识”时，可能指的是 Q-Star。 OpenAI 首席执行官 Sam Altman 甚至在 Reddit 上重复了这一声明，但后来纠正了他的信息，并补充说“当然 Reddit 评论中没有宣布 AGI”，他只是注意到了这个梗。
11 月初，Altman 表示，当前的语言模型需要实现 AGI 的“另一个突破”。这需要一个能够发现新物理现象的系统。
随后，奥尔特曼在 11 月 16 日举行的 2023 年亚太经合组织峰会上发表了含糊其辞的言论，就在他被驱逐之前不久。在 OpenAI 的历史上，当团队“揭开无知的面纱并扩大发现的边界”时，他曾四次出现在这个房间里。
上次是几周前。这可能与“Jimmy Apple”的 AGI 推文一致。
The Information 还报道称，Sutskever 于 2021 年启动了 GPT-Zero 项目。在这里，应该给予语言模型更多的时间和计算能力来生成新学术发现的答案。 OpenAI 泄密者“Jimmy Apples”现在将这个代号“Zero”重新带回桌面，与有关这封信的谣言有关。
总结
- 路透社援引匿名消息人士的话说，据称 OpenAI 研究人员已警告该公司董事会，一项名为“Q-Star”的人工智能突破可能对人类构成威胁。
- Q-Star 是一种可以独立解决不属于其训练材料的简单数学问题的算法，由于其推理能力，一些研究人员认为这是迈向通用人工智能 (AGI) 的一步。
- 研究人员在给董事会的信中指出了人工智能的潜在危险。他们质疑 OpenAI 是否为这样的系统采取了必要的安全预防措施。