为什么人工智能制造商不告诉他们的聊天机器人只回答他们知道的问题

2024-06-02 09:15来源:本站编辑

  • 人工智能模型过于担忧一位人工智能高管表示,这些错误可能不再有用。
  • Anthropic的贾里德·卡普兰(Jared Kaplan)对此进行了论证聊天机器人的任何错误对用户来说都是必要的“权衡”。
  • OpenAI的竞争对手Anthropic将自己的品牌押在了人工智能的安全、可靠和道德发展上。

众所周知,生成式人工智能容易出错。但一位人工智能高管表示,就目前而言,这可能不是一件坏事。

Anthropic的联合创始人贾里德•卡普兰(Jared Kaplan)周一在《华尔街日报》的首席信息官网络峰会上表示,如果聊天机器人对自己的错误过于焦虑,可能会导致它们对呈现给它们的所有信息进行事后猜测。他认为,这将使它们对用户来说毫无意义。

卡普兰说,偶尔的“幻觉”——由不正确的假设或编程缺陷引起的错误——是一个有用的人工智能系统的“权衡”的一部分。

他说:“这些系统——如果你训练它们不要产生幻觉——它们会变得非常非常担心犯错误,它们会对所有事情说,‘我不知道上下文’。”

那么,什么时候聊天机器人可以接受用一个它知道可能不是100%准确的答案来回应一个问题呢?卡普兰说,这是开发商需要决定的。

“石头不会产生幻觉,但也没什么用,”他说。“我认为你不会想要达到那个极限。”

卡普兰表示,最终目标是打造一个“零”幻觉的人工智能平台。但说起来容易做起来难。

“有时候我也会产生幻觉,”他说。“我犯错误,我们都犯错误。”

人工智能领域仍在为如何在准确性和实用性之间走钢丝而苦苦挣扎。去年,谷歌的双子座人工智能因对简单的问题给出了错误的答案而受到用户的批评。但与此同时,用户表示,聊天机器人不愿就有争议的话题发表意见,而是告诉他们“试试用谷歌搜索”。

Anthropic一直在努力解决生成人工智能的准确性和伦理问题。今年早些时候,商业内幕网报道称,作为一项研究的一部分,该公司的研究人员设计了会故意对人类撒谎的人工智能模型。该研究表明,经过撒谎训练的模型可以欺骗评估人员并通过安全程序。

卡普兰与OpenAI公司的其他前员工一起创建了Anthropic, OpenAI公司创建了ChatGPT。它自称是一家“人工智能安全和研究公司”,并表示其人工智能开发优先考虑道德价值观和安全问题。

喜临门声明:未经许可,不得转载。