为什么 ChatGPT 说起来头头是道,但关键时刻却经常掉链子(一)


  • 原文:
  • 作者:Matthias Ramaekers 译者:Great Whale
  • 日期:2023-10-12 创建:大鲸 访问:679
  • 标签:ChatGPT LLM 大语言模型 ChatGPT的局限

大语言模型(LLM)和人类一样聪明吗? 


 

  • 许多人想知道大型语言模型的智能与人类智能相比如何。
  • 人类在学习速度和应用所学知识的灵活性方面具有优势。
  • 人类的关系反应(respond relationally)能力仍然是独一无二的,这是智能行为的基础。



您可能已经注意到,人工智能(AI)研究是一项蓬勃发展的业务。大型语言模型(LLM)(例如为 ChatGPT 提供支持的模型)的最新进展令世界震惊。 

它们的类人语言能力和解决问题的能力让许多人想象出潜在的应用或对社会的风险——包括“人工智能教父”杰弗里·辛顿(Geoffrey Hinton)。 

其他人指出,大语言模型在人类不费力气就能完成的活动方面的能力相对有限,例如幽默、因果和反事实推理,以及逻辑。那么,这些模型在多大程度上真正模仿了人类,或者说通用的智能? 

回答这个问题需要对智能进行定义,但是关于如何定义智能(无论是人类智能还是人工智能)存在很多争论。把这些争论放在一边,我将重点关注学习和内隐过程实验室(Learning and Implicit Processes Lab)的同事感兴趣的智能系统的一个特征:学习能力,即根据过去的经验改变行为的能力。 

人类和许多其他生物体都有学习能力。如果不这样做,许多像我这样的学习心理学家就会失业。像 ChatGPT 底层的大语言模型也可以从使用各种学习算法的经验中学习。 

我们如何比较这些系统?我们可以根据他们学习的速度和效率以及他们应用所学知识的灵活性和创造力来区分他们。我们现在看到人类、其他动物和人工系统之间存在显著差异。 

在速度方面,人类比最先进的人工智能具有明显的优势。简而言之,大语言模型接受了大量数据的训练,从这些数据中,它们基本上学会了预测哪些(部分)单词最有可能跟在先前(部分)单词之后,然后进行第二轮训练,以微调它们对人类产生的提示和问题的反应。 

这种学习经历足以产生非常类似人类的反应。尽管如此,大语言模型通常需要大约四到五个数量级,或者比普通人类孩子多大约 50,000 倍的训练实例才能产生这种行为。ChatGPT 的训练是一种相当暴力的方法来学习产生智能语言行为。这使得它能够了解人类语言的潜在规律,但它与人类获取语言的方式有很大不同。 

人类不仅学习速度更快而且更灵活。孩子们只需几次接触或简单的指导,就能很快获得灵活推理新问题和适应新情况的能力。 

对于最先进的人工智能来说,这一壮举仍然是一个挑战。大语言模型的泛化能力有了很大提高,但很难系统地评估,因为它们的训练几乎涵盖了人类曾经写过的所有内容。当探究新问题或熟悉问题的实例时,您可以看到其能力的局限性,这表明它的反应更像是记住问题的解决方案,而不是彻底理解。 

 

相关诉求 [ AI食疗 ]


相关文章