扫码阅读
手机扫码阅读

站在山巅看 GPT 推动的井喷式 AI 浪潮

55 2024-04-03

本轮技术热潮的起爆点,我认为是GPT技术,今天我就带着你从底层技术的视角,看看这个小树苗如何长成枝繁叶茂的参天大树。

GPT的全称是Generative Pre-trained Transformer。它属于一种语言模型技术,由OpenAI团队提出。一般来说,GPT的名字是根据它的工作原理命名的:

  • Generative 指它能够生成新的自然语言内容,如文本、句子、段落甚至小说等。
  • Pre-trained 指它建立在大规模的预训练语言数据基础上。通过学习语言的预训练,GPT能够获得强大的语言理解能力。
  • Transformer 指它采用Transformer的模型架构,这是GPT成功的关键所在。Transformer能处理长距离依赖关系,实现极强的语言建模能力。

往上追溯,其关键点还在于Transformer技术,Transformer是一种神经网络模型,现在已经被公认为是机器翻译和其他 NLP(自然语言处理) 任务中最先进的技术。

GPT 由 DeepMind 的 Transformer 技术升级演变而来,弄懂了什么是 GPT,对理解下面我要说的内容至关重要,看完之后,再回过头看,基本是基于GPT-3.5或GPT-4作为技术底座演变而来,虽然具体实现细节有些差异,但大致原理类似。只是在不同层面生长出来的不同产品,下面我们站在GPT的高处往下看,相信你会有一个整体直观的感受,井喷出现的新技术或产品,目前还没有跳出这个逻辑。

原文链接: http://mp.weixin.qq.com/s?__biz=MzIwMjE3MDIwMA==&mid=2247487614&idx=1&sn=b89a754a76e7bb89bf835bcd57f54192&chksm=96e39a49a194135fd72c2c5efe73932ac200cdea6ac8614a9264fac6477b219c77626babfe05#rd