昨天和朋友吃饭,聊到个话题,他现在用豆包、Kimi这些智能助手,总感觉回答的不是自己想要的内容。我就从什么是AI,什么是大模型聊起,科普了下这方面的知识。发现对于大众来说,这些艰涩的技术,确实挺难理解。今天就来简单概括下,让大家脑子有个概念到底什么是大模型?
解释什么是大模型之前,先说说AI的类别、机器学习和深度学习,便于更清楚大模型的来龙去脉。
01AI的类别
人工智能是一个非常庞大的科学领域。
从1950年代正式诞生以来,围绕人工智能,已经有很多科学家进行了大量的研究,也输出了很多非常了不起的成果。
这些研究,根据思路方向的不同,被分为了很多种学派。比较有代表性的,是符号主义学派、联结主义学派、行为主义学派。这些学派并没有对错之分,相互之间也有一些交叉融合。
早期的时候(1960-1990),符号主义(以专家系统、知识图谱为代表)是主流。后来,从1980年开始,联结主义(以神经网络为代表)崛起,一直到现在,都是主流。
将来,也许有新的技术崛起,形成新的学派,也不一定。
除了方向路线之外,我们也可以从智能水平以及应用领域等方面对AI进行分类。
按智能水平,可以分为:弱人工智能(Weak AI)、强人工智能(Strong AI)、超人工智能(Super AI)。
弱人工智能只专精于单一任务或一组相关的任务,不具备通用智能能力。我们目前就处于这个阶段。
强人工智能更厉害一些,具有一定的通用智能能力,能够理解、学习并应用于各种不同的任务。这个还处于理论和研究阶段,还没落地。
超人工智能当然是最强的。它在几乎所有方面都超过人类智能,包括创造力、社交技能等。超人工智能是未来的终极形态,我们假设它能够实现。
02机器学习&深度学习
什么是机器学习?
机器学习的核心思想,是构建一个可以从数据中学习的模型,并利用这个模型来进行预测或决策。机器学习不是一个具体的模型或算法。
它包括了很多种类型,例如:
监督学习:算法从带有标签的数据集中学习,即每个训练样本都有一个已知的结果。
无监督学习:算法从没有标签的数据集中学习。
半监督学习:结合了少量的带标签数据和大量的未带标签数据进行训练。
强化学习:通过试错的方式,学习哪些行为可以获得奖励,哪些行为会导致惩罚。
什么是深度学习?
深度学习,具体来说,是深度神经网络学习。深度学习是机器学习的一个重要分支。机器学习底下有一条“神经网络”路线,而深度学习,是加强版的“神经网络”学习。
神经网络是联结主义的代表。顾名思义,这个路线是模仿人脑的工作原理,建立神经元之间的联结模型,以此实现人工神经运算。
深度学习所谓的“深度”,是神经网络中“隐藏层”的层级。
经典机器学习算法使用的神经网络,具有输入层、一个或两个“隐藏层”和一个输出层。
深度学习算法使用了更多的“隐藏层”(数百个)。它的能力更加强大,让神经网络能够完成更困难的工作。
机器学习、神经网络和深度学习的关系,通过下面的图可以看出:
神经网络从1980年代开始崛起之后,就形成了很多的模型和算法。不同的模型和算法,有着各自的特性和功能。
卷 积 神 经 网 络 ( Convolutional Neural Network , CNN ) 和 循 环 神 经 网 络 ( Recurrent Neural Network ,RNN),是1990年代左右诞生的比较知名的神经网络模型。它们的具体工作原理比较复杂。
反正大家记住:
卷积神经网络(CNN)是一种用于处理具有类似网格结构的数据(例如图像和视频)的神经网络。所以,卷积神经网络通常用于计算机视觉中,可以用来图像识别和图像分类。
而循环神经网络(RNN)是一种用于处理序列数据的神经网络,例如语言模型和时间序列预测。所以,循环神经网络通常用于自然语言处理和语音识别。
transformer也是一个神经网络模型。它比卷积神经网络和循环神经网络出现时间更晚,2017年由谷歌研究团队提出,也更加强大。
作为非专业人士,不需要去研究它的工作原理,只需要知道:
1、它是一种深度学习模型;2、它使用了一种名为自注意力(self-attention)的机制;3、它有效解决了卷积神经网络和循环神经网络的瓶颈(局限性)问题;4、它很适合自然语言处理(NLP)任务。相比循环神经网络,它的计算可以高度并行化,简化了模型架构,训练效率也大大提升;5、它也被扩展到了其他领域,如计算机视觉和语音识别。
6、现在我们经常提到的大模型,几乎都是以transformer为基础。
神经网络还有很多种,这里就看下图,知道有很多就好。
03
什么是大模型?
这两年说的火热的人工智能,说的就是大模型。那么,什么是大模型?
大模型,是具有庞大参数规模和复杂计算结构的机器学习模型。
参数,是指在模型训练过程中,学习和调整的变量。参数定义了模型的行为、性能、实现的成本以及对计算资源的需求。简单来说,参数是模型内部用来做出预测或决策的部分。
大模型,通常拥有数百万至数十亿的参数。相对应的,参数少的,就是小模型。对一些细分的领域或场景,小模型也够用。
大模型需要依赖大规模数据进行训练,对算力资源的消耗极大。
(《从历史规律,探寻AI大模型的发展周期和未来趋势》这篇文章详细讲了算法、数据、算力的代表人物杰夫辛顿、李飞飞和黄仁勋,感兴趣的可以看下。)
大模型有很多种类别。通常所说的大模型,主要是指语言大模型(以文本数据进行训练)。但实际上,还有视觉大模型(以图像数据进行训练),以及多模态大模型(文本和图像都有)。绝大多数大模型的基础核心结构,都是Transformer及其变体。
按应用领域,大模型可以分为通用大模型和行业大模型。
通用大模型的训练数据集更加广泛,覆盖的领域更加全面。行业大模型,顾名思义,训练数据来自特定行业,应用于专门的领域(例如金融、医疗、法律、工业)。
GPT
GPT-1、GPT-2……GPT-4o,等等,都是美国OpenAI这家公司推出的语言大模型,同样都是基于Transformer架构。
GPT的全称,叫做Generative Pretrained Transformer,生成式-预训练-Transformer。
Generative(生成式),表示该模型能够生成连续的、有逻辑的文本内容,比如完成对话、创作故事、编写代码或者写诗写歌等。
这里刚好提一下,现在常说的AIGC,就是AI Generated Content,人工智能生成内容。内容可以是文本、图像、音频、视频等。
文生图,比较有代表性的是DALL·E(也来自OpenAI)、Midjourney(知名度大)和Stable Diffusion(开源)。
文生音频(音乐),有Suno(OpenAI)、Stable Audio Open(由Stability.ai开源)、Audiobox(Meta)。
文生视频,有Sora(OpenAI)、Stable Video Diffusion(由Stability.ai开源)、Soya(开源)。图也可以生视频,例如腾讯的Follow-Your-Click。
AIGC是一个“应用维度”的定义,它不是一个具体的技术或模型。AIGC的出现,扩展了AI的功能,打破了此前AI主要用于识别的功能限制,拓宽了应用场景。
好了,继续解释GPT的第二个字母——Pre.trained。
Pre.trained(预训练),表示该模型会先在一个大规模未标注文本语料库上进行训练,学习语言的统计规律和潜在结构。通过预训练,模型才有了一定的通用性。训练的数据越庞大(如网页文本、新闻等),模型的能力就越强。
大家对于AI的关注热潮,主要源于2023年初的ChatGPT爆火。
ChatGPT的chat是聊天的意思。ChatGPT是OpenAI基于GPT模型开发的一个AI对话应用服务。
AI的作用,极为广泛。
概括来说,AI和传统计算机系统相比,能提供的拓展能力,包括:图像识别、语音识别、自然语言处理、具身智能等方面。
图像识别,有时候也被归类为计算机视觉(Computer Vision,CV),让计算机具备理解和处理图像和视频的能力。常见的是摄像头、工业质检、人脸识别之类的。
语音识别,就是理解和处理音频,获得音频所搭载的信息。常见的是手机语音助手、电话呼叫中心、声控智能家居之类的,多用于交互场景。
自然语言处理,前面介绍过,就是使计算机能够理解和处理自然语言,知道我们到底在说什么。这个很火,多用于创造性的工作,例如写新闻稿、写书面材料、视频制作、游戏开发、音乐创作等。
具身智能,就是把人工智能搭载在一个物理形态(“身体”)上,通过与环境互动,来获得和展示智能。带AI的机器人,属于具身智能。
斯坦福大学年初推出的“Mobile ALOHA”,就是一个典型的家用具身机器人。它可以炒菜、煮咖啡甚至逗猫,火爆全网。并不是所有的机器人,都是人形机器人。也不是所有的机器人,都用到了AI。
结语:
AI特别擅长对海量数据进行处理,一方面通过海量数据进行学习和训练,另一方面,基于新的海量数据,完成人工无法完成的工作。或者说,找到海量数据中潜在的规律。
有句话说的好:“未来,淘汰你的不是AI,而是掌握了AI的人”。知道这些AI常识,就是拥抱AI的第一步。至少和别人聊天的时候,谈到AI,就不会一头雾水了。
学会使用常见的AI工具和平台,帮助自己提升工作效率,改善生活品质。就已经领先了90%的人了。
原文标题 : 什么是大模型?未来淘汰你的不是AI,而是掌握了AI的人