像 ChatGPT 这样强大的生成式人工智能（AI）系统是如何工作的，它们与其他类型的 AI 有何不同？
快速浏览一下头条新闻，就会发现生成式AI如今无处不在。事实上，其中一些标题实际上可能是由生成式AI撰写的，例如OpenAI的ChatGPT，它已经向世人展示了一种不可思议的能力，可以生成看似由人类编写的文本。
在过去几年的生成式AI热潮之前，当人们谈论AI时，通常他们谈论的是机器学习模型，这些模型可以学习根据数据进行预测。例如，使用数百万个示例对此类模型进行训练，以预测某种X射线是否显示出肿瘤的迹象，或者特定借款人是否可能拖欠贷款。
生成式AI也可以被看作是一种机器学习模型，经过训练后可以创建新数据，而不是对特定数据集进行预测。生成式AI系统可以学习生成更多与训练数据相似的对象。
"当涉及到生成式AI和其他类型的AI背后的实际机制时，区别可能有点模糊。通常，相同的算法可以用于两者。"麻省理工学院电气工程和计算机科学副教授、计算机科学和人工智能实验室（CSAIL）成员Phillip Isola说。
尽管 ChatGPT 及其同类产品的发布带来了炒作，但该技术本身并不是全新的。这些强大的机器学习模型借鉴了 50 多年前的研究和计算进步。
图：当人们说"生成式AI"时，他们是什么意思，为什么这些系统似乎正在进入几乎所有可以想象的应用程序？麻省理工学院的AI专家帮助分析这项日益流行和无处不在的技术的来龙去脉。图片来源：麻省理工学院
复杂性的增加
生成式AI的一个早期例子是一个更简单的模型，称为马尔可夫链。该技术以俄罗斯数学家Andrey Markov的名字命名，他于1906年引入了这种统计方法来模拟随机过程的行为。在机器学习中，马尔可夫模型长期以来一直被用于下一个单词的预测任务，例如电子邮件程序中的自动完成功能。
在文本预测中，马尔可夫模型通过查看前一个单词或几个前一个单词来生成句子中的下一个单词。但是，由于这些简单的模型只能回顾那么远，它们不擅长生成合理的文本，麻省理工学院电气工程和计算机科学Thomas Siebel教授Tommi Jaakkola说，他也是CSAIL和数据，系统和社会研究所（IDSS）的成员。
"我们在过去十年之前就开始生成东西，但这里的主要区别在于我们可以生成的对象的复杂性，以及我们可以训练这些模型的规模。"他解释道。
就在几年前，研究人员倾向于专注于寻找一种能够充分利用特定数据集的机器学习算法。但这种关注点已经发生了一些变化，许多研究人员现在正在使用更大的数据集，可能有数亿甚至数十亿个数据点，来训练能够取得令人印象深刻的结果的模型。
ChatGPT 和类似系统的基础模型的工作方式与马尔可夫模型大致相同。但一个很大的区别是，ChatGPT 更大、更复杂，有数十亿个参数。它已经在大量数据上进行了训练--在这种情况下，互联网上的大部分公开文本。
在这个庞大的文本语料库中，单词和句子以具有某些依赖关系的顺序出现。这种重复性有助于模型了解如何将文本切割为具有一定可预测性的统计块。它学习这些文本块的模式，并利用这些知识提出接下来可能发生的事情。
更强大的架构
虽然更大的数据集是导致生成式AI热潮的催化剂之一，但各种重大研究进展也导致了更复杂的深度学习架构。
2014 年，蒙特利尔大学的研究人员提出了一种称为生成对抗网络 （GAN） 的机器学习架构。GAN使用两种协同工作的模型：一种学习生成目标输出（如图像），另一种学习从生成器的输出中区分真实数据。生成器试图欺骗鉴别器，并在此过程中学会做出更真实的输出。图像生成器 StyleGAN 基于这些类型的模型。
一年后，斯坦福大学和加州大学伯克利分校的研究人员引入了扩散模型。通过迭代优化其输出，这些模型可以学习生成类似于训练数据集中样本的新数据样本，并已用于创建逼真的图像。扩散模型是文本到图像生成系统稳定扩散的核心。
2017 年，谷歌的研究人员推出了 transformer 架构，该架构已被用于开发大型语言模型，例如为 ChatGPT 提供支持的模型。在自然语言处理中，转换器将文本语料库中的每个单词编码为标记，然后生成注意力图，该图捕获每个标记与所有其他标记的关系。此注意力图可帮助转换器在生成新文本时理解上下文。这些只是可用于生成式 AI 的众多方法中的一小部分。
应用范围广泛
所有这些方法的共同点是，它们将输入转换为一组标记，这些标记是数据块的数字表示。只要你的数据可以转换为这种标准的令牌格式，那么理论上，你可以应用这些方法来生成看起来相似的新数据。
"具体情况可能会有所不同，这取决于数据的嘈杂程度和信号提取的难度，但它确实越来越接近通用 CPU 接收任何类型数据并开始统一处理的方式。"Isola说。这为生成式AI开辟了大量的应用。
例如，Isola的团队正在使用生成式AI来创建合成图像数据，这些数据可用于训练另一个智能系统，例如通过教计算机视觉模型如何识别物体。
Jaakkola的团队正在使用生成式AI来设计新的蛋白质结构或有效的晶体结构，以指定新材料。他解释说，就像生成模型学习语言的依赖关系一样，如果它显示的是晶体结构，它就可以学习使结构稳定和可实现的关系。
虽然生成模型可以取得令人难以置信的结果，但它们并不是所有类型数据的最佳选择。麻省理工学院IDSS 和信息与决策系统实验室成员Devavrat Shah说，对于涉及对结构化数据（如电子表格中的表格数据）进行预测的任务，生成式AI模型的表现往往优于传统的机器学习方法。
在Shah看来，它们的重要价值在于成为人类友好的机器界面。以前，人类必须用机器的语言与机器对话，才能使事情发生。现在，这个界面已经知道如何与人类和机器对话了。
Isola认为生成式AI未来的一个有前途的方向是将其用于制造。与其让模型制作椅子的图像，不如生成一个可以生产的椅子计划。他还认为，生成式AI系统未来将用于开发通用智能AI代理。
"这些模型的工作方式以及我们认为人脑的工作方式存在差异，但我认为也有相似之处。我们有能力在脑海中思考和梦想，提出有趣的想法或计划，我认为生成式AI也是使代理能够做到这一点的工具之一。"Isola说。
图：生成式AI正在不断发展，在不远的将来，它们将拥有与人类大脑一样多的参数。
担心被AI取代？
人工智能（AI）正在发展，有些人想知道他们的工作状态如何，但这个问题的答案是一个更个人化的答案。去年，AI 在公众意识中爆炸式增长，ChatGPT 和其他大型语言模型系统展示了它们在某些情况下的逼真程度。这引发了许多讨论，特别是当他们变得越来越聪明和复杂时，关于这对未来的工作意味着什么。
欧姆龙现场应用工程总监Paul Anderson在美国近日举行的2023年欧姆龙公开赛的主题演讲中谈到了一些人们对于AI的疑虑和担忧。
AI会取代人们的工作吗？根据Anderson的说法，这并不是那么明确，而且类似的质疑已经持续了很长时间。甚至在AI出现之前，就已经存在这个问题，尤其是在工业和协作机器人方面。
自古以来，科学、技术和社会携手并进的循环就一直在进行。基于SINIC理论，科学发现，在技术上应用，然后带入社会，进行调整和改变。社会没有答案的问题出现了，这促使了更多的问题和进步。
"我们不是一起工作，而是使用机器来增强人类正在做的事情，" Anderson认为，重点是人们如何利用机器来改善自己的工作。
人类与机器之间的合作关系并不新鲜，但变化的是生成式AI如何进入人类的领域，也就是创造。这就是事情变得有点令人"毛骨悚然"的地方，因为它模糊了两个领域之间的界限，甚至在十年前可能看起来像科幻小说。
生成式AI已经以某种形式存在，因为这个概念是关于概率推断和从以前所做的事情中学习的。AI根据人们的思维模式和言语进行学习，并做出相应的调整。ChatGPT 等系统正在做的事情规模要大得多，但基本原理保持不变。
借助 ChatGPT 和其他 LLM，他们正在将参数扩大到很快达到人脑能力的程度。GPT-3 有 1750 亿个参数，预计 GPT-4 将达到数万亿个，而保守的估计，人类的大脑大约有100万亿个参数。
"我们正处于这样一个阶段，即这些系统的能力非常大，而我们没有人能够理解这一点。你无法解释数十亿个参数。这是不可知的。"他说。
为 AI 做好准备的四种方法
AI正在以一年前似乎不可能的方式向前发展，而且它只会向前发展。技术一直在向前发展，并将继续向前发展。倒退是没有意义的。工业革命始于 18 年代后期第世纪仍在继续，人们将适应和发展。当时正确的原则现在也是正确的。
关键是问问你的价值是什么。Anderson说，"不同的人可以做同样的工作，但是你带来的独特价值和能力是什么？这正是客户和雇主所期待的。"
在即将到来的生成式AI时代，人们可以通过四种方式为其做好准备：
1. 不断学习。
2. 数据、数据、还是数据（重要的事情说三遍）。
3. 目光长远。
4. 充分挖掘你的价值。
"如果你致力于了解自己的价值，并愿意勇往直前，你就会茁壮成长。" Anderson说。