直播回放 | “从ChatGPT谈AI技术创新、发展与全球化“，深度解读ChatGPT的发展和影响¶

最近美国人工智能研究实验室OpenAI开发的一款人工智能对话机器人ChatGPT疯狂圈粉，它能作诗、能写新闻报道、能写机构研报，甚至可以编写程序代码。上线5天注册用户破百万，上线两个月后，月活跃用户破亿，成为史上用户增长速度最快的消费级应用程序。

基于此背景，清华大学人工智能国际治理研究院（I-AIIG）联合微博科技于2023年2月11日（周六）晚19:00，推出主题连麦直播活动。清华大学交叉信息研究院助理教授、人工智能国际治理研究院国际交流项目主任于洋与清华大学计算机科学与技术系长聘副教授黄民烈共同围绕 《从ChatGPT谈AI技术创新、发展与全球化》展开讨论，对ChatGPT的发展和影响做出深度解读，线上互动取得热烈反响。

内容总结¶

1、ChatGPT不是原发创新，而是场景创新。回顾了ChatGPT的四个思想源头：语言模型、大规模模型、预训练、RL结合NLP 2、中美在研发能力上差距不大，区别在于a资本的能力弱，b数据产业薄弱、数据质量低、数据孤岛 3、ChatGPT的三个治理难题：知识产权、信息真实、价值观，都是前沿难题

清华大学交叉信息研究院助理教授、人工智能国际治理研究院国际交流项目主任于洋

今天我们看到有很多人说，好像ChatGPT是一个从零到一的原发性的创新，或者说它是一个基础理论的创新，这是不对的。实际上它有三个真正的重要的创新节点，第一个节点是06年用人工神经网络、用RNN框架去做语言，提出了建模的思想；第二个重要创新节点是谷歌的大模型，就是从RNN到Transformer以后可以做一个大模型；然后另外一支的思想是预训练的思想，它也是在RNN基础上去做预训练，我们可以通俗地理解为我们先把一个半成品做好，在这个半成品的基础上，大家可以去开发各种各样的思想。所以无论是ChatGPT，还是它的基础GPT3或者GPT3.5，都是基于这样的思想，一个模型一个模型的推进。

清华大学计算机科学与技术系长聘副教授黄民烈

Transformer架构出来之后很快就出来了BERT，然后出现了ChatGPT。BERT是一个用来做理解的模型，不是用来做生成的模型，也就是今天AIGC为什么这么火的原因？是因为AIGC改变了一切，在它之前大家都是做理解模型，所谓做理解就是我可以做分类，然后打标签，或者做个磁性标注，这是做理解任务，是BERT这种模型做的事情。GPT这种模型叫做生成模型，也就是我要给定我特定的上下文去生成下一个token，然后再一个一个的把token生成出来。它们的任务不同，但它们底层的网络架构都是大同小异的，有一些细微的差别，但是差别不大。所以其实对于GPT而言，它的本质还是Transformer的底层架构，比如说我们有了大数据，我们可能要在训练方法上要做一些优化和调整，让它能够去适应更大的数据，避免训着训着崩盘，往后的发展基本上是小修小补，做一些训练和工程上的一些优化。

获悉更多关于《从ChatGPT谈AI技术创新、发展与全球化》的讨论详情和对ChatGPT的发展和影响的深度解读，欢迎大家观看直播活动回放： 链接

（来源：清华大学人工智能国际治理研究院，侵删）