ChatGPT调研报告.pdf
100墨值下载
ChatGPT 调研报告
（仅供内部参考）
哈尔滨工业大学
自然语言处理研究所（HIT-NLP）
2023 年 3 月 6 日
ChatGPT 调研报告
序言
2022 年 11 月 30 日，OpenAI 推出全新的对话式通用人工智能工具——
ChatGPT。ChatGPT 表现出了非常惊艳的语言理解、生成、知识推理能力，
它可以很好地理解用户意图，做到有效的多轮沟通，并且回答内容完整、重
点清晰、有概括、有逻辑、有条理。ChatGPT 上线后，5 天活跃用户数高达
100 万，2 个月活跃用户数已达 1 个亿，成为历史上增长最快的消费者应用
程序。除了被广大用户追捧外，ChatGPT 还受到了各国政府、企业界、学
术界的广泛关注，使人们看到了解决自然语言处理这一认知智能核心问题的
一条可能的路径，并被认为向通用人工智能迈出了坚实的一步，将对搜索引
擎构成巨大的挑战，甚至将取代很多人的工作，更将颠覆很多领域和行业。
哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告，从
技术原理、应用场景、未来发展等方面对 ChatGPT 进行了尽量详尽的介绍
及总结。
本报告仅供内部参考。
主要编撰人员
第一章由车万翔、杨沐昀、张伟男、赵妍妍、冯骁骋、孙承杰、李佳朋编
写；第二章由张伟男、隋典伯、高翠芸、朱庆福、李明达、王雪松编写；第
三章由刘铭、朱聪慧、汤步洲编写；第四章由徐永东、高翠芸、朱庆福编写；
第五章由杨沐昀、张伟男、韩一、庄子彧编写；第六章由隋典伯、高翠芸编
写；第七章由车万翔、刘铭编写。参与各章审校工作的还有：崔一鸣、徐志
明等。
报告整体由车万翔统稿。
2
ChatGPT 调研报告
目录
第一章 ChatGPT 的背景与意义 6
1.1 自然语言处理的发展历史 . . . . . . . . . . . . . . . . . . . . 6
1.2 大规模预训练语言模型的技术发展历程 . . . . . . . . . . . . . 8
1.3 ChatGPT 技术发展历程 . . . . . . . . . . . . . . . . . . . . . 8
1.3.1 ChatGPT 的相关技术 . . . . . . . . . . . . . . . . . . 10
1.3.2 ChatGPT 技术发展脉络的总结 . . . . . . . . . . . . . 11
1.3.3 ChatGPT 的未来技术发展方向 . . . . . . . . . . . . . 12
1.4 ChatGPT 的优势与劣势 . . . . . . . . . . . . . . . . . . . . . 13
1.4.1 ChatGPT 的优势 . . . . . . . . . . . . . . . . . . . . . 13
1.4.2 ChatGPT 的劣势 . . . . . . . . . . . . . . . . . . . . . 15
1.5 ChatGPT 的应用前景 . . . . . . . . . . . . . . . . . . . . . . 16
1.5.1 在人工智能行业的应用前景及影响 . . . . . . . . . . . 17
1.5.2 在其他行业的应用前景及影响 . . . . . . . . . . . . . . 17
1.6 ChatGPT 带来的风险与挑战 . . . . . . . . . . . . . . . . . . 19
第二章 ChatGPT 相关核心算法 24
2.1 基于 Transformer 的预训练语言模型 . . . . . . . . . . . . . . 24
2.1.1 编码预训练语言模型（Encoder-only Pre-trained Mod-
els） . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.1.2 解码预训练语言模型（Decoder-only Pre-trained Mod-
els） . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.1.3 基于编解码架构的预训练语言模型（Encoder-decoder
Pre-trained Models） . . . . . . . . . . . . . . . . . . 28
2.2 提示学习与指令精调 . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.1 提示学习概述 . . . . . . . . . . . . . . . . . . . . . . . 30
3
of 94
100墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
文档被以下合辑收录
相关文档
评论