更先进的GPT-4出来以后，可能会带来更为惊艳的成果 。几个月前，王咏刚与OpenAI的两位联合创始人见了个面，谈论了GPT-4的一些技术问题 。尽管尚没有准确的数据，但他分析说，GPT-3模型参数量级是1750亿规模的，而GPT-4的参数可能将比它高出几个量级 。他表示，那是令人叹为观止的训练量 ， “想象一下 ， 如果说GPT-3相当于昆虫大小的脑容量，那么 GPT-4可能会达到哺乳动物的脑容量” 。
不过，ChatGPT还远不完美 。因为这类人工智能对话机器人是通过消化互联网上公开的大量数据来成长的，所以 ， 它们的知识结构中同时有事实和虚构的部分，传递的信息可能也会存在偏见、甚至仇恨言论等 。前述生物学家表示，ChatGPT“不禁逗”，一些问题回答错误或者无法解答 。
《麻省理工科技评论》在去年11月末尖锐地指出，所有的大规模语言模型都在输出“nonsense（愚蠢的话）”，ChatGPT看起来解决了一些问题，但远不是一个彻底的终结 。OpenAI的科学家约翰·舒尔曼也承认 ， 还有很多事情要做 ， “我们在这个问题上取得了一些进展 ， 但还远未解决” 。
“从水下100米到马里亚纳海沟”
长期以来 ， 在AI领域 ， 存在着一场旷日持久的争论：基于深度学习和超强算力的大模型训练 ， 是否是抵达通用人工智能的最终道路？在这方面 ， OpenAI无疑是一个坚定的押注者 。
2018年6月，OpenAI发表论文《通过生成式预训练加强语言理解》 ， 首次介绍了自己的语言模型GPT-1 。它在深度学习模型Transformer架构上，使用了内含几十亿个文本文档的超大规模语言资料库进行训练 ， 参数量为1.17亿 。2019年2月 ， 升级版GPT-2发布 ， 模型参数达到15亿 ， 且训练模型的数据库也更大；2020年，规模大百倍的GPT-3诞生 。
【聊天机器人ChatGPT火出圈，能写论文、编代码、创作小说】创新工场人工智能工程院执行院长王咏刚打了个比方，如果说传统的机器学习或人工智能是在水下一米的深处探索，那么深度学习的出现将人们带到了一百米的深水区；而在Transformer、GPT等架构后，从业者们直接能抵达深度超过万米的马里亚纳海沟 。
过去5年中，大规模预训练语言模型受到业内越来越多的重视 。王帅指出，过去依靠人工标注和精巧设计的训练方法，数据量大幅增加以后，表现并不好；相反，大家逐渐意识到，不断扩大模型规模、不断用更多数据去训练模型，是提高算法能力非常有效的一个手段 。
“目前看起来，这种模型太有用了 。而且从ChatGPT的结果来看 ， 超出了我们的预料 。”王帅说 ， 可以认为这种不断增加规模的大模型已经是领域的一种范式，可能人工智能领域未来有很多地方都可以用类似方法推进 。
“今天，全世界的人工智能研究有很多方向，也产生了大量的成果 。但是严格来说，所有这些最令人惊艳的结果，90％以上是基于Transformer迭代来的这些大模型技术得到的 。”王咏刚也指出 ， 目前几乎所有的AI任务和项目，都会和大语言模型技术有关联，它已经代表了AI界最主流的科研和技术迭代方向 。
2022年7月，Alphabet旗下的DeepMind公司与欧洲生物信息研究所的团队合作公布了生物学领域的一项重大飞跃 。他们利用人工智能系统AlphaFold预测出超过100万个物种的2.14亿个蛋白质结构，几乎涵盖了地球上所有已知蛋白质 。许多研究人员表示，这一系列突破将加速新药开发，并为基础科学带来全新革命 。而Alphafold同样是基于Transformer结构的深度学习模型 。
相关经验推荐
- 百度连续两日大涨：市值超4200亿港元 受益于ChatGPT概念
- 瑞银：ChatGPT月活用户达到1亿人，创增长最快纪录
- ChatGPT将在美推订阅服务：月费20美元，高峰时间也能流畅使用
- ChatGPT很厉害，但还有关键问题悬而未决
- 捡到校园卡却被对方以为要追她什么意思 捡到校园卡却被对方以为要追她事件聊天记录
- 捡到校园卡却被对方以为要追她 捡到校园卡却被对方以为要追她事件聊天记录
- 聊天暴露癖是什么意思 什么是聊天暴露癖
- ChatGPT火出圈，多家A股紧急澄清！
- 为防止妈妈偷看聊天记录，小学女生苦练英语，最后还是败给了学历
- “求求了，别再用聊天记录当表情包了”