大模型的竞争要素是什么?我们从思考AIGC带来的技术变革意义,以及为什么是OpenAI引领此次变革出发,对比当前国内外通用大 模型,总结了几个主要的竞争要素:模型规模、训练效率、使用便利性、商业模式等,目前GPT-4多方面领先;国内的大模型目前在 使用效果上和GPT-4仍有差距,算力资源是额外需要考虑的一个竞争要素,当然,专业的AI人才是必备的基础条件。
算力基础设施是AIGC的“卖铲人”。我们把AIGC产业分为上游的算力及数据服务,中游的MaaS,及下游的应用。在AIGC系列报告 (二)中,我们详细测算了大模型训练及推理需要多少算力,英伟达在全球AI算力环节竞争格局最为突出。数据是大模型的“饲料”, 数据工程不只是模型finetune和对齐需要的高质量标注数据集,也包括增强模型“记忆”能力,提高计算效率等相关的技术创新。 MaaS垂直场景化赋能百业。通用大模型是高技术、高资本壁垒的,我们预计未来大概率会头部集中,但垂直行业的场景化开发需求可 能派生出丰富多样的垂直小/专模型。大模型的轻量化赋能IOT端也是一个重要的趋势,如具身智能将跨界变革带来众多行业机遇。
(相关资料图)
应用是被赋能还是被颠覆?GPT的生态化意味着重新定义人机交互界面/应用入口的重新洗牌,什么样的应用能不被颠覆而是有AIGC+ 的商业前景?我们概括为两类:一是提升生产工作效率的通用工具,应用场景对生成结果准确度要求不高,AIGC对内容供给速度有实 质性的提升,可将人从基础/重复性工作中解放;二是可能改变行业格局的场景应用,我们也概括为“有场景的C端,有数据的B端”,即 要求个性化生成和高频时效交互的C端场景,和行业差异化、专业化要求高的垂直B端,通过垂直长尾数据来建立竞争壁垒。
1.1、什么是AIGC?
AIGC定义:AI-Generated Content,基于预训 练大模型、对抗式生成网络(GAN)等AI技术, 通过数据/信息的运算,并通过适当的泛化能 力生成相关内容的技术。
1.2、摩根大通基于ChatGPT推出用于政策讯息解析的AI模型
23年4月,摩根大通发布基于ChatGPT语言模型的Robo-Fedwatchers模型,用于分析美联储释放出的政策讯息, 探明政策信号的“鹰鸽”信号,并从中寻找潜在交易信号。 以近25年来美联储政策和发言人讲话的鹰鸽得分数据来看,当模型显示美联储发言人在两次会议之间的鹰派立场 上升时,下一份政策声明就会变得更加鹰派,一年期政府债券的收益率也会上涨。这表明Robo-Fedwatchers模型 可以成功分析政策讯息,预测政策走向,并发现潜在的交易信号。欧洲中央银行和英格兰银行等也可以使用鹰鸽 评分方式,预计未来几个月这一模型将进一步推广,用于预测全球 30 多家中央银行的政策走向。
NLP算法迭代的主要阶段:RNN算法机制有两个缺点,第一个是语言的长距离信息会被弱化,第二个是串行处理机制所带来的计算效率低。使用双向 的RNN及LSTM长时间的短期记忆网络,比传统RNN在长距离信息识别上有更好的表现。 相较于RNN和CNN,Attention注意力机制的原理就是在每一层的计算中都考虑了词与词之间的全连接关系,在模型的并行 化运算的同时,能够很好的解决长距离信息依赖的问题。
1.3、为什么是OpenAI引领此次变革?
OpenAI成立于2015年,2022年11月30日发布聊天机器人ChatGPT,两个月注册用户就突破1亿,成为史上成长最快 的消费级应用。GPT-4为目前综合表现最好的自然语言大模型,OpenAI成为全球估值最高的AI初创公司。 坚定技术创新投入:Transformer架构下和Google不一样的技术路径,坚持扩大模型规模训练到“涌现”出现。 开源的理念:OpenAI创立之初宗旨是推动AI普惠,侧重开源研究和开发。开源的模型可以得到广泛的反馈和建议; 也可与其它研究机构、公司建立合作关系,得到更多的资源和知识;同时提升透明度和信任度。
涌现理论:扩大模型规模是提升自然语言处理能力的有效手段:自然语言处理任务的准确率与训练量紧密相关,“大力 出奇迹”! 根据最新的论文研究,当模型训练量小于1022时, 在几个自然语言处理任务上的准确率都在0附近,而 当训练量超过1024 后,模型的准确率大幅提升,该 效应称之为“涌现”。 GPT4大模型在参数量及数据集较GPT3有大幅提升, GPT4在自然语言任务处理上所表现出的优异性能进 一步表明,通过提高模型参数量、扩大数据集来提 高模型性能的方法仍然没有碰到天花板,因此持续 扩大模型规模是提升自然语言处理能力的有效手段。 当然,不断扩大的模型规模需要的计算资源将指数 级提升。
2.1、算力——AIGC的“卖铲人”
预训练是指使用大规模未标注的 数据来训练模型,以使模型能够 学习到普遍的特征和结构。Finetune是指在已经预训练好的模型上,用 标注数据对模型进行有监督的微调,以适应 特定的任务。在Fine-tuning阶段,微调可以 使用较少的标注数据在相对较短的时间内完 成模型训练。推理训练是指使用微调 后的模型进行推理任务 的训练,以进一步提高 模型的性能和泛化能力。
2.2、大模型训练算力总需求测算
根据“Kaplan, J., McCandlish, S., Henighan, T., Brown, T.B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J. and Amodei, D., 2020. Scaling laws for neural language ”的论文,基于 transformer的自然语言处理(NLP)大模型可分为三类:Encoder-Only(E),Decoder-Only(D)和EncoderDecoder(ED)。模型的训练算力需求可根据以下公式计算: 训练算力需求 = 模型参数量×数据集数×系数 其中,的取值取决于模型种类,如果模型种类为Encoder-Only或Decoder-Only,则=6;如果模型种类为 Encoder-Decoder,则=3。 以GPT3大模型为例,总参数量(parameters)约等于175B(175*109);数据集token数约等于300B (300*109),GPT3大模型是Decoder-Only(D),因此我们测算GPT3大模型训练算力需求量为:(175*109)×(300*109) × 6 = 3.15 × 1023 = 315 ZettaFLOPS。
2.3、数据服务及基础设施开发工具
数据是大模型的“饲料” ,AI工程=数据工程+ 模型工程。数据资源对模型的成熟度有很大影响,数据资源和有效的数据加工处 理将提高大模型的准确度和效率。数据工程系 AI 工程的前置且基础环节,核心在于高效的数据标注。
2.4、具身智能:有身体并支持物理交互的智能体
什么是具身智能(Embodied AI)? 根据中国计算机学会,具身智能是有身体并支持物理交互的智能体,更侧重关注智能体与环境的“交互”,如家用服务机器人、 无人车等。1950年,图灵在论文《Computing Machinery and Intelligence》中首次提出了具身智能的概念;斯坦福大学的李 飞飞教授称“具身的含义不是身体本身,而是与环境交互以及在环境中做事的整体需求和功能”;人类是第一人称视角的智能。在Held和Hein所做的实验中,主动猫是具身的智能,可以在环境中自由行动,最终获得 了学习行走的能力;而被动猫是旁观的智能,只能被动观察世界,最终失去行走能力。结合李飞飞和卢策吾教授的说法,具身 具有物理身体,但不局限于载体形式,具有与人一样的身体体验的能力,其重点在于与环境的实践性“交互”,可以进行主动 式感知与获取数据。
具身智能涉及跨智能学科多个方向:根据北京大学前沿计算研究中心,具身智能涉及众多学科,如机器人工程用于设计和构建具 有自主行动和感知能力的机器人;计算机视觉让具身智能能够像人类一样理解和分析图像和视频;计算机图形学开发的物理仿真 环境给具身智能提供了真实物理世界的替代;自然语言给具身智能带来了与人类交流、从自然文本中学习的可能。 产业链可分为感知-想象-执行三个环节:感知即模拟人对视觉、语音、触感等全方面的感知,主要涉及传感器;想象是指模拟人 的思考决策过程,主要涉及机器视觉、语义识别等AI算法;执行是模拟人的行动过程,主要涉及控制器、减速机、电机、执行件、 芯片等。
2.5、哪些应用能真的被大模型“赋能”?
什么样的应用AIGC+有商业前景?那些应用可能被颠覆? 类别一:提升生产工作效率的通用工具(连接打通可能再创造增量价值) 对结果准确度要求不高,AIGC对内容供给速度有实质性的提升。比如降低内容创作门槛, 代替人工完成基础性创作工作,人能够参与到高价值的内容创作流程中。 类别二:可能改变行业格局的场景应用(有场景的C端,有数据的B端) 带来一个增量产业的崛起(如教育、医疗分诊,个性化生成,高频时效交互) B端对行业差异化和专业化要求更高,垂直行业长尾数据帮助finetune模型,容易建立壁垒。
AIGC赋能的第一类场景为提升生产工作效率的通用工具。在此类场景中,AIGC能在基础性工作中帮助或替代 人力。此类场景对AIGC生成内容的准确度要求不高,主要通过生成式AI提升内容供给速度、降低内容创作门槛, 从而帮助人员专注于高价值的工作及创作流程,提升工作效率。
金山办公拥有办公应用套件WPS Office,为对标Microsoft 365的AIGC+办公软件应用落地优质场景,公司沉淀 了大量用户文档数据,具有潜在的应用价值,同时也构建起坚实的数据壁垒,AIGC+WPS值得期待 。 AIGC+文档应用率先落地:金山办公WPS AI率先登陆在线协同编辑工具轻文档,实现知识分析、内容生成、 文本处理三大功能;目前WPS AI已全面结合表格、文字、演示、PDF四大应用。 WPS实机演示三分钟自动生成PPT:在百度“文心千帆”模型现场demo中,金山办公为百度提供了WPS的 API接口,通过问答形式,实现三分钟自动生成PPT。
无缝切换AI服务功能,提升数字营销能力。Adobe Sensei GenAI将AI 引入Adobe的云端产品,以提升企业的效率和生产力。具体功能包括 可实现基于文本的图片生成、视频剪辑及自定义矢量图的Firefly,可实 现AI文案撰写的Adobe Experience Manager Sites,聊天机器人Adobe Marketo Engage ,以及一系列数据分析功能等。 AIGC与图像处理等工具类应用结合,能大幅提升产品易用性,降低使 用者门槛,拓宽产品客群。AIGC与创意营销软件结合带来的营销内容 生成及数据分析能力,则能协助将用户的部分工作流程自动化,且深 度利用系统沉淀的数据,提高用户工作效率。
2.6、AIGC+金融:同花顺——拥有B端垂类数据优势,迎来量价齐升契机
公司将AI相关成果运用到金融信息产品和服务中,重点打造了i问财和AI开放平台两大落地场景。 i问财:具备多轮对话能力,可以为投资者提供智能选股诊股、选基诊基、资产配置、理财知识百科等理财助 理、理财投顾服务。 AI开放平台:面向客户提供智能客服机器人、智能会议转写、智能投顾、金融文档审核系统等40余项人工智 能产品及服务,应用于证券、基金、银行、运营商、科研院所、政府部门等多个行业。
拥有垂类专业数据壁垒,迎来量价齐升契机。截至22年底,同花顺金融服务网累计注册用户约6.14亿人,每日 使用同花顺网上行情免费客户端的人数平均约为1463万人,每周活跃用户数约为1942万人。公司坐拥千万级别 的日活用户,积累了各类交易品种的基本资料、财务信息、高频数据等垂直专业数据,具有垂直领域数据积累和 技术优势。随着后续大模型与AI进一步赋能导流,公司将迎来量(用户数&付费率)价(ARPU)齐升的契机。
AIGC+电商:Shopify——多环节赋能电商:电商场景不仅拥有标准内容生成及数据洞察的需求,顾客所需要的个性化推荐、个性化广告、个性化客服等需 求更为AIGC应用留下了广阔空间,可在减轻商家工作量的同时为顾客带来更好的销售体验,从而提高销售效率。
2023年3月1日,Shopify率先接入ChatGPT的API接口,ChatGPT在Shopify中应用场景广泛,可以用于聊天机器 人、推荐系统、广告内容生成等多环节中,从而改善顾客购物体验,并帮助商家提高销售效率: 聊天机器人:为客户提供咨询服务,对商品进行描述,为商家节省互动时间,帮助客户改善购物体验,优化互 动流程同时提高转化率。 个性化推荐:根据客户输入的历史查询内容,实现个性化定制推荐,提高购物体验。 广告内容生成:帮助商家生成促销电子邮件、广告和社交媒体帖子等营销内容,提升营销效率。 平台商品评论数据分析:帮助商家解析商品评论,将数据归档分类,给商家优化商品提供建议。
(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)
关键词:
天天时讯:2023年AIGC产业链投资机会分析 OpenAI引领AI产业变革
2023-05-264月我国国际收支货物和服务贸易进出口规模36698亿元_世界滚动
2023-05-26《心灵杀手2》参加夏季游戏节 6月8日亮相
2023-05-26淘宝的支付方式有哪些_淘宝支付方式有几种 天天热头条
2023-05-26微导纳米:公司在手订单指的是已签订合同但尚未履行完毕的合同额,新增订单是指期间内新增加的合同额
2023-05-26滚动:史上最大涨幅!康宁:所有玻璃基板提价20%
2023-05-26焦点简讯:关注美国债务上限谈判进展 英国或需继续加息丨就市论市
2023-05-26行稳致远 守正创新 中兴通讯发布2022年度可持续发展报告
2023-05-26高技术制造业投资增长30.1%|焦点报道
2023-05-26【快播报】三亚天涯海角游览区6月1日起免费开放
2023-05-26天天时讯:2023年AIGC产业链投资机会分析 OpenAI引领AI产业变革
2023-05-264月我国国际收支货物和服务贸易进出口规模36698亿元_世界滚动
2023-05-26《心灵杀手2》参加夏季游戏节 6月8日亮相
2023-05-26淘宝的支付方式有哪些_淘宝支付方式有几种 天天热头条
2023-05-26微导纳米:公司在手订单指的是已签订合同但尚未履行完毕的合同额,新增订单是指期间内新增加的合同额
2023-05-26滚动:史上最大涨幅!康宁:所有玻璃基板提价20%
2023-05-26焦点简讯:关注美国债务上限谈判进展 英国或需继续加息丨就市论市
2023-05-26行稳致远 守正创新 中兴通讯发布2022年度可持续发展报告
2023-05-26高技术制造业投资增长30.1%|焦点报道
2023-05-26【快播报】三亚天涯海角游览区6月1日起免费开放
2023-05-26Copyright 2015-2022 大众超市网版权所有 备案号:豫ICP备20014643号-14 联系邮箱: 905 14 41 07@qq.com