时间:2023-06-14 17:27:31 作者: 人气:
“大模型要融入到行业的核心生产经营流程,可能还需要很长的路要走。”6月10日,中国信通院金融科技研究中心副主任赵小飞在新金融联盟举办的“金融机构数智化转型与大模型技术应用”内部研讨会上表示。
以工业为例,赵小飞分析称,生成式AI的技术原理往往是寻找一种“最有可能”的答案,但是工业生产不需要“有可能”,工业生产需要的是确定性,因为一个小小的故障和停机就可能带来成百上千万的巨额损失。当然,生成式AI在工业中也不是没有作用,它在制造企业的流程优化中会发挥作用。
会上,新金融联盟学术理事、工商银行(601398,诊股)首席技术官吕仲涛,民生银行(600016,诊股)数据管理部总经理沈志勇,平安银行(000001,诊股)数字资产管理与研发中心总经理刘锦淼,第四范式联合创始人、首席架构师胡时伟做了主题发言。新金融联盟理事长、中国银行(601988,诊股)原行长李礼辉,赵小飞进行了点评交流。
56家银行及非银机构、55家科技公司的170多位嘉宾通过线上线下(300959,诊股)参会。会议由新金融联盟秘书长吴雨珊主持,中国金融四十人论坛提供学术支持。以下为赵小飞的发言全文,已经本人审核。
大模型应用距赋能
行业核心生产经营有多远?
文 | 赵小飞
2022年9月,中央全面深化改革委员会第二十七次会议顺利召开,审议通过《关于健全社会主义市场经济条件下关键核心技术攻关新型举国体制的意见》。会议指出要健全关键核心技术攻关新型举国体制,加强战略谋划和系统布局,明确主攻方向和核心技术突破口,重点研发具有先发优势的关键技术和引领未来发展的基础前沿技术。人工智能毫无争议的是国家战略的重要组成部分,发展大模型可能成为举国体制的一个实践。
大模型的全称为大规模预训练模型,其中大规模是指参数规模超过10亿,预训练是指在海量通用数据上进行预先训练以实现良好的通用性,模型则是指以Transformer为基础框架的可实现并行计算和自注意力的深度神经网络模型。这里比较关键是预训练,预训练模型的概念早在2015年被提出,预训练技术的核心思想是迁移学习,模型可以被复用,有效降低了训练成本。另外,预训练模型具备较高的通用性和扩展性,可使用特定领域数据微调实现多场景应用。
2018年谷歌基于Transformer架构提出大规模预训练模型,OpenAI同期提出GPT预训练模型,成为大规模预训练模型发展的关键节点(10亿级别)。2020年公开的GPT-3超大规模预训练模型,参数量达到1750亿,也是全球首个参数规模达到千亿级的预训练模型,此后大规模预训练模型的发展进入喷涌期。
支撑大模型发展的四个基础条件
大模型是一个系统化工程,需多方面基础技术和基础设施成熟,才能实现快速进展。
算法要素方面,深度学习、神经网络等人工智能算法不断演进,促使大模型诞生。大模型是神经网络持续加深、拓宽的产物,继承并放大了深度学习的所有特性。2017年Transformer结构被正式提出,作为一种避免循环的模型结构,完全依赖于注意力机制对输入输出的全局依赖关系进行建模。
数据要素方面,数据体量日渐庞大,为大模型提供知识储备。根据Statista测算,到2035年,全球数据产生量将达到2141ZB。大模型参数规模与神经元节点较多,在开发阶段对训练数据需求较大,超大规模的数据量为大模型的优越性能打下坚实基础。
算力要素方面,算力规模不断扩大,为大模型提供坚实计算基础。近年来,我国算力产业年增长率近30%,算力总规模位居全球第二。截至2022年底,我国算力总规模达到180EFLOPS(每秒浮点运算次数),只有超大规模的算力才能支撑大模型的训练,才能让多模态应用有更好的效果。
当然,还有硬科技方面的进步也很重要。黄仁勋分享过创业故事,2012年,英伟达将其GPU应用于深度学习研究,GPU的并行计算能力在处理密集数据时效率远高于CPU,为英伟达成为AIGC最大的获利者,埋下伏笔。此后,英伟达的深度学习不断迭代能力,推出V100、A100系列GPU产品,OpenAI也在GPU算力升级的加持下,从GPT-1迭代到GPT-4。
大模型怎样赋能行业专用领域
中国信通院从落地场景切入,通过对征集到的几十余项大模型应用案例进行分析,发现大模型不仅可以归结为识别、分类等传统人工智能能力的集大成者,更是内容生成、人机交互等新业态的创造者。
总体来说,语言及视觉是当前大模型落地的两大热门领域,其中,NLP(神经语言程序)、CV(机器视觉)是大模型两大热门领域,案例占比超过七成,但多偏向感知层。
因为大模型能够很大程度上整合算力、算法、数据、知识等关键要素,持续释放深度学习红利,可以说,大模型成为加速人工智能普惠发展的强劲动力引擎。
大模型的发展,在游戏、传媒、电商、影视、教育、金融等领域的从业者已经直面感受到了被AI“抢饭碗”的压力,但要融入到行业的核心生产经营流程,可能还需要很长的路要走。
以工业为例:
首先,工业从业者认为当前大多数生成式AI模型主要关注文本和图像,以互联网和人产生的数据为主,只有非常少量的模型关注将机器自身生成的数据,例如传感器数据作为输入。工业场景中的很多数据是不可读取的,或者即使读取了也需要一个翻译和解读的过程才能理解。工业场景中有自己的“语言”,光一个PLC(可编程逻辑控制器)的控制和互联互通就已经让人非常头疼。
更重要的是,在数据之外,工业领域对安全、稳定、可靠等指标极其严苛的追求,才是生成式AI不能满足的地方。生成式AI的技术原理往往是寻找一种“最有可能”的答案,但是工业生产不需要“有可能”,工业生产需要的是确定性,因为一个小小的故障和停机就可能带来成百上千万的巨额损失。
工业制造细分领域众多,各领域在生产流程、工艺、生产线配置、原材料及产品类型上均具有较大差异,强调的是细分行业的机理融合和行业知识,没有海量数据(603138,诊股)标签,工业领域基本上不可能形成类似GPT这样的通用大模型。
当然,生成式AI在工业中也不是没有作用,它在制造企业的流程优化中会发挥作用。比如,在产品开发阶段,生成式AI能够压缩设计和迭代的过程,从而带来显著的效率提升,有创业公司用生成式AI为英国的豪华跑车制造商阿斯顿·马丁设计的概念车打造后车架,从设计的提出、对比分析,到评估其可制造性,在短短一个小时之内就可进行30~40次迭代。
另外,跟踪生产流程的进度也非常有用,比如跟踪生产仪表板中的数据,一定程度上实现预测性维护。还有一个更为重要的是,人机沟通方式发生变革,比如阿里云工程师正在实验将千问大模型接入工业机器人(300024,诊股),在钉钉对话框输入一句人类语言,即可远程指挥机器人工作。
大模型在金融行业的应用场景
金融行业生产经营虽然没有工业那么复杂,但对于安全性的要求,以及对于民生、经济安全的影响会更高,所以对于新技术应用是非常谨慎。其他行业的态度或许能够参考。
金融行业在积极探索大模型的应用,BloombergGPT横空出世,金融行业成为垂类大模型技术落地先锋领域。该大语言模型专门针对各类金融数据进行训练,能够全方位支持金融领域的自然语言处理(NLP)任务,如市场情绪分析、命名实体识别、新闻分类和问题回答等。该模型利用大量彭博社的金融数据源和一个拥有3450 亿标签的公共数据集构建一个训练语料库,包含超过7000 亿标签。这个训练语料库使BloombergGPT 在金融任务上的表现远超其他现有的语言模型,其在通用场景上的表现也比目前的模型更加优越。
今年4月,中科院数学与系统科学研究院几位专家在《管理评论》期刊发表过一篇《ChatGPT+金融:八个值得关注的研究方向与问题》,在股票投资领域可以通过时间序列发现和验证各种指标、进行消息情感分析,推荐投资组合;风险管理领域,提升投资组合管理平台的效率;金融知识教育方式提升。但是,论文中也提到了可能形成的客户隐私处理、风险误判、误导市场等。论文提出了8方面方向:金融数据安全、金融舆情监测、市场情感分析、风险管理、私人投顾、知识图谱和投资研究、市场预测和交易决策、金融产品推荐和销售。
监管方面,很多仍然是老生常谈,网络安全、隐私泄露、道德风险、知识产权侵犯等,与其他金融创新是一样的,所有的金融创新都伴随着这些风险,这些是成长中的烦恼,在发展中会总会解决。