◇ 作者:中央结算公司信息科技部副主任 张爽
◇ 本文原载《债券》2025年5月刊
生成式人工智能(AI)技术在金融领域的应用正加速推进,同时也面临数据合规、算法偏见、数字鸿沟等多维风险。本文系统梳理了生成式AI的发展历程及其在金融领域的应用实践,从数据、计算和应用等层面分析了相关风险,并结合中外监管政策,提出构建责任框架、提升算法透明度、强化数据治理等应对建议,以期为金融行业安全应用生成式AI提供参考。
生成式AI 金融科技 安全风险 数据合规 算法备案
人工智能(AI)技术的蓬勃发展推动着金融科技领域的快速迭代。生成式AI(Generative AI) 作为其重要分支,凭借自身强大的内容生成能力掀起了新一轮智能化浪潮。
当前,随着数字化转型的逐步深入,金融业依托领先的数字化水平,孵化出诸多智能、高效的应用场景,从智能服务到风险管控,从投资决策到内部运营。AI技术快速重塑着金融行业的生产模式,赋能金融生产力提升。然而,不可忽视的是,一系列新型风险也在悄然滋生,对金融监管提出了新挑战。下文将回顾生成式AI发展历程及其在金融领域的应用情况,并在探讨其潜在风险的基础上,提出预防性管理建议,以期为金融行业提供参考,助力生成式AI技术在金融领域健康发展。
生成式AI的发展历程
AI技术起源于20世纪50年代,随着算法、算力、数据三要素产业的同步发展,逐渐从判别式AI(Discriminative AI)演进为生成式AI,其发展历程主要可以分为四阶段(见图1)。
一是统计学习模型阶段。自图灵测试将AI技术引入公众视野以来,人类一直在探索如何用机器掌握语言。在早期统计学习模型阶段,研究主要集中于统计模型和概率推断,以n元语法(n-gram)和马尔可夫模型为代表,其通过计算数据集中的条件概率分布为分析、判断和预测提供依据,强调规则判断和逻辑推理。然而,此类模型受限于参数面临指数级扩增问题,难以准确估计高阶语言模型,只能基于特定规则处理特定任务。
二是神经网络模型阶段。在自然语言处理(NLP)领域,以词嵌入(word embedding)和上下文语言建模为代表的神经网络模型的出现,标志着AI模型的发展进入第二阶段。该阶段强调数据驱动和知识表示,开创了将语言模型应用于表示学习(representation learning)的先河,为后续生成式AI模型的蓬勃发展奠定了坚实基础。
三是预训练模型阶段。得益于计算能力的提升与大数据的广泛应用,深度学习技术迅速成熟,AI模型在文本处理方面的性能显著提升。谷歌公司提出的Transformer模型在机器翻译、文本摘要和问答等NLP任务上的性能显著提升,成为NLP模型发展的重要转折点。基于Transformer架构,业界演进出一系列如BERT、GPT-1/2等生成式预训练模型,奠定了生成式AI快速发展的基础。同期研究也验证了模型规模与性能提升的正相关性。
四是大语言模型阶段。随着AI模型的逐步扩增,模型参数从数亿级别跃升至数千亿甚至万亿级别,逐步演进为大规模语言模型(LLMs,以下简称“大模型”),极大提升了模型的表现力和推理能力。开放人工智能公司(OpenAI)推出的ChatGPT模型作为其中的代表,展现出卓越的连续对话能力和上下文理解能力。通过预训练和微调,大模型在各类任务中表现出优秀通用性和适应性,在图像生成、代码生成、音乐创作等多个领域拉开了生成式AI产业化发展的序幕。2024年,以深度求索(DeepSeek)为代表的混合专家系统(MoE)架构模型,在大幅提升模型推理效率的同时降低了推理成本,为大模型技术更大规模的应用奠定了基础。
生成式AI在金融领域的应用
金融业作为数据密集型产业,在日常业务中积累了海量用户及交易数据,与AI技术应用天然契合。国内外金融机构正在积极探索生成式AI在业务场景落地,主要可以分为智能服务、智能投研、金融风控、生产赋能等4个领域(见图2)。
(一)智能服务
生成式AI为智能服务领域注入新活力,推动着服务模式向更加人性化、个性化、智能化的方向发展。
在智能客服方面,生成式AI能够提供全天候的不间断服务,不受时间和地域限制,通过自然语言交互分析客户的需求、偏好和风险承受能力等信息,深入理解用户需求特征,提供更为精细和个性化的解决方案。
在智能营销方面,生成式AI能够根据用户画像和行为数据,生成个性化的产品推荐和服务,实现精准触达和高效转化。同时,生成式AI具备多语言支持的能力,能够满足全球客户的多样化需求,实现更大规模的并行服务,提升用户体验和服务效率。
(二)智能投研
在智能投研领域,生成式AI展现出巨大潜力,能够为金融机构提供更深入的行业洞察、更全面的信息,提升行业研究的效率和准确性。通过实时分析市场行情、企业财报等数据,生成式AI能够识别潜在的市场风险和投资机会,并结合特定业务需求,生成直观的市场趋势分析和预测报告,帮助金融机构作出更为科学准确的市场判断和投资决策。作为高效的自动化工具,生成式AI能够帮助金融机构摆脱庞杂的数据分析工作,大幅节约信息搜集时间,降本增效,从而带来客观的商业价值。
(三)金融风控
生成式AI在金融风控领域展现出巨大的应用潜力,其强大的数据处理和学习能力可以显著提升风控模型的准确性。通过学习海量的金融数据,以及建立更加复杂的风险模型,生成式AI可以识别传统模型难以检测到的风险信号和异常情况,预测信用风险和欺诈行为,在遵守监管要求的前提下,助力金融机构合规管理创新,及时发现和应对风险,减少潜在的损失。通过构建知识图谱,生成式AI能够帮助金融机构精准识别潜藏的灰黑色产业链1,反制和打击不法行为,助力金融风控从传统的被动防控转型为主动防御,维护金融体系稳定运行。
(四)生产赋能
在内部生产运营层面,生成式AI可以助力金融机构简化流程,提质增效。一方面,生成式AI可以帮助开发人员快速生成代码,提高开发效率,降低开发成本,加速产品研发和迭代,推动创新发展。另一方面,生成式AI能够自动化完成诸多重复性工作,如快速生成金融报告、撰写投资建议、响应客户服务等,降低人力成本,提高运营效率,推动金融机构的数字化转型升级。
生成式AI在金融领域应用的主要风险
生成式AI在金融领域的应用面临多维风险,可归纳为数据安全、应用效果和社会影响等3个层面。在数据安全层面,风险集中于数据的获取、处理与合规性,训练模型所依赖的金融数据可能涉及敏感信息或来源不明,存在侵犯隐私、数据泄露或滥用风险。在应用效果层面,生成式AI的“黑箱”特性使得决策逻辑难以解释,可能输出幻觉信息或固化算法偏见;训练数据投毒2会威胁内容安全与结果公正性。在社会影响层面,对金融市场和社会发展而言,技术鸿沟会导致数字不平等,而缺乏监管的数据垄断可能破坏行业生态。
(一)数据安全层面
1.数据合规风险
生成式AI模型的训练需要海量金融数据,如客户信息、交易记录、市场行情等,可能涉及敏感的个人信息和商业机密,在数据采集和使用过程中如未严格管控,会导致多种合规性风险。
一是数据来源不明。生成式AI可以自行爬取训练数据,如果数据来源不合规,例如使用未经授权或违规获取的数据,可能构成侵权甚至非法盗取数据行为。
二是侵犯个人隐私。在智能客服、风险评估等应用场景中,生成式AI会主动收集用户个人信息。如果未经用户同意或未告知用户使用目的,则会侵犯用户个人隐私。
三是数据泄露和滥用。对模型的训练和应用可能导致训练数据用于不当用途,特定的训练方式甚至可能突破模型的自身规则限制,泄露未授权数据或输出违规内容,并由此带来严重的经济损失和法律风险。
2.内容安全风险
生成式AI模型的训练依赖于数据,如果训练数据中包含虚假信息、恶意信息、违法信息等不当内容,可能导致模型生成的内容存在安全风险。例如,智能客服系统可能生成虚假信息,风险评估模型可能生成带有偏见的评估结果,投研模型可能生成误导性投资建议,给客户和机构带来不必要的损失。此外,生成式AI模型本身也可能被恶意“投毒”,导致其偏离既定的训练目标和轨道,并给金融数据质量和内容审核管理带来挑战。
(二)应用效果层面
1.模型透明度和可解释性风险
生成式AI模型的参数规模与复杂度远高于传统AI模型,其内部运作机制难以作范式化说明,输出结果的过程和逻辑更加难以解释,这导致模型的决策过程缺乏透明度和可解释性。这种“黑箱”现象使得金融机构难以评估模型的可靠性,难以判断模型决策是否合理,也难以解释模型输出结果的依据。例如,在进行风险评估时,如果模型对某个客户给出高风险评级,但无法解释其依据,那么金融机构就无法判断该评级是否合理,也无法向客户解释其被拒贷的原因。此外,缺乏透明度和可解释性使得生成式AI在发生错误或造成损失时难以有效追责,给合规监管带来挑战。
2.幻觉信息与算法偏见
生成式AI在金融决策中可能产生幻觉信息,即生成与现实世界事实或用户输入内容不一致的结果。这是由于在训练过程中,模型所使用的数据是否存在缺陷难以分辨,如果使用了统计特征单一、集中的数据集,或者其他AI生成的已限定训练目标的输出数据,并在此基础上叠加训练数据量有限,模型的特征就会贴近于训练输入的数据特征,进而生成与事实不符的结果。同时,这类问题也会导致算法偏见。如果缺乏全面的数据清理和数据归一化过程,在训练数据中存在的偏见可能被算法模型固化,进而演变为群体偏见,如出现性别歧视、种族歧视等问题,并在贷款审批、保险定价等领域歧视特定群体,冲击普惠性和公平性原则。
(三)社会影响层面
1.数字鸿沟
生成式AI的应用可能加剧社会中的数字不平等,产生新的技术鸿沟。例如,一些群体可能不具备使用生成式AI服务的条件,无法理解生成式AI的使用流程,被迫处于劣势地位。另外,在信息不对称问题上,金融机构可以通过生成式AI收集和分析大量用户级数据,而用户往往对其自身信息的使用情况缺乏了解,导致信息的不平等分配进一步加剧,未受保护的个人数据可能导致“柠檬市场”(信息不对称市场),破坏市场的整体信任和效率,造成市场失灵。
2.市场集中效应与数据垄断
生成式AI在金融市场的广泛应用,可能降低市场多样性和适应性,引发市场同质化。当金融机构普遍依靠相似的算法和数据集进行决策时,投资行为会出现高度同质化,引发市场波动性和系统性风险。特别是在遭遇负面信息时,生成式AI可能同时作出卖出决策,触发市场的急速下跌和“闪崩”事件,增加市场的脆弱性。此外,头部企业更易获取行业数据和前沿算法,训练出更优秀的模型,在市场上占据主导地位进而吸引更多用户,并形成数据和用户量的正向循环,最终造成数据垄断、阻碍行业健康发展。
对生成式AI的监管要求及挑战
(一)欧盟对生成式AI的监管
欧盟的监管体系强调预防性治理,采取了前瞻性和系统化的立法路径,以《通用数据保护条例》(GDPR)为基础、《人工智能法案》为核心,欧盟完成了从数据治理到算法治理的监管升级。《人工智能法案》于2021年由欧盟委员会提出,至2024年8月在欧盟范围生效达成最终文本,是全球首部全面规范AI的立法文件。该法案创新性地采取基于风险(risk-based)的分层监管框架,按照风险等级将AI划分为四类:不可接受风险、高风险、有限风险和最小风险。其中金融业AI应用被明确归类为高风险领域,须受到严格监管。
在监管执行层面,欧盟积极评估生成式AI技术对传统银行业务模式的冲击,并深入探讨生成式AI技术在金融行业中重新定义业务流程的方式及其对监管框架构成的挑战,探讨如何在不阻碍技术创新的同时,有效管理生成式AI带来的新风险,解决跨境数据流动所引发的法律与监管问题,并在成员国之间实现监管政策的协调与统一,在制度设计上具有全球领先性。不过,其基于静态风险评估的监管框架难以适配技术的指数级进化,可能导致追赶式立法的困境。同时,算法透明性要求与商业秘密保护存在底层冲突,且缺乏有效的技术验证手段。欧盟监管体系在灵活性、执行力与创新激励之间仍需实现更为平衡的制度调适。
(二)美国对生成式AI的监管
美国采用技术中性原则下的功能性监管策略,形成“联邦引导+行业自治”的混合治理体系,更为灵活和分散。与欧盟的统合立法不同,美国主要基于现有金融监管框架应对新兴技术的挑战,以确保监管的连续性和效率。2023年10月,时任美国总统拜登签署的《人工智能行政命令》成为这一体系的核心纲领。该行政命令要求AI开发者在模型达到特定能力(如用于国家安全、大规模虚假信息生成等)阈值时,必须向政府报告训练数据、模型能力、系统测试结果等关键信息,并配合进行安全评估。同时,行政命令强调保护公民隐私,促进公平、公正与透明,并鼓励联邦机构制定行业标准。
在具体监管执行层面,美国采取多机构协同机制。如国家标准与技术研究院(NIST)发布AI风险管理框架(AI RMF),为企业提供自愿性合规指导;联邦贸易委员会(FTC)针对生成式AI的虚假宣传、不正当用途等行为启动执法调查。此外,国会亦在推动《算法责任法案》《人工智能责任法案》等立法提案,但尚未全面通过。美国的监管体系重在激励创新与技术竞争力,监管方式强调自愿性、责任共担与多利益相关者合作。在生成式AI快速发展的背景下,美国监管体系展现出适应性强、路径多元的特征,但联邦与各州呈现碎片化管理、多头监管等问题,现有法规可能难以适应生成式AI技术的动态变化。
(三)中国对生成式AI的监管
我国在生成式AI监管领域构建了“发展与安全并重”特色治理体系,形成了“中央统筹、行业协同、技术赋能”的立体化监管格局,体现出国家主导、审慎包容与动态调整相结合的监管特征。其中,《中华人民共和国个人信息保护法》和《中华人民共和国数据安全法》两部上位法明确规定了生成式AI在金融领域应用的用户数据使用规范,国家网信办等三部委出台的《互联网信息服务深度合成管理规定》对具有舆论属性或者社会动员能力的生成式AI服务提出了安全评估和算法备案要求。
2023年8月,国家网信办等七部委出台的《生成式人工智能服务管理暂行办法》正式实施,首次明确促进生成式AI技术发展的具体措施,规定了生成式AI服务的基本规范,强调促进AI创新与维护国家安全并重,同时规定了AI服务提供方的责任和义务,具体包括:一是确保用于训练的数据具有合法性、高质量等特征,并及时进行算法纠偏;二是在提供AI相关服务时,需对生成和传播内容进行合规性评估,并确保服务稳健性;三是服务提供方需对生成式AI开展算法备案、算法披露、安全评估等工作;四是建立切实可行的个人信息保护机制,遵循最小化、必要性等原则收集个人信息,确保数据正确地存储和使用。
基于上述要求,在2022年8月—2024年12月,国家网信办已发布了10批算法备案清单及9批深度合成类算法备案清单。截至2024年12月31日,共302款生成式AI服务在国家网信办完成备案,预计未来备案工作将进一步深化。
在AI技术加速落地之际,标准化建设已成为推动行业高质量发展的关键因素。2025年初,市场监管总局与国家标准委发布《人工智能 大模型 第1部分:通用要求》、《人工智能 大模型 第2部分:评测指标与方法》与《人工智能 大模型 第3部分:服务能力成熟度评估》系列标准(GB/T 45288)。这3个标准共同构建了大模型的标准化体系,对推动我国生成式AI技术的发展、规范市场秩序、促进产业升级及提高国际竞争力,都具有深远的意义。
针对生成式AI所生成的内容,2025年3月,国家网信办等四部委联合发布《人工智能生成合成内容标识办法》,自2025年9月1日起施行。该办法旨在规范AI生成的内容,包括文本、图像、音频和视频等多种形式,以提升内容的透明度和可追溯性,保护公民、法人和其他组织的合法权益,维护社会公共利益。
对生成式AI安全风险管理的思考与建议
从全球趋势来看,AI与金融的深度结合是大势所趋,中央金融工作会议也提出要做好包括数字金融在内的“五篇大文章”。为促进生成式AI在金融科技领域的健康发展,可在责任划分、市场环境、数据治理、技术生态等方面进一步优化完善,支持金融行业规模化、可持续应用生成式AI,构建安全、可控、可信的产业生态。
(一)构建责任框架,明确责任主体
生成式AI在金融领域的应用涉及算法开发者、使用者及管理者等多方主体,需要明确责任划分,确保各个环节的参与者都能够清晰了解自己的责任和义务。可面向金融服务领域的生成式AI应用制定系统的管理框架,明确各方职责和权限,并建立相应的制度和流程。同时,探索就算法责任制定相关法规,明确算法决策的责任人、责任如何追究等问题,以适应AI系统决策的自主性和复杂性。
(二)提升算法多样性与透明度,维护市场公正
生成式AI在金融领域应用的同质化会导致市场风险集中,需要提升算法的多样性和透明度,降低市场风险,促进市场健康发展。可鼓励金融机构与市场参与者采用多样化的算法模型和数据源,降低投资策略的趋同性,增加市场的多样性和复杂性,促进市场的分散化,从而有效应对信息不对称和市场主导地位滥用等市场失灵问题。同时,实施更严格的披露要求,促使市场参与者公开AI模型的特性、数据来源及决策逻辑,提高市场的透明度,加大对市场操纵行为的管控力度。
(三)强化数据治理与数据合规,保障数据质量
生成式AI的训练和应用依赖于大量高质量的数据,因此需要加强金融数据的治理与合规工作,确保数据的准确性、完整性和安全性。可建立和实施严格的数据质量控制标准,以助力规范数据收集、处理和使用规则;可引入第三方审核机构,对金融机构定期进行数据审查和偏见检测,以独立、客观的视角评估和监督数据的质量和偏见情况,维持数据质量合规标准的公平公正;可鼓励或要求金融机构和AI系统的开发者提高算法决策的透明度和可解释性,通过开发和采用可解释的AI技术,提高算法决策过程的解释度和审查便利性。
(四)加强风险监测和预警,维护金融安全
应健全生成式AI在金融领域应用的安全监测预警机制,研究制定相关应用标准规则,统筹建设高效的监测预警平台,对生成式AI在金融领域的应用进行实时监测,及时发现潜在风险。同时,金融机构、科技公司等相关机构可建立信息共享机制,及时了解生成式AI在金融领域的应用情况,并及时发布风险预警信息。此外,可制订并完善应急预案,以便在发生重大风险事件时能够及时采取措施、控制风险,维护金融市场稳定。
(五)推动国际合作,共建安全生态
生成式AI技术的发展和应用离不开国际竞争与合作。在国际化的金融体系中,金融风险也具有区域溢出效应。加强国际合作,促进技术信息共享,有助于各方充分认识金融科技新兴风险。相关金融机构和科技公司可积极开展国际合作,共同推动生成式AI技术的研发和应用,这也是促进全球金融科技安全生态创新发展的必由之路。
注:
1.金融灰黑色产业链,是指围绕金融链条衍生的各种非法行为(包括金融信息窃取、洗钱、金融欺诈、非法维权、代理退保、恶性催收等)所形成的灰色、黑色产业链。
2.数据投毒是指攻击者通过更改训练数据来操纵AI或机器学习模型的输出。攻击者发动AI数据投毒的目标,是让模型在推理过程中产生有偏见或危险的结果。
债券微课堂
推荐阅读
中债研报
权威报告
特别策划