Fintech在AI上过度融合时可能出了什么问题，以及如何修复它：Martin Lewit

金融服务是利用AI所能提供的所有好处的最佳位置行业之一。从承保到欺诈检测，FIS是数据丰富的，并由文档密集型流程进行驱动，这正是AI在流线上脱颖而出的那种。

因此，毫不奇怪的是，预计跨银行，保险，资本市场和付款的AI投资可以达到
970亿美元到2027年，轮班已经进展顺利： 59％银行员工在日常工作中使用AI工具。

但是历史告诉我们，技术飞跃在没有远见的情况下可能是一个危险的游戏。这
算法交易繁荣 在1980年代和1990年代，自动化系统有望更快地进行交易，更高的效率和更高的利润，并交付了。但这也引入了一种新的不稳定。 高频交易导致了闪存崩溃和流动性差距，这是一个旨在速度控制速度的模型的副产品。

金融服务中AI的风险也存在。效率，节省成本和改善的客户体验的魅力是真实的。但是，没有适当框架的情况下向前冲，可以将金融科技暴露于有问题的结果，声誉损害或监管干预措施中。

AI失败的地方

二十年前，人们可能永远不会猜测，如今，在银行业务中，改变生活的决定（例如批准抵押或设定信用限额）将由计算机和算法决定。然而警告埋在 1979年IBM手册 感觉比以往任何时候都更有意义：“一台计算机永远无法承担责任，因此计算机绝不能做出管理决定。”但是今天，金融科技在测试该边界。

偏见的决策

AI越来越多地用于贷款决策。研究表明
40％贷款批准现在使用AI分析。但是，AI仅与馈送数据一样公正，这在将其应用于决策时至关重要。如果一个模型从本身不完整或歧视性的历史模式中学习，金融机构可以很快发现自己在大规模上自动化不公平。

缺乏人类治理

欺诈检测是领导者可能高估AI能力的另一个领域。 AI非常快，可以处理大量交易，但是欺诈者也使用AI以及绕过检测。德勤预测，Genai可以使欺诈损失能够达到
400亿美元 到2027年，在美国。当团队过度依靠自动化时，它会使人类的警惕性降低。如果没有明确的监督和升级触发，它延迟了对现有模式之外的新方案的检测。

预测意想不到的异常

风险建模可能是过度依赖最危险的地方。 AI在发现历史数据的趋势方面做得很好，因为它在已知的模式下表现良好，但是大多数财务冲击都不类似于历史数据。

一个鲜明的例子：在Covid-19大流行期间，周围
35％英国银行报告机器学习模型的性能下降。这是因为大流行引发了前所未有的经济破坏，这种破坏无法被接受历史预测指标或常规宏观经济数据训练的模型所预测。

AI是一种模式识别工具，而不是先知，而金融科技领导者必须了解AI的准确性在哪里结束和人类的监督开始。在透明性不可谈判的扇区中，AI和人类在循环过程中成为必不可少的，而不是可选的。

建筑护栏升级

AI可以在仅几秒钟内完成复杂的任务就可以胜过人类。但这并不意味着没有人类监督就应该起作用。人工智能很聪明，但并非无误。

当决策直接影响一个人的财务状况时，应该总是有一种人类监督的机制。正如IBM手册所述，计算机不能负责。当决策基于概率AI模型（金融服务中通常是这种情况）时，无论决策者是人类还是机器，都可以得出负结果。

因此，金融科技领导者必须专注于
人类在循环设计中以及升级框架以挑战偏见的决策，盲点和增加监督。这意味着设定决策阈值，例如置信度得分或违反直觉输出，作为触发人类审查的触发器。如果AI返回较低的信心得分或否认长期客户的信用少量增加，那是一个升级的信号。

例如，偏见可以通过
代理变量。如果AI系统在审查贷款申请时使用申请人的电子邮件域和电话模型来推断收入或教育，则相关性掩盖为Insight。这些代理经常反映社会经济偏见，而不是真正的信誉。人类在线系统应在此处分配较低的置信分数，以提醒人类审稿人介入和覆盖。

对于意外的异常情况，例如经济冲击，升级框架必须包括监视AI漂移。如果系统开始在类似情况下（尤其是在波动期间）提供不一致的结果，那是一个危险信号。这表明需要人进行干预，并且该模型的潜在重新培训。

不应将升级视为失败。人工智能可以帮助，但不能自我校正偏见，验证公平或预期下一个
黑天鹅。 这些框架建立了责任制并保持监管风险。一个良好的系统知道何时会延期人类的判断，以确保决策保持背景和透明。

平衡速度与审查

快速缩放的金融科技自然想要快速移动，但是它们必须在过程中构建解释性，而不是以后将其固定。金融科技无法建立对“道德债务”的信任，并应结合解释性工具，以了解AI模型如何做出决定。这些不仅改善了法规合规性，还可以帮助传达决策并建立客户信任。

一种工具是Shapley添加性解释（Shap）。这有助于检测和减轻AI决策中的偏见，通过为每个因素分配分数，以了解其对决策的贡献。如果AI拒绝贷款，Shap可以显示收入或就业状况对结果的影响。如果意外因素（例如地址）的排名很高，则可能指出需要审查的偏见。

局部可解释的模型不足解释（Lime）通过为每个单独的预测构建一个简单的模型来支持人类的监督。例如，团队可以向客户解释一个贷款申请，例如，分享了最近的较晚付款影响该决定。该模型创造了问责制，并帮助人类验证该模型的推理是否与政策和公平目标保持一致。

反事实分析通过询问来帮助解决意外异常：什么是导致不同决定的最小变化？例如，如果该申请人获得了5,000美元的收入，则该模型将批准贷款。但是，如果答案尚不清楚，这可能指向模型不稳定，尤其是在经济冲击期间。

同时，法规
欧盟AI法正在制度化对这些保障措施的需求。使用高风险AI系统（例如在信用决策中使用的）的金融科技，必须使用文档模型逻辑，监控漂移并允许人类吸引力。该法律强化了金融科技在扩展之前管理偏见，维持监督和捕捉异常的需求。

在金融服务中，危险在于金融科技领导者将AI视为决策者而不是决策支持工具。但是，那些负责任地使用AI，将创新与愿意进行干预和疑问的人将能够安全地扩展，并与客户和监管机构建立信任。