为什么消费者银行的AI完全建立在抹布和监督的微调之上：Reilly Breaux

自2022年以来，消费者银行业务中围绕“ AI”的对话几乎没有经过简单的聊天机器人和欺诈检测。 “下一个边界”是一种能够进行有关客户整个财务生活的细微，安全和上下文感知的对话。我们已经谈到了多年，但是在哪里？实现这一目标需要将通用的大语言模型（LLMS）移至建立在两个关键支柱上的专业系统：检索效果的生成和监督微调。对于传统机构和Neobanks，这些架构的整合不再是投机性的研发项目。

现成的LLM的严重失败

通用的基础模型虽然强大，但从根本上来说，不适用于消费者融资的精确领域。局限性存在存在风险：

1。幻觉和不准确：

香草法学硕士仅根据其预培训的知识运作，可能会自信地发明银行的产品条款，Misstate APR或提供错误的监管指导。 许多这样的情况。文本生成的随机性质与财务准确性的零容忍度不符。

2。数据延迟和相关性：

模型的知识在最后一次训练中被冻结了。它无法访问实时数据（即“账户余额”，即将进行的交易或银行的最新抵押贷款利率）立即过时并且可能有害。

3。缺乏个性化：

如果不访问私人客户特定的数据存储，LLM只能提供通用的财务建议。它不能回答唯一重要的问题：“本周我可以花多少钱在杂货上？”还是“根据我的现金流，我应该投资这笔奖金吗？”

理想情况下，抹布和SFT直接解决了这些失败，将概率文本生成器转变为可靠的实时财务副驾驶。

架构检索命名的一代

1。私人知识库：这是银行的专有数据宇宙，用于语义搜索。它包括：
*结构化数据：实时帐户余额，交易历史记录，产品目录（带费率，条款和费用）和内部政策文件。
*非结构化数据：监管档案的PDF（例如，Reg E，Z），客户协议，营销常见问题解答和财富管理研究报告。

2。检索机制：当客户问：“国际电线的费用是多少？”查询首先将其路由到此知识库。高性能矢量相似性搜索检索上下文特定的片段 – 客户的帐户类型协议和/或地理位置的确切费用时间表。

3。增强一代：不要求LLM从其内部重量中回答。取而代之的是，它提供了这些检索到的事实文件，并指示综合自然语言响应。大概应该这样。这通过将模型绑在培训师的主观上，通过将模型绑定到真理来消除幻觉。

对于银行来说，抹布管道是提供个性化和实时答案的唯一方法，例如“根据我过去三个月的支出，我可以安全地转移到今天的储蓄帐户？”

域专业知识和监督微调

尽管RAG提供了“事实”，但SFT塑造了模型的“个性”和推理框架。这是在经过精心策划的指令输出对数据集中进一步培训基本LLM以在特定任务中脱颖而出的过程 – 在这种情况下是财务对话。

必须对银行的SFT数据集进行设计以灌输关键行为单位：

*语气和合规性：培训实例必须执行始终如一，兼容和明确的语气。该模型必须学会消除歧义的请求，并默认为安全，可验证的信息。
*推理模式：SFT教授模型财务推理的逻辑流。例如，有关“如何为房屋储蓄”的查询应触发结构化的推理过程：首先，分析当前的储蓄率；第二，检索抵押产品信息；第三，根据用户的交易数据计算潜在预算（如果您是专业人士（如果您是邮政编码）的中位数收入）。
*处理歧义：客户查询通常很模糊。 “我需要更多的钱”可能是关于贷款，增加信用额度或渴望储蓄建议的疑问。 SFT训练该模型以认识到这种歧义，并产生与银行协议一致的澄清问题。

SFT将模型从通用对话主义者移动到了解域的约束和操作程序。

生产中的抹布/SFT

当将抹布和SFT配合使用时，就实现了真正的力量。 SFT优化的模型充当推理引擎，知道要问什么以及如何推理。 RAG框架为其提供了可以执行该推理的验证数据。

该体系结构启用了既响应又安全的多转向对话：
*“我可以负担得起一辆新车吗？”
*“为了回答，我需要分析您的每月现金流，看看您有资格的汽车贷款产品。可以吗？”
* “是的。”
*查询：1）平均每月收入/可支配收入，2）当前信用评分（贷款资格），3）来自产品目录的当前汽车贷款利率。
*“根据您目前的财务状况，您的可支配收入约为每月800美元。凭借您的信用评分，您有资格获得4月5.5％的利率。在60个月内的30,000美元贷款将为约575美元/月。这看起来很可管理。您想看到预先合格的报价吗？”

因为，作为亲眼目睹的，美国排名前100的银行有点委员会和股东对将双百年男子释放给消费者。但是对于消费者银行来说，这是最终游戏：部署在个人财务现实的严格框架内。