如何避免Genai幻觉：Scott Zoldi

去年，由生成人工智能（Genai）产生的“幻觉”在法庭和新闻中引起了人们的关注。 彭博新闻报道说：“高盛集团公司，花旗集团，摩根大通公司和其他华尔街公司都警告投资者对人工智能使用日益增长的使用，包括软件幻觉，员工 – 摩尔山问题，网络犯罪分子的使用以及全球变化的法律影响。”

Genai幻觉确实是有问题的。例如，斯坦福大学的研究人员去年发现，诸如Chatgpt之类的通用Genai工具在用于法律目的时的错误率高达82％。根据斯坦福大学的一项不同的研究，针对法律应用的专门制造的Genai Tools为法律申请更好，产生了17％的时间。

无论幻觉率如何，任何行业中的人类消耗Genai的产出进一步加剧了问题：他们可能不会注意到幻觉或关心以验证输出，而是直接在其上作用。

为什么Genai模型幻觉？

可能导致Genai幻觉的因素包括：

• 数据的类型，质量，数量和广度 用于培训事项。大多数大型语言模型（LLMS）是“通用模型”，其中包含与使用LLM的特定问题无关的数据和事实。
• 培训前数据覆盖率低 用于引起关键令牌和主题。 LLM技术代表单词和/或单词类作为令牌，并使用这些令牌和这些令牌的统计数据的序列来产生答案。如果没有足够的统计覆盖范围，LLM可能会根据噪声而不是明确的清洁信号来推论，而清洁信号受培训中强大的统计数据。
• 缺乏自我约束 在LLM中，不禁止在响应中使用低训练数据覆盖范围示例。该问题源于大多数LLM并不考虑是否有足够的统计覆盖范围来形成其反应，而是假设响应在统计上是合理的。大多数LLM都不会检查何时覆盖范围何时可以充分支持答案。
• 缺乏理解 通过基础模型在其原始预培训期间已经学到的代币的偏见，这种记录的检索论证产生（RAG）可以提高幻觉速度。破布可以使统计数据以不自然的方式推动幻觉和偏见。

检测幻觉很困难，因为LLM算法是不可解释的，并且没有提供可见性以证明其反应是合理的。即使据说在响应中引用了抹布上下文，您也可能会发现事实并非如此。在不知道答案的情况下，偶然地依靠LLM中的不良统计数字获得可能的答案可能是高风险。

如何减少Genai幻觉？

许多组织已经试图使用低级适应（LORA）等微调技术来自定义验证的LLM。为了减少幻觉，需要指定用于构建大型语言模型的域和任务数据，这些模型将在与用例相关的数据上培训时具有较少的幻觉。

还需要其他模型来监视和最大程度地减少幻觉造成的伤害。企业策略应优先考虑如何在业务环境中使用这些工具的输出，并利用基于风险的策略来决定何时和何时不使用输出，以及如何基于用例设置风险容忍度。专门设计的Genai Trust分数反映了提示和答案与批准答案保持一致的可能性。高信任分数意味着幻觉的风险很小，信任得分低意味着高幻觉的风险。有了信任评分，您可以设定风险承受能力，并控制对您的业务的幻觉和损害，同时受益于生成AI技术的能力。

使用专注的语言模型来对抗幻觉

负责任地在金融服务中使用Genai的最佳方法始于集中语言模型（FLM）的概念。 FLM是基于域名和任务级别的专业设计的培训数据集建立的小语言模型（SLM） – 换句话说，来自最终模型的上下文中的数据，例如金融服务中的风险管理决策。由于较小的模型导致推断潜伏期和成本较小，因此这会提高准确性，增强对产出的信任以及生产效率。

FLM是一个将数据科学重新回到Genai的新概念，并以符合负责任的AI原则的方式。良好的特异性水平可确保选择适当的高质量和高相关性数据；稍后，您可以进一步训练模型（“任务调整”），以进一步确保其正确地专注于手头的特定业务目标，并在业务流程中进行运营。

FLM方法与市售的LLM和SLM明显不同，后者无法控制用于构建模型的数据。对于企业而言，这种对训练和任务培训数据的控制对于防止幻觉和伤害至关重要。完全控制此培训数据是负责AI使用这些变压器模型的第一个必要步骤。

专注的语言模型使Genai可以负责任地使用：

• 它具有透明度和控制适当和高质量的数据，在这些数据上构建了以核心域名为中心的语言模型。
• 除了以行业为重点的语言模型外，用户可以创建特定于任务的集中语言模型，并具有紧密的词汇和培训环境，以实现手头的业务目标。
• 由于数据的透明度和控制，所得的FLM可以伴随着每个响应的信任评分，从而允许基于风险的Genai操作。

好奇了解更多吗？加入我的7^Th 9月9日在伦敦举行的金融服务会议上的AI，我将在演讲中讨论此主题。