了解大型语言模型 (LLM) 中的解码策略

大型语言模型 (LLM) 经过训练可以预测文本序列中的下一个单词。然而，它们生成文本的方法涉及概率估计和称为解码策略的算法的组合。AssemblyAI 表示，这些策略对于确定 LLM 如何选择下一个单词至关重要。

下一个单词预测器与文本生成器

在非科学文献中，LLM 通常被描述为“下一个单词预测器”，但这可能会导致误解。在解码阶段，LLM 采用各种策略来生成文本，而不仅仅是迭代地输出最可能的下一个单词。这些策略被称为 解码策略，它们从根本上决定了 LLM 如何生成文本。

解码策略

解码策略可分为确定性方法和随机性方法。确定性方法对于相同的输入产生相同的输出，而随机性方法引入了随机性，即使输入相同，也会导致不同的输出。

确定性方法

贪婪搜索

贪婪搜索是最简单的解码策略，每一步都会选择最有可能的下一个标记。虽然效率很高，但通常会产生重复且枯燥的文本。

定向搜索

集束搜索通过在每个步骤中维护一组前 K 个最可能序列来概括贪婪搜索。虽然它可以提高文本质量，但仍会产生重复且不自然的文本。

随机方法

Top-k 采样

Top-k 抽样通过从前 k 个最有可能的选择中抽取下一个标记来引入随机性。然而，选择一个最佳的 k 值可能具有挑战性。

Top-p 采样（核采样）

Top-p 采样根据累积概率阈值动态选择标记，适应每一步的分布形状并保留生成文本的多样性。

温度采样

温度采样使用温度参数调整概率分布的锐度。较低的温度会产生更确定性的文本，而较高的温度会增加随机性。

通过典型抽样优化信息内容

典型采样引入了信息论中的原理来平衡生成文本的可预测性和意外性。它旨在生成具有平均熵的文本，同时保持连贯性和吸引力。

通过推测采样提高推理速度

推测性抽样是 Google Research 和 DeepMind 最近发现的，它通过每次模型传递生成多个标记来提高推理速度。它涉及由草稿模型生成标记，然后由目标模型验证和更正它们，从而显著提高速度。

结论

了解解码策略对于优化 LLM 在文本生成任务中的性能至关重要。虽然贪婪搜索和集束搜索等确定性方法提供了效率，但 top-k、top-p 和温度采样等随机方法引入了必要的随机性，以实现更自然的输出。典型采样和推测采样等新方法分别进一步提高了文本质量和推理速度。

图片来源：Shutterstock