Wordpress通过自动推理检查功能最大限度地减少人工智能幻觉并提供高达 99% 的验证准确率：现已推出
亚马逊AWS官方博客 通过自动推理检查功能最大限度地减少人工智能幻觉并提供高达 99% 的验证准确率：现已推出 今天，我很高兴与大家分享自动推理检查功能，这是我们在 AWS re:Invent 期间预览过的一项新的 Amazon Bedrock 护栏策略，现已正式推出。自动推理检查功能可帮助您根据域知识验证基础模型（FM）生成的内容的准确率。有助于防止由于人工智能幻觉而导致的事实错误。该策略使用数学逻辑和形式验证技术来验证准确率，为检查人工智能响应的准确率提供了明确的规则和参数。 这种方法与概率推理方法有根本的不同，后者通过为结果分配概率来处理不确定性。实际上，自动推理检查功能可提供高达 99％ 的验证准确率，为检测人工智能幻觉提供了可证明的保证，同时还可以在模型的输出有多种解释时协助进行歧义检测。
正式推出后，将获得以下新特征：
- 支持单个版本中的大型文档，最多 8 万个令牌 – 处理大量文档；我们发现最多可以添加 100 页的内容
- 简化策略验证 – 保存验证测试并反复运行，这样可以更轻松地随着时间的推移维护和验证策略
- 自动生成场景 – 根据您的定义自动创建测试场景，节省时间和精力，同时有助于扩大覆盖范围
- 增强策略反馈 – 为策略变更提供自然语言建议，简化改进策略的方式
- 可自定义的验证设置 – 调整置信度分数阈值，满足您的特定需求，让您更好地控制验证的严格性
下面来看看其实际应用。 在 Amazon Bedrock 护栏中创建自动推理检查功能 要使用自动推理检查功能，需要先将知识域的规则编码到自动推理策略中，然后使用该策略来验证生成的内容。在此场景下，我将创建抵押贷款批准策略，以保护评估谁有资格获得抵押贷款的人工智能助手。重要的是，人工智能系统的预测不应偏离为抵押贷款批准而制定的规则和指导方针。这些规则和指导方针记录在用自然语言编写的策略文档中。 在 Amazon Bedrock 控制台中，我从导航窗格中选择自动推理来创建策略。 我输入策略的名称和描述，然后上传策略文档的 PDF 文件。名称和描述只是元数据，对于构建自动推理策略没有帮助。我描述了源内容，进而添加有关如何将其转换为形式逻辑的上下文。例如，我将解释我计划如何在我的应用程序中使用该策略，包括人工智能助手的问答示例。 策略准备就绪后，我进入概述页面，显示策略详细信息以及测试和定义摘要。我从下拉列表中选择定义来检查自动推理策略，该策略由规则、变量和类型组成，这些规则、变量和类型是为了将自然语言策略转化为形式逻辑而创建的。 规则描述了策略中的变量是如何相关的，并在评估生成的内容时使用。例如，在本例中，要应用哪些阈值以及如何做出一些决策。为了实现可追溯性，每条规则都有自己的唯一 ID。 变量代表原始自然语言文档中起作用的主要概念。每个变量都涉及一条或多条规则。变量使复杂的结构更易于理解。在这种情况下，一些规则需要考虑首付或信用评分。 自定义类型是为既不是布尔值也不是数字的变量创建的。例如，对于只能假定有限数量值的变量。在这种情况下，策略中描述了两种类型的抵押贷款，即保险抵押贷款和常规抵押贷款。 现在，我们可以通过测试评测初始自动推理策略的质量。我从下拉列表中选择测试。在这里，我可以手动输入测试，包括输入（可选）和输出，例如问题及其在客户与人工智能助手互动中可能得到的答案。然后，我设置了自动推理检查功能的预期结果。预期结果可以是有效（答案正确）、无效（答案不正确）或令人满意（根据具体假设，答案可能是对的也可能是错误的）。我还可以为查询/内容对从自然语言到逻辑的翻译指定置信度阈值。 在我手动输入测试之前，我会使用该选项根据定义自动生成场景。这是验证策略的最简单方法，而且（除非您是逻辑专家）应该是策略创建后的第一步。 对于每个生成的场景，我都会提供预期的验证，以说明是否可以发生（令人满意），或不能发生（无效）。如果没有，我可以添加一个注释，然后可以用来更新定义。为了更深入地了解生成的场景，我可以使用 SMT-LIB 语法展示测试的形式逻辑表示。 使用生成场景选项后，我手动输入了一些测试。对于这些测试，我设定了不同的预期结果：有些有效，因为它们遵循策略，有些无效，因为它们无视策略，有些令人满意，因为它们的结果取决于特定的假设。 然后，我选择验证所有测试来查看结果。在这种情况下，所有测试都通过了。现在，当我更新策略时，我可以使用这些测试来验证变更没有引入错误。 对于每项测试，我都可以查看调查发现。如果测试没有通过，我可以看看造成矛盾的规则，这些矛盾导致测试失败并与预期结果背道而驰。利用这些信息，我可以理解是应该添加注释、改进策略还是更正测试。 现在我对测试感到满意，我可以创建一个新的 Amazon Bedrock 护栏（或更新现有的护栏），最多使用两个自动推理策略来检查人工智能助手响应的有效性。护栏提供的所有六种策略都是模块化的，可以一起使用或单独使用。例如，自动推理检查功能可以与其他保障措施一起使用，例如内容筛选和上下文基础检查。护栏可以应用于 Amazon Bedrock 提供的模型，也可以通过 ApplyGuardrail API 应用于任何第三方模型（例如 OpenAI 和 Google Gemini）。我还可以将护栏与 Strands Agents 等座席框架一起使用，包括使用 Amazon Bedrock AgentCore 部署的座席。 现在我们已经了解了如何设置策略，我们来看看如何在实践中使用自动推理检查功能。
客户案例研究 – 公用事业停电管理系统
停电时，每一分钟都很重要。这就是公用事业公司转向人工智能解决方案来改善其停电管理系统的原因。我们与 PwC 合作开发了该空间的解决方案。 使用自动推理检查功能，公用事业公司可以通过以下方式简化操作：
- 自动生成协议 – 创建符合监管要求的标准化程序
- 实时验证计划 – 确保响应计划符合既定策略
- 创建结构化工作流 – 开发基于严重程度的工作流，定义响应目标
该解决方案的核心是将智能策略管理与优化的响应协议相结合。自动推理检查功能用于评测人工智能生成的响应。当发现响应无效或令人满意时，自动推理检查功能的结果将用于重写或增强答案。 这种方法演示了人工智能如何改变传统的公用事业运营，使其更加高效、可靠并能响应客户需求。通过将数学精度与实际要求相结合，该解决方案为公用事业部门的停电管理设定了新的标准。结果是缩短了响应时间，提高了准确率，并为公用事业及其客户带来了更好的结果。 用 PwC 全球和美国商业技术与创新官员 Matt Wood 的话来说： “在 PwC，我们正在帮助客户满怀信心地从人工智能试点转向生产，尤其是在监管严格的行业中，失误的代价不仅限于金钱损失。我们与 AWS 在自动推理检查功能方面的合作是负责任的人工智能领域的一项突破：经过数学评测的保障措施，现已直接嵌入到 Amazon Bedrock 护栏中。我们很自豪能成为 AWS 的发布合作伙伴，将这项创新应用于制药、公用事业和云合规等领域，在这些领域，信任不是一项特征，而是一种要求。”
注意事项
Amazon Bedrock 护栏中的自动推理检查功能现已在以下 AWS 区域正式推出：美国东部（俄亥俄州、弗吉尼亚州北部）、美国西部（俄勒冈州）和欧洲地区（法兰克福、爱尔兰、巴黎）。 使用自动推理检查功能，可以根据处理的文本量付费。有关更多信息，请参阅 Amazon Bedrock 定价。 要了解更多信息并构建安全的人工智能应用程序，请参阅技术文档和 GitHub 代码示例。点击此链接可直接访问 Amazon Bedrock 控制台。 此播放列表中的视频包括自动推理检查功能简介、深入演示以及创建、测试和完善策略的动手教程。这是播放列表中的第二个视频，我的同事 Wale 很好地介绍了该功能。 — Danilo
