准确率分数显示了提取的表单字段和表格字段值与文档真实数据的匹配程度。 理解这些分数有助于您解读提取质量并采取纠正措施。
在文档评估中，Document Automation 通过将提取结果与您在测试模式下验证数据后设置的真实数据进行比较，来计算准确率。 真实数据是每个表单字段或表格单元格的预期值。 结果是由所选学习实例版本提取的数值。
该分数基于精确值匹配。 一个值必须与真实值完全一致，才能被计为准确。 提取数据中的任何差异（例如大小写、前导空格、尾随空格、缺失值或多余值）都会降低分数，并被计为不准确。
准确率计算公式
文档评估会根据将真实值与结果值进行比较的情况，将每个表单字段或表格单元格归类为以下类别之一：
- 真正例 (TP)： 真实值包含一个数值，且结果与其完全一致。
- 真负例 (TN)： 真实数据为空，结果也为空。
- 假正例 (FP)： 真实数据为空，但结果包含一个值。
- 假负例 (FN)： 真实数据包含一个值，但结果为空或与真实数据不完全匹配。
真正例或真负例的字段或单元格计为准确。 假正例或假负例的字段或单元格计为不准确。 文档评估使用以下公式计算准确率得分：
准确率 = (TP + TN) / (TP + TN + FP + FN)
准确率得分的计算方式
文档评估在多个层级上计算准确率，以便您可以同时查看整体提取质量以及需要注意的特定字段或单元格。 可用的层级包括单个表单字段、表单字段总体得分、表格单元格、表格列、表格总体得分以及文档总体得分。
- 当存在匹配项时，将对匹配的数值进行比较。
- 当字段、列或行缺失或多余时，分数可能会降低，或者显示为--，具体取决于是否进行了可靠的比较。
- 如果两个分数均有效，则文档得分将以百分比形式显示。
- 如果某个分数包含信息或警告消息，则文档得分会包含该消息。
- 如果某一项分数不可用，则文档得分也不可用。
表单字段准确率
对于表单字段，准确率通过将每个提取值与相应的真实值进行比较来计算。 每个字段都会根据其数值是否完全匹配而被赋予准确或不准确状态。 整体表单字段得分是根据可以匹配和评估的字段计算得出的。
以下场景决定了表单字段分数的计算和显示方式：
- 精确匹配： 提取的数据与真实数据包含相同的表单字段。 该分数以百分比形式显示，不附带任何消息。
- 子集： 提取的数据包含的表单字段少于真实数据，但所有结果字段均已匹配。 得分以百分比形式显示，并附带一条消息，提示结果中缺少某些真实数据字段。
- 超集： 提取的数据包含了真实数据中没有的额外表单字段。 匹配字段会被评估，未匹配的字段将显示不可用。 整体表单字段得分显示为 --，并带有警告。
- 部分匹配： 某些字段可以匹配，某些字段无法匹配。 匹配字段会被评估，未匹配的字段将显示不可用。 整体表单字段得分显示为 --，并带有警告。
- 无匹配项： 提取的数据中没有字段与真实数据字段匹配。 整体表单字段得分显示为 --，并带有警告。
示例： 表单字段准确率计算
下表展示了文档评估如何对五个表单字段进行分类，并计算整体表单字段准确率：
| 表单字段 | 真实数据 | 结果 | 分类 |
|---|---|---|---|
| 字段 1 | Inv123 | Inv123 | 准确 |
| 字段 2 | （空） | （空） | 准确 |
| 字段 3 | （空） | 12345 | 不准确 |
| 字段 4 | Inv12345 | （空） | 不准确 |
| 字段 5 | Inv12345 | inv12345 | 不准确 |
字段 5 被计为不准确，因为结果与真实数据值的大小写不匹配。
根据这些分类，两个字段（字段 1 和字段 2）是准确的，三个字段（字段 3、字段 4 和字段 5）是不准确的。
使用准确率计算公式，准确率计算为（1 TP + 1 TN）/（1 TP + 1 TN + 1 FP + 2 FN）= 2/5，即 40%。
示例： 结果中的字段更少
发票文档的真实数据中包含五个表单字段： 发票号码、供应商名称、日期、金额和税款。 提取结果仅返回四个字段，且不包含“税款”字段。
在此场景中，四个匹配字段分别获得准确或不准确状态。 匹配字段会被评估，表单字段得分以百分比形式显示。 得分中包含一条消息，因为结果中缺少一个预期字段。
示例： 部分字段匹配
发票文档的真实数据中包含五个表单字段： 发票号码、供应商名称、日期、金额和税款。 提取结果同样返回了五个字段，但只有三个字段（发票号码、供应商名称和金额）与真实数据相匹配。 结果中的其余两个字段与任何真实数据字段均不对应。
在此场景中，三个匹配字段分别获得准确或不准确状态。 两个未匹配的字段显示不可用。 整体表单字段准确率显示为 --，并附带一条警告，提示该得分无法可靠计算。
表格准确率
表格准确率比表单字段准确率更复杂，因为表格可能具有可变数量的行和列，并且行可能在真实数据和提取数据之间被添加、删除或移位。 因此，准确率是在单元格级别计算的，跨对齐行逐列比较各个单元格的值。
在开始单元格级别的比较之前，系统会将提取数据中的表格行与真实数据中的表格行进行对齐。 此对齐方式可识别哪些行匹配、结果中哪些行是多余的（新增的行），以及结果中缺少哪些行（删除的行）。 无法直接匹配的行将逐个单元格进行比较，以查找部分匹配项，从而能够正确处理移位或重新排序的行。
行对齐完成后，匹配行中的每个单元格都会与真实数据中对应的单元格进行比较。 文档评估用于确定单元格值是否正确。 新增的行会导致单元格错误，删除的行会导致单元格缺失，这两者都会降低整个表格的准确性。
以下场景决定了表单表格分数的计算和显示方式：
- 精确列匹配： 结果数据和真实数据包含相同的列。 单元格数值会被评估，表格分数以百分比形式显示，不附带消息。
- 子集： 提取的数据包含的列比真实数据少，但所有结果列均匹配。 匹配列中的单元格数值将被评估，表格分数以百分比形式显示，并附带消息。
- 超集： 提取的数据包含了真实数据中没有的额外列。 匹配列中的单元格会被评估，未匹配列中的单元格显示不可用。 整体表格分数显示为 --，并带有警告。
- 部分列匹配： 有些列可以匹配，有些列无法匹配。 匹配列中的单元格会被评估，未匹配列中的单元格显示不可用。 整体表格分数显示为 --，并带有警告。
- 无列匹配： 提取数据中的列与真实数据列不匹配。 整体表格分数显示为 --，并带有警告。
示例： 表格单元格准确率计算
下表展示了文档评估如何对 12 个表格单元格进行分类，并计算整体表格准确率：
| 单元格 | 真实数据 | 结果 | 分类 |
|---|---|---|---|
| 单元格 1 | 苹果 | 苹果 | 准确 |
| 单元格 2 | 苹果 | 苹果 | 不准确 |
| 单元格 3 | 葡萄 | 葡萄（尾部空格） | 不准确 |
| 单元格 4 | （前导空格）猕猴桃 | 猕猴桃 | 不准确 |
| 单元格 5 | 梨 | 梨 | 准确 |
| 单元格 6 | （空） | （空） | 准确 |
| 单元格 7 | （空） | 香蕉 | 不准确 |
| 单元格 8 | 橙子 | （空） | 不准确 |
| 单元格 9 | （空） | （单个空格，非空） | 不准确 |
| 单元格 10 | 青绿色 | 柠檬 | 不准确 |
| 单元格 11 | 芒果 | 芒果 | 准确 |
| 单元格 12 | （空） | 0 | 不准确 |
单元格 2、3 和 4 被计为不准确，因为大小写差异、尾部空格和前导空格分别导致无法与真实数据值完全匹配。
单元格 9 被计为不准确，因为它包含一个空格，并且不被视为空。
单元格 12 被计为不准确，因为字符串 0 不被视为空。
根据这些分类，四个单元格是准确的（单元格 1、5、6 和 11），八个单元格是不准确的（单元格 2、3、4、7、8、9、10 和 12）。
使用准确率计算公式，准确率计算为 (3 TP + 1 TN) / (3 TP + 1 TN + 3 FP + 5 FN) = 4/12，约为 33.33%。
示例 1： 完全匹配
真实数据中的采购订单表包含两行，每行有两列（项目和日期）： 第 1 行（100，1 月 1 日）和第 2 行（200，2 月 1 日）。 提取结果包含相同的两行，且数值完全一致。
文档评估对齐了两行，并发现所有四个单元格完全匹配。 由于每个单元格都是真正例，没有假正例、假负例或真负例，因此表格总体准确率为 100%。
示例 2： 行不匹配
真实数据表包含第 1 行（100，1 月 1 日）和第 2 行（200，2 月 1 日）。 提取结果与第 1 行完全匹配，但第 2 行中的一个单元格与真实数据值不符。
文档评估对齐了两行。 四个单元格中有三个完全匹配，计为真正例；一个不匹配的单元格计为假负例。 整体表格准确率为 75%。
示例 3： 结果中存在额外行
真实数据中的采购订单表包含三行，每行有两列（项目和日期）： 第 1 行（100，1 月 1 日），第 2 行（200，2 月 1 日），第 3 行（300，3 月 1 日）。 提取结果包含四行，其中包含真实数据中不存在的一行（400，4 月 1 日）。
文档评估会对齐三个匹配的行，并计算它们的单元格级准确率。 结果中的额外行导致了两个错误单元格（每列一个）。 表格总体准确率约为 67%，因为六个对齐单元格中有四个正确，而额外行中的两个单元格被计为不正确。
示例 4： 结果中缺少行
真实数据表包含三行： 第 1 行（100，1 月 1 日）、第 2 行（200，2 月 1 日）和第 3 行（300，3 月 1 日）。 提取结果缺少第 2 行。
文档评估对齐了第 1 行和第 3 行，并在结果中未找到与第 2 行匹配的行。 缺失行中的两个单元格被计为假负例。 由于六个对齐单元格中有四个为真正例，表格总体准确率为 67%。
示例： 发生偏移的行
真实数据表包含第 1 行（100，1 月 1 日）、第 2 行（200，2 月 1 日）和第 3 行（300，3 月 1 日）。 提取数据包含相同的值，但第 1 行出现在末尾而非开头： 第 1 行（200，2 月 1 日），第 2 行（300，3 月 1 日），第 3 行（100，1 月 1 日）。
行对齐检测到第 1 行（100，1 月 1 日）已被移至末尾。 第 2 行和第 3 行正确对齐。 对齐后，匹配行中的单元格均正确，但发生偏移的行被计为一行删除和一行新增，导致整体准确率降至 50%。
文档级准确率
文档级准确率得分是表单字段总体准确率和表格总体准确率的综合平均值。 文档得分的可用性取决于各级得分的情况：
- 如果表单字段得分和表格得分均为有效的百分比且无警告，则文档得分以百分比形式显示且无警告。
- 如果表单字段得分或表格得分带有警告，则文档得分以百分比形式显示并附带警告。
- 如果表单字段得分或表格得分不可用（--），则文档得分同样显示为不可用（--）并附带警告。
解读准确率分数
准确率得分可帮助您在生产环境中使用提取模型或配置之前评估其可靠性。 高得分表示提取的值与预期输出高度匹配。 低得分或不可用得分的出现，表明提取配置可能需要调整、文档类型在训练数据中未得到充分体现，或者真实数据与提取数据不一致。
当得分不可用时（--），请查看受影响层级的警告消息。 警告消息会指出问题是字段数量不匹配、列不匹配，还是完全没有匹配的字段。 使用此信息来调整提取模型、更新真实数据，或验证文档布局。