规模和复杂性条件下的质量保证

介绍

在过去的30年里，女性作家项目(WWP)按照文本编码倡议(TEI)指南所设定的标准，开发了一个前维多利亚时代女性作家文本全文抄写的数字集合。¹文本编码计划指引(http://www.tei-c.org/)指定一种XML语言，用于创建人文科学、社会科学和语言学研究材料的高质量数字表示。该指南自1994年以来一直是数字人文学科实践的主要标准。这个集合之间独特的将数字类型:有超过400条短信(约1100万字),收集是相当大的,远远超出范围的一个典型的学术版本,但是细节和人类的注意力水平的代表在编码区分它与典型的大规模文本数字化工作。TEI和XML的使用通过添加关于文本结构、内容、类型和相互连接的信息，将基本文本内容转换为更强大和更复杂的内容。考虑到这些文本的大小和复杂性，在用XML编码这些文本时管理错误和不一致是一项关键任务。在很长一段时间内，将TEI指南应用于广泛的体裁，在实践中会产生差异，即使是在训练最有素的工作人员手中，手工抄写和编码的过程也不可避免地产生一定程度的错误。当消费者的大型数字集合变得更加适应错误的成本规模(谷歌书籍和其他光学字符同时考虑集合是明显的例子),WWP的观众和使用模型依赖于高水平的准确性和一致性,尽管集合的大小。

在这样一个集合中查找和修复错误需要自动化，并且有各种XML技术(如XQuery、XPath和XSLT)为发现变化模式和对复杂编码数据进行全局更改提供了强大的工具。然而，有几个原因不能简单地将错误纠正视为技术挑战，这是工作流中的一个自动清理阶段，将文本从(人道主义)抄写员传递给(技术人员)数据清理专家。首先，在实际操作中，转录和编码水平上决策的复杂性意味着，尽管不一致的模式很容易用自动化工具检测到，但在它们被解读为“错误”之前，需要由那些具有文本专业知识的人进行解释。通常,奇怪的边界情况和异常结果显示骨折的编码策略本身,可以激励重新评估的具体实践:例如,当调查阶段的处理方向不一致导致的发展一个更微妙的标记功能。²

在这种情况下,我们的文档的时间指示编码器选择一个值“混合”<阶段>元素@type属性在多个值的情况下可能应用(如“进入Sophonsiba,说话大声,“它包含一个入口和一个描述的人物的行交付)。通常情况下，奇边情况和异常会揭示编码策略本身的缺陷，并促使对特定实践进行重新评估。然而，编码器发现“混合”值不足以代表他们的文档的特殊性，我们发现有些人只是简单地选择了任何更具体的值，似乎是主要的(因此失去了“混合”应该传达的多元性的想法)。认识到这一点，我们决定修改编码，允许@type上有多个值，并审查我们的阶段方向，根据这个新条款更新它们;审查过程还让我们为@type添加了三个新值。有关我们目前对舞台指示的处理，请参见http://wwp.neu.edu/research/publications/documentation/internal/#!/entry/stage_element。

但更重要的是，为了在这类项目中建立和维持一种授权协作的文化，在转录和编码本身的过程中放置尽可能多的工具是很重要的。这样做可以让学生有机会熟悉新技术(而不是将这些技术隔离在森林的另一部分，作为遥远而可怕的“专家”系统)，同时也将他们的编码工作定位为对整个现有集合的参与，既介入了项目的既定实践，又受到了约束。我们并没有将错误纠正视为私有过程末尾的评估阶段，而是寻求将其视为改进编码过程本身并使其更具对话性的工具。

这些都是有用的原则，但是在实际中如何建立一个复杂的错误纠正工具，并将其部署为XML文本编码过程的一部分呢?在下面的简要案例研究中，我们检查了一些具体的例子，以探索在使新工具适应数据的特殊性和工作环境的特殊性时涉及到什么。

实践中的质量保证

在我们的自动化错误测试例程中，WWP采用的协作开发过程使我们能够引入专业的技术知识和对WWP编码的深入理解。一个典型的例子是ISO Schematron^3.ISO Schematron是一种基于规则的XML模式语言，用于验证XML文档。我们用来查找短语级元素周围的空格错误的模式(用于标记短语级现象的元素，如名称、日期和技术术语)。此模式运行一系列测试以检查以下错误: