韩林涛老师：译者编程知识30天×300字写作计划 | Day 15

在之前的帖子中我们介绍过读懂翻译记忆库文件（TMX）所需的 XML 和 DTD 基础知识和使用 Tmxmall 的文档解析 API 来进行多种类型文档的断句，以及如何基于 TMX 来制作翻译记忆库（如何制作一个简易的大会报告双语检索工具）。

同样是基于 XML 技术的 SRX 却一直没有介绍过，其全称是“Segmentation Rules eXchange”，可译为“断句规则交换”。

简单来说就是：开发计算机辅助翻译工具的厂商约定都按照 SRX 标准来存储和读取文本断句规则，这些断句规则存储在“.srx”格式的文件中。

有了断句规则，我们就可以轻松的将一篇文章切分成一个个的句段（Segment），而计算机辅助翻译工具最喜欢的就是这种类型的待译原文呈现形式。

写这篇文章的目的就是为大家介绍如何基于 SRX 将英文文本切分成一个个的句子。

一、“.srx”格式的文件长啥样？

请看下面这个示例：

<srx version="2.0" 
  xmlns="http://www.lisa.org/srx20"
  xsi:schemaLocation="http://www.lisa.org/srx20 srx20.xsd"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
    <header segmentsubflows="yes" cascade="yes">
        <formathandle type="start" include="no"/>
        <formathandle type="end" include="yes"/>
        <formathandle type="isolated" include="yes"/>
    </header>
    <body>
        <languagerules>
            <languagerule languagerulename="Default">
                <!-- Common rules for most languages -->
                <rule break="no">
                    <beforebreak>^\s*[0-9]+\.</beforebreak>
                    <afterbreak>\s</afterbreak>
                </rule>
                <rule break="yes">
                    <afterbreak>\n</afterbreak>
                </rule>
                <rule break="yes">
                    <beforebreak>[\.\?!]+</beforebreak>
                    <afterbreak>\s</afterbreak>
                </rule>
            </languagerule>
            <languagerule languagerulename="English">
                <!-- Some English abbreviations -->
                <rule break="no">
                    <beforebreak>\s[Ee][Tt][Cc]\.</beforebreak>
                    <afterbreak>\s[a-z]</afterbreak>
                </rule>
                <rule break="no">
                    <beforebreak>\sMr\.</beforebreak>
                    <afterbreak>\s</afterbreak>
                </rule>
                <rule break="no">
                    <beforebreak>\sU\.K\.</beforebreak>
                    <afterbreak>\s</afterbreak>
                </rule>
            </languagerule>
            <languagerule languagerulename="French">
                <!-- Some French abbreviations -->
                <rule break="no">
                    <beforebreak>\s[Mm]lle\.</beforebreak>
                    <afterbreak>\s</afterbreak>
                </rule>
                <rule break="no">
                    <beforebreak>\s[Mm]lles\.</beforebreak>
                    <afterbreak>\s</afterbreak>
                </rule>
                <rule break="no">
                    <beforebreak>\s[Mm]me\.</beforebreak>
                    <afterbreak>\s</afterbreak>
                </rule>
                <rule break="no">
                    <beforebreak>\s[Mm]mes\.</beforebreak>
                    <afterbreak>\s</afterbreak>
                </rule>
            </languagerule>
            <languagerule languagerulename="Japanese">
                <!-- Rules for breaking on Japanese punctuation
                
                \xff61: Halfwidth ideographic full stop
                \x3002: Ideographic full stop
                \xff0e: Fullwidth full stop
                \xff1f: Fullwidth question mark
                \xff01: Fullwidth exclamation mark
                -->
                <rule break="yes">
                    <beforebreak>[\xff61\x3002\xff0e\xff1f\xff01]+</beforebreak>
                    <afterbreak></afterbreak>
                </rule>
            </languagerule>
        </languagerules>
        <maprules>
            <!-- List exceptions first -->
            <languagemap languagepattern="[Ee][Nn].*" languagerulename="English"/>
            <languagemap languagepattern="[Ff][Rr].*" languagerulename="French"/>
            <!-- Japanese breaking rules -->
            <languagemap languagepattern="[Jj][Aa].*" languagerulename="Japanese"/>
            <!-- Common breaking rules -->
            <languagemap languagepattern=".*" languagerulename="Default"/>
        </maprules>
    </body>
</srx>

来源：https://www.gala-global.org/srx-20-april-7-2008

如果你之前看过我录制的 XML 基础视频，看到这个样子的文件肯定就不陌生了，如果你没有看过而且不知道什么是 XML，那么就可以关掉这个页面，先去看这篇帖子：读懂翻译记忆库文件（TMX）所需的 XML 和 DTD 基础知识。

二、SRX 文件是如何存储断句规则的？

要想知道 SRX 文件是如何存储断句规则的，除了需要有 XML 基础知识外，更重要的是要掌握正则表达式的基础，我也同样录过一系列的视频：面向文科生的正则表达式基础视频教程。很抱歉，你可能又要关掉这个页面，去补一下正则表达式的基础知识了。

在 SRX 文件中，你会看到三个非常重要的元素：元素、元素和元素。它们以这样的形式一同出现：

<rule break="yes">
    <beforebreak>[\.\?!]+</beforebreak>
    <afterbreak>\s</afterbreak>
</rule>

在上面的 XML 代码中，一个元素中包含了一条断句规则，这个断句规则分为两部分，首先用元素定义了“断点”前是什么，然后用元素定义了“断点”后是什么。

大家需要特别注意“断点”这个概念，以下面这两个句子为例：

Good morning! Welcome to BLCU.

如果我们希望将这段话切分成两句话，我们肯定会选择将其分为“Good morning! ”和“Welcome to BLCU.”

所有要从惊叹号后面进行断句：

Good morning! | Welcome to BLCU.

上面红色的位置就是所谓的“断点”，对应的英文即“Break”。如果我们想让计算机来断句，那么就得告诉计算机断点前是什么，断点后是什么。在上面的例子中，断点前是个惊叹号，断点后是一个空格。

如果我们想用正则表达式来表示惊叹号，直接写“!”就可以。但除了惊叹号之外，我们也可以用问号“?”、句号“.”，而且有时一个句子后面会有好多种情况，比如：

Hi! What?! Yes! Thanks. No!!!

所以我们用这样一个正则表达式就可以覆盖以上几种情况：[.?!]+

. 表示的是 . ? 表示的是 ? ! 表示的是 ! [] 表示的是 集合

  • 表示的是 前面的表达式出现一次或多次

正是[]+ 这个正则表达式组合使得我们可以匹配多个符号同时出现的情况。

运行效果如下图：

至于空格，则可以使用正则表达式“\s”来表示。

最后需要再看的就是元素的“break”属性值，如果这个值是“yes”就表明要在这个断点将句子断开，如果是“no”就表明不断开。

了解上面这个断句规则的实现原理后，再来看这两段 XML 代码你就更了解断句规则是如何存储的了：

<rule break="yes">
    <beforebreak>[\.\?!]+</beforebreak>
    <afterbreak>\s</afterbreak>
</rule>
<rule break="no">
    <beforebreak>\sMr\.</beforebreak>
    <afterbreak>\s</afterbreak>
</rule>

最初提出 SRX 标准的本地化专家们考虑到了非常多的断句规则，涉及不同的断句场景，涉及不同的语言，涉及断句规则如何扩充，涉及断句规则如何应用。SRX 标准早在2004年便正式使用，现在通行的是2008年的第二个版本，发起者均是本地化行业标准协会（LISA, Localization Industry Stardards Association）。LISA 推动了本地化行业非常重要的几个标准：TMX、TBX、SRX。但在2011年2月，该组织因资不抵债而关闭。如今全球化与本地化协会（GALA, Globalization and Localization Association）的官网上还可以看到这些标准的全文，这也是我们了解本地化行业标准的主要渠道。

三、如何通过代码来实现断句？

如果我们想用代码来实现断句，自然需要先知道原理。我们在这一系列文章中将依然以PHP作为实现断句的编程语言。

因为 SRX 中断句实现的主要路径是正则表达式，所以我们会介绍 PHP 中与正则表达式操作相关的函数：preg_replace()、preg_match()、preg_match_all()、explode()。

因为 SRX 是基于 XML 的，所以我会带着大家回顾之前的帖子中讲过的 XML 读取函数simplexml_load_file()。

配合 PHP 的数组知识、循环知识，我们就能够实现断句。

在后面的帖子中我们继续为大家介绍。

本文原文《如何基于SRX将英文文本切分成句（一）》发表于韩老师的公众号《简言》。

作者：韩林涛，北京语言大学高级翻译学院教师，《译者编程入门指南》作者

CodeSlator