BG5BJM HAM 📡 

中文信息处理指南

本文介绍了为满足《中华人民共和国通用语言文字法》、GB 18030-2022、《通用规范汉字表》的要求，使用编程语言及数据库软件需要做些什么

1 编程语言中的字符处理

1.1获取准确的字符数

什么是字符？

• 语言学中，指依据构形功能而划分出来的、文字本身所使用的符号。包括意符、音符和记号。也指文字个体
• Unicode标准中，指字符编码部分所编码的基本单元

比如一个拉丁字母“A”、一个汉字“我”、一个标点符号“。”、一个表情符号“😀”等都是字符。

注意，根据不同的场景ZWJ序列可视为一个字符，也可视为多个字符。一般来说ZWJ序列应视为多个字符。 以🧑🏽为例，由U+1F9D1+U+1F3FD组成，两个码点（Code Point）应为两个字符，但是理解成一个字符也没问题。

在信息化系统中有很多场景都需要计算字符数量，我们通常使用编程语言内置的形如String类型的Length属性获取字符数。如果我们处理的都是基本多文种平面（Basic Multilingual Plane，以下简称 BMP）范围内字符的话，并没有什么问题，但是如果处理其他平面内字符的话获取到的Length并不是我们期望的结果。

'A'.length //  输出 1
'惠'.length //  输出 1
'𠅤'.length //  输出 2
'😀'.length //  输出 2

以上代码执行结果中字符A、惠返回了数量1，字符𠅤、😀返回了数量2。数量2明显不是我们能接受的。 JavaScript使用UTF-16编码（即UCS-2），UTF-16是一种定长编码，每个代码单元（Code Unit）使用2个字节共16位表示一个字符，1个编码单元可以表示BMP范围\u0000-\uFFFF内所有字符。表示不在BMP范围内的字符则使用代理项对（Surrogate Pair）项寻址，代理项对使用2个代码单元，前导（高代理项）\uD800–\uDBFF紧跟着尾随（低代理项）\uDC00–\uDFFF，它们必须成对出现共使用4个字节32位表示一个字符。

表1 各字符不同编码方案的二进制形式。括号内为UTF16的代理项对码点

在JavaScript中，String length属性获取到的正是字符串使用的代码单元数量¹。如果想获取BMP文字例如拉丁文字、西里尔文字、CJK（中日韩统一表意文字）等常见文字的字符数时使用String length并不会有什么问题，但是如果想获取某些特殊文字比如扩充B-G区内的汉字²、表情符号、数学符号等文字的字符数时，就要考虑换种方式了。
上文的例子中A、惠位于BMP使用1个代码单元，𠅤、😀在BMP以外，UTF-16编码需使用2个代码单元，因此获取length属性时分别返回了1和2。

1.1.1 JavaScript 兼容 Unicode 字符数方案

[..."A"].length // 输出 1
[..."惠"].length // 输出 1
[..."𠅤"].length // 输出 1
[..."😀"].length // 输出 1

等同于

Array.from("𠅤").length // 输出 1
Array.from("😀").length // 输出 1

JavaScript中如果想把ZWJ序列计算为一个字符可使用Segmenter分段器

[...new Intl.Segmenter().segment("🧑🏽")].length // 输出 1

各浏览器 maxlength 的差异

以如下文本框为例测试

<input maxlength=1 type=text>

• Chrome 无法输入扩充字符
• Safari 可以正常输入扩充字符

1.1.2 .NET 兼容 Unicode 字符数方案

在.NET中，String对象是Char Struct的顺序集合，Char使用UTF-16编码表示Unicode码点，每个Char表示一个代码单元³，BMP以外的字符和ZWJ序列由多个Char对象表示。因此String的Length属性返回该实例中Char对象的数量⁴而不是Unicode字符数。因此须使用System.Globalization.StringInfo类来处理Unicode字符。

"惠".Length; // 输出 1
"𠅤".Length; // 输出 2
StringInfo.ParseCombiningCharacters("惠").Length; // 输出 1
StringInfo.ParseCombiningCharacters("𠅤").Length; // 输出 1

1.1.3 Java 兼容 Unicode 字符数方案

在Java中，String对象是Char的集合，Char使用UTF-16表示Unicode码点，每个Char表示一个代码单元，BMP以外的增补字符由代理项对表示，使用2个Char⁵。获取字符数因使用如下方式。Character相关的方法查看Character#Unicode。有关Java平台增补字符的其他资料可查阅Supplementary Characters in the Java Platform。

"惠".length; // 输出 1
"𠅤".length; // 输出 2
"惠".codePointCount(0, "惠".length); // 输出 1
"𠅤".codePointCount(0, "𠅤".length); // 输出 1

1.1.4 MySQL 数据库兼容 Unicode 字符数方案

MySQL 中，LENGTH函数返回字符的字节数，CHAR_LENGTH函数返回Unicode字符数（Number of Code Point）⁶。

SELECT LENGTH('惠'); -- 输出 3
SELECT LENGTH('𠅤'); -- 输出 4
SELECT CHAR_LENGTH('惠'); -- 输出 1
SELECT CHAR_LENGTH('𠅤'); -- 输出 1

1.2 正则表达式 Regular Expression

2 数据库字符集

2.1 MySQL

应使用utf8mb4编码方案。

3 术语

4 参考资料

• Twitter 是怎么计算字符数的 https://developer.twitter.com/en/docs/counting-characters
• Requirements for Chinese Text Layout 中文排版需求 https://w3c.github.io/clreq

5 脚注