专为中、英文文本标准化。请勿提交其他语言文本!标准化后,将只保留 ASCII 字符、英文字符、中文字符,清除其余一切符号。
要标准化的文本
标准化后的文本
标准化规则
- 标准化同形异码。例如:
- “A”(全角)→“A”(半角);
- “金”(U+F90A,CJK 兼容汉字)→“金”(U+91D1,CJK 统一汉字);
- “‼”→“!!”;
- “𝐀”(U+1D400)→“A”;
- “à”(由两个码点 U+0061 U+0300 组合的字符)→“à”(U+00E0)。
- 删除不可见字符和非中、英文字符。例如:
- “AB”(A 和 B 间藏有零宽空格 U+200B)→“AB”;
- “君の名は。”→“君名。”;
- “A😂B”→“AB”。
- 将连续多个空格替换成一个。例如:
- “A B”→“A B”。
- 删除行首、行尾空格。例如:
- “ A ”→“A”。
- 删除空行。例如:
- “
A
B
”→“A
B”。
- “
- 将周围都是中文的英文标点符号替换成中文标点符号,将周围都是英文的中文标点符号替换成英文标点符号。例如:
- “看,飞机”→“看,飞机”;
- “A, B”→“A, B”。
- 规范化标点符号周围空格,在中文汉字和英文字母之间添加空格。例如:
- “看 , 飞机 ( 飞机飞走了 ) ; 它真的飞走了 ! 嗯 。”→“看,飞机(飞机飞走了);它真的飞走了!嗯。”;
- “A ,B( C )and D ;E or[ F ] !G .”→“A, B (C) and D; E or [F]! G.”;
- “看, UFO来了!可是什么是UFO呢?”→“看,UFO 来了!可是什么是 UFO 呢?”。