专为中、英文文本标准化。请勿提交其他语言文本!标准化后,将只保留 ASCII 字符、英文字符、中文字符,清除其余一切符号。
要标准化的文本
标准化后的文本
标准化规则
-
标准化同形异码。例如:
- “A”(全角)→“A”(半角);
- “金”(U+F90A,CJK 兼容汉字)→“金”(U+91D1,CJK 统一汉字);
- “𝐀”(U+1D400)→“A”。
-
删除不可见字符和非中、英文字符。例如:
- “AB”(A 和 B 间藏有零宽空格 U+200B)→“AB”;
- “君の名は。”→“君名。”;
- “A😂B”→“AB”。
-
将连续多个空格替换成一个。例如:
- “A B”→“A B”。
-
删除行首、行尾空格。例如:
- “ A ”→“A”。
-
删除开头、结尾空行。例如:
- “
A
”→“A”。
- “