返回

文本标准化

Text normalization
テキスト標準化

专为中、英文文本标准化。请勿提交其他语言文本!标准化后,将只保留 ASCII 字符、英文字符、中文字符,清除其余一切符号。

要标准化的文本
标准化后的文本
标准化规则
  1. 标准化同形异码。例如:
    • “A”(全角)→“A”(半角);
    • “金”(U+F90A,CJK 兼容汉字)→“金”(U+91D1,CJK 统一汉字);
    • “‼”→“!!”;
    • “𝐀”(U+1D400)→“A”;
    • “à”(由两个码点 U+0061 U+0300 组合的字符)→“à”(U+00E0)。
  2. 删除不可见字符和非中、英文字符。例如:
    • “A​B”(A 和 B 间藏有零宽空格 U+200B)→“AB”;
    • “君の名は。”→“君名。”;
    • “A😂B”→“AB”。
  3. 将连续多个空格替换成一个。例如:
    • “A  B”→“A B”。
  4. 删除行首、行尾空格。例如:
    • “ A ”→“A”。
  5. 删除空行。例如:

    • A

      B
      ”→“A
      B”。
  6. 将周围都是中文的英文标点符号替换成中文标点符号,将周围都是英文的中文标点符号替换成英文标点符号。例如:
    • “看,飞机”→“看,飞机”;
    • “A, B”→“A, B”。
  7. 规范化标点符号周围空格,在中文汉字和英文字母之间添加空格。例如:
    • “看 , 飞机 ( 飞机飞走了 ) ; 它真的飞走了 ! 嗯 。”→“看,飞机(飞机飞走了);它真的飞走了!嗯。”;
    • “A ,B( C )and D ;E or[ F ] !G .”→“A, B (C) and D; E or [F]! G.”;
    • “看, UFO来了!可是什么是UFO呢?”→“看,UFO 来了!可是什么是 UFO 呢?”。
用代码改变世界  |  苏ICP备2026050742号