返回
文本标准化
Text normalization
テキスト標準化

专为中、英文文本标准化。请勿提交其他语言文本!标准化后,将只保留 ASCII 字符、英文字符、中文字符,清除其余一切符号。

要标准化的文本
标准化后的文本
标准化规则
  1. 标准化同形异码。例如:
    • “A”(全角)→“A”(半角);
    • “金”(U+F90A,CJK 兼容汉字)→“金”(U+91D1,CJK 统一汉字);
    • “𝐀”(U+1D400)→“A”。
  2. 删除不可见字符和非中、英文字符。例如:
    • “A​B”(A 和 B 间藏有零宽空格 U+200B)→“AB”;
    • “君の名は。”→“君名。”;
    • “A😂B”→“AB”。
  3. 将连续多个空格替换成一个。例如:
    • “A  B”→“A B”。
  4. 删除行首、行尾空格。例如:
    • “ A ”→“A”。
  5. 删除开头、结尾空行。例如:

    • A
      ”→“A”。
苏ICP备2026050742号