两段“看起来一模一样”的文本,用 diff 一比却整篇飘红,通常不是内容真的改了很多,而是不可见字符在差异。按下面顺序排查,多数问题在一分钟内能定位。

结论先行

  1. 先统一换行符:Windows 是 CRLF(\r\n),Linux/macOS 是 LF(\n)。
  2. 再查 BOM:UTF-8 BOM 是文件头 EF BB BF,会让第一行“凭空不同”。
  3. 再查行尾空格、Tab 与空格混用。
  4. 最后查零宽字符、不换行空格这类不可见 Unicode。
  5. 对比前先规范化,不要用“忽略所有空白”掩盖真实改动。

例子一:CRLF 与 LF 导致整篇差异

# 同样两行文字,只改换行符
open('lf.txt', 'w', newline='\n').write('a\nb\n')
open('crlf.txt', 'w', newline='\r\n').write('a\nb\n')
diff -u lf.txt crlf.txt

输出会显示每一行都不同,行尾带 ^M。diff 本身不会告诉你“只是换行符”,需要看不可见字符:

cat -A lf.txt      # 行尾是 $
cat -A crlf.txt    # 行尾是 ^M$

修复:

dos2unix crlf.txt          # CRLF → LF
# 或
python -c "p='crlf.txt';s=open(p,'rb').read().replace(b'\r\n',b'\n');open(p,'wb').write(s)"

Git 场景还要看 core.autocrlf 和 .gitattributes;否则工作区是 CRLF、仓库是 LF,git diff 会把整文件算成改动。

例子二:BOM 让第一行“多了一个字符”

open('bom.txt', 'w', encoding='utf-8-sig').write('第一行\n第二行\n')
open('nobom.txt', 'w', encoding='utf-8').write('第一行\n第二行\n')

第一行内容相同,但 bom.txt 开头多了 EF BB BF。表现是:

  • diff 显示第一行不同;
  • 某些解析器把 BOM 当成内容,导致字段名读成 \ufeffid;
  • 脚本第一行 #!/bin/bash 失效(BOM 在 # 前面)。

确认与去除:

python -c "b=open('bom.txt','rb').read(3);print(b)"   # b'\xef\xbb\xbf'
python -c "p='bom.txt';s=open(p,'rb').read();open(p,'wb').write(s.lstrip(b'\xef\xbb\xbf'))"

是否保留 BOM 要看消费方:Excel 打开 UTF-8 CSV 需要 BOM;Linux 脚本、JSON 接口通常不要。

例子三:行尾空格与 Tab

diff -u a.txt b.txt | cat -A

行尾空格显示为 $ 前面多出的空格,Tab 显示为 ^I。编辑器里“对齐好看”的缩进,可能是 Tab 与空格混用,换一个编辑器就整段不同。

排查:

grep -n '[[:blank:]]$' a.txt     # 找行尾空白

Git 可以用 git diff --ignore-space-at-eol 临时确认,但不要长期用它掩盖真实改动。

例子四:零宽字符与不换行空格

从网页、聊天工具复制来的文本,常混入:

  • U+200B 零宽空格
  • U+FEFF BOM / 零宽不换行空格
  • U+00A0 不换行空格(显示和普通空格一样)
s = open('a.txt', encoding='utf-8').read()
for i, ch in enumerate(s):
    if ord(ch) in (0x200B, 0xFEFF, 0x00A0):
        print(i, hex(ord(ch)))

肉眼看不出来,但比较、正则匹配、JSON 字段名都会失败。

正确的对比顺序

  1. 统一换行符(CRLF → LF)。
  2. 去掉或确认 BOM。
  3. 清理行尾空白,统一 Tab/空格策略。
  4. 查不可见 Unicode。
  5. 再跑 diff;确有格式差异时,用 --ignore-space-change 只看内容改动。

站内 文本对比 可以先做逐行差异定位,再结合 charset 速查 处理编码与 BOM;Git 相关命令见 git 速查。