两段“看起来一模一样”的文本,用 diff 一比却整篇飘红,通常不是内容真的改了很多,而是不可见字符在差异。按下面顺序排查,多数问题在一分钟内能定位。
结论先行
- 先统一换行符:Windows 是
CRLF(\r\n),Linux/macOS 是LF(\n)。 - 再查 BOM:UTF-8 BOM 是文件头
EF BB BF,会让第一行“凭空不同”。 - 再查行尾空格、Tab 与空格混用。
- 最后查零宽字符、不换行空格这类不可见 Unicode。
- 对比前先规范化,不要用“忽略所有空白”掩盖真实改动。
例子一:CRLF 与 LF 导致整篇差异
# 同样两行文字,只改换行符
open('lf.txt', 'w', newline='\n').write('a\nb\n')
open('crlf.txt', 'w', newline='\r\n').write('a\nb\n')
diff -u lf.txt crlf.txt
输出会显示每一行都不同,行尾带 ^M。diff 本身不会告诉你“只是换行符”,需要看不可见字符:
cat -A lf.txt # 行尾是 $
cat -A crlf.txt # 行尾是 ^M$
修复:
dos2unix crlf.txt # CRLF → LF
# 或
python -c "p='crlf.txt';s=open(p,'rb').read().replace(b'\r\n',b'\n');open(p,'wb').write(s)"
Git 场景还要看 core.autocrlf 和 .gitattributes;否则工作区是 CRLF、仓库是 LF,git diff 会把整文件算成改动。
例子二:BOM 让第一行“多了一个字符”
open('bom.txt', 'w', encoding='utf-8-sig').write('第一行\n第二行\n')
open('nobom.txt', 'w', encoding='utf-8').write('第一行\n第二行\n')
第一行内容相同,但 bom.txt 开头多了 EF BB BF。表现是:
- diff 显示第一行不同;
- 某些解析器把 BOM 当成内容,导致字段名读成
\ufeffid; - 脚本第一行
#!/bin/bash失效(BOM 在#前面)。
确认与去除:
python -c "b=open('bom.txt','rb').read(3);print(b)" # b'\xef\xbb\xbf'
python -c "p='bom.txt';s=open(p,'rb').read();open(p,'wb').write(s.lstrip(b'\xef\xbb\xbf'))"
是否保留 BOM 要看消费方:Excel 打开 UTF-8 CSV 需要 BOM;Linux 脚本、JSON 接口通常不要。
例子三:行尾空格与 Tab
diff -u a.txt b.txt | cat -A
行尾空格显示为 $ 前面多出的空格,Tab 显示为 ^I。编辑器里“对齐好看”的缩进,可能是 Tab 与空格混用,换一个编辑器就整段不同。
排查:
grep -n '[[:blank:]]$' a.txt # 找行尾空白
Git 可以用 git diff --ignore-space-at-eol 临时确认,但不要长期用它掩盖真实改动。
例子四:零宽字符与不换行空格
从网页、聊天工具复制来的文本,常混入:
U+200B零宽空格U+FEFFBOM / 零宽不换行空格U+00A0不换行空格(显示和普通空格一样)
s = open('a.txt', encoding='utf-8').read()
for i, ch in enumerate(s):
if ord(ch) in (0x200B, 0xFEFF, 0x00A0):
print(i, hex(ord(ch)))
肉眼看不出来,但比较、正则匹配、JSON 字段名都会失败。
正确的对比顺序
- 统一换行符(CRLF → LF)。
- 去掉或确认 BOM。
- 清理行尾空白,统一 Tab/空格策略。
- 查不可见 Unicode。
- 再跑 diff;确有格式差异时,用
--ignore-space-change只看内容改动。
站内 文本对比 可以先做逐行差异定位,再结合 charset 速查 处理编码与 BOM;Git 相关命令见 git 速查。