乱码不是文字被改坏了,而是同一段字节被换了一种编码去解释。所以修复的关键不是“把字改回来”,而是先把字节还原,再按正确编码读出来。
结论先行
- 不确定源编码时,先用试转 + 人眼判断,不要直接改文件后缀。
- 修复公式:乱码文本 → 按“被错误使用的编码”重新编码 → 得到原始字节 → 按正确编码解码 → 正常文本。
- 中文乱码最常见的两条路径:UTF-8 字节被按 GBK 打开、UTF-8 字节被按 Windows-1252 打开。
- 给 Excel 的 UTF-8 CSV 加 BOM;给 Linux 脚本、JSON 接口的文本不要 BOM。
- 修完必须验证字节或目标环境,不能只看编辑器里“看起来正常了”。
例子一:UTF-8 被 GBK 打开
一段正常的 UTF-8 文本,如果被按 GBK 解码,会得到另一串“像汉字”的乱码:
text = '姓名,城市'
raw = text.encode('utf-8')
broken = raw.decode('gbk')
print(broken) # 濮撳悕,鍩庡競
修复就是反过来做:把看到的乱码按 GBK 重新编码(拿回原始 UTF-8 字节),再按 UTF-8 解码:
fixed = broken.encode('gbk').decode('utf-8')
print(fixed) # 姓名,城市
assert fixed == text
命令行等价于两步,不能一步到位:
# 1) 把看到的乱码按“错误编码”写回字节,得到原始 UTF-8 字节
iconv -f UTF-8 -t GBK broken.txt -o raw.bin
# 2) 再把原始字节按正确编码读出来
iconv -f UTF-8 -t UTF-8 raw.bin -o fixed.txt
注意方向:iconv -f GBK -t UTF-8 broken.txt 适用于“文件本身就是 GBK 字节”的情况;本例如直接这样跑,读的是乱码字符的 UTF-8 字节,结果仍然是错的。
例子二:UTF-8 被 Windows-1252 打开
Windows 记事本或浏览器把 UTF-8 内容按西文打开时,常见结果是:
raw = '测试'.encode('utf-8')
broken = raw.decode('cp1252')
print(broken) # 测试
fixed = broken.encode('cp1252').decode('utf-8')
print(fixed) # 测试
ISO-8859-1 不能还原 ‹、•、€ 这类字符,遇到这种乱码应选 Windows-1252。
例子三:Excel 打开 CSV 中文乱码
Excel 双击打开无 BOM 的 UTF-8 CSV,会按本机 ANSI(简体中文环境是 GBK)解释,结果是“濮撳悕”这类乱码。内容其实没错,缺的是 BOM。
# UTF-8 + BOM 写 CSV,Excel 可直接识别
with open('out.csv', 'w', encoding='utf-8-sig', newline='') as f:
f.write('姓名,城市\n张三,北京\n')
BOM 是文件头的 EF BB BF 三个字节。判断方法:
python -c "b=open('out.csv','rb').read(3);print(b)" # b'\xef\xbb\xbf'
反过来,给 Linux 的脚本加 BOM 会让 #!/bin/bash 失效,给 JSON 加 BOM 也可能被严格解析器拒绝。BOM 只在目标消费方明确需要时加。
为什么不能只靠“试转”
同一段字节可能同时被 GBK 和 Big5 解释成“像正常文字”的两句话,猜错比不猜更误导。可靠顺序是:
- 看文件头是否有 BOM,先确定 UTF-8 / UTF-16。
- 用
file -bi、uchardet只作参考。 - 对候选编码逐个试转,比较结果里是否还有替换字符
�、是否出现常用标点与常见汉字。 - 选能完整还原、且后续编码不报错的那一个。
修复后的验收
- 用 Python
codecs或iconv再按目标编码编码一次,不报错才算通过。 - 导出 GBK 给老系统时,确认对方能打开;导出 UTF-8 给 Excel 时,确认 BOM 存在。
- 不要用“编辑器里显示正常”作为唯一证据,编辑器可能已经按 UTF-8 猜测并自动纠正了显示。
站内可直接用 乱码修复与字符集转换 做候选试转与 GBK 导出;命令细节见 charset 速查。