乱码不是文字被改坏了,而是同一段字节被换了一种编码去解释。所以修复的关键不是“把字改回来”,而是先把字节还原,再按正确编码读出来。

结论先行

  1. 不确定源编码时,先用试转 + 人眼判断,不要直接改文件后缀。
  2. 修复公式:乱码文本 → 按“被错误使用的编码”重新编码 → 得到原始字节 → 按正确编码解码 → 正常文本。
  3. 中文乱码最常见的两条路径:UTF-8 字节被按 GBK 打开、UTF-8 字节被按 Windows-1252 打开。
  4. 给 Excel 的 UTF-8 CSV 加 BOM;给 Linux 脚本、JSON 接口的文本不要 BOM。
  5. 修完必须验证字节或目标环境,不能只看编辑器里“看起来正常了”。

例子一:UTF-8 被 GBK 打开

一段正常的 UTF-8 文本,如果被按 GBK 解码,会得到另一串“像汉字”的乱码:

text = '姓名,城市'
raw = text.encode('utf-8')
broken = raw.decode('gbk')
print(broken)          # 濮撳悕,鍩庡競

修复就是反过来做:把看到的乱码按 GBK 重新编码(拿回原始 UTF-8 字节),再按 UTF-8 解码:

fixed = broken.encode('gbk').decode('utf-8')
print(fixed)           # 姓名,城市
assert fixed == text

命令行等价于两步,不能一步到位:

# 1) 把看到的乱码按“错误编码”写回字节,得到原始 UTF-8 字节
iconv -f UTF-8 -t GBK broken.txt -o raw.bin
# 2) 再把原始字节按正确编码读出来
iconv -f UTF-8 -t UTF-8 raw.bin -o fixed.txt

注意方向:iconv -f GBK -t UTF-8 broken.txt 适用于“文件本身就是 GBK 字节”的情况;本例如直接这样跑,读的是乱码字符的 UTF-8 字节,结果仍然是错的。

例子二:UTF-8 被 Windows-1252 打开

Windows 记事本或浏览器把 UTF-8 内容按西文打开时,常见结果是:

raw = '测试'.encode('utf-8')
broken = raw.decode('cp1252')
print(broken)          # 测试
fixed = broken.encode('cp1252').decode('utf-8')
print(fixed)           # 测试

ISO-8859-1 不能还原 ‹、•、€ 这类字符,遇到这种乱码应选 Windows-1252。

例子三:Excel 打开 CSV 中文乱码

Excel 双击打开无 BOM 的 UTF-8 CSV,会按本机 ANSI(简体中文环境是 GBK)解释,结果是“濮撳悕”这类乱码。内容其实没错,缺的是 BOM。

# UTF-8 + BOM 写 CSV,Excel 可直接识别
with open('out.csv', 'w', encoding='utf-8-sig', newline='') as f:
    f.write('姓名,城市\n张三,北京\n')

BOM 是文件头的 EF BB BF 三个字节。判断方法:

python -c "b=open('out.csv','rb').read(3);print(b)"   # b'\xef\xbb\xbf'

反过来,给 Linux 的脚本加 BOM 会让 #!/bin/bash 失效,给 JSON 加 BOM 也可能被严格解析器拒绝。BOM 只在目标消费方明确需要时加。

为什么不能只靠“试转”

同一段字节可能同时被 GBK 和 Big5 解释成“像正常文字”的两句话,猜错比不猜更误导。可靠顺序是:

  1. 看文件头是否有 BOM,先确定 UTF-8 / UTF-16。
  2. 用 file -bi、uchardet 只作参考。
  3. 对候选编码逐个试转,比较结果里是否还有替换字符 �、是否出现常用标点与常见汉字。
  4. 选能完整还原、且后续编码不报错的那一个。

修复后的验收

  • 用 Python codecs 或 iconv 再按目标编码编码一次,不报错才算通过。
  • 导出 GBK 给老系统时,确认对方能打开;导出 UTF-8 给 Excel 时,确认 BOM 存在。
  • 不要用“编辑器里显示正常”作为唯一证据,编辑器可能已经按 UTF-8 猜测并自动纠正了显示。

站内可直接用 乱码修复与字符集转换 做候选试转与 GBK 导出;命令细节见 charset 速查。