charset 是干什么的

编码是"字符到字节"的换算规则,同一句中文按 GBK 存是 4 个字节,按 UTF-8 存是 6 个字节;文件本身不带"我是 UTF-8"的标签(除了 BOM),读的时候用错规则就成了乱码。

$ printf '\xe6\xb5\x8b\xe8\xaf\x95\n' > utf8.txt
$ od -An -tx1 utf8.txt
 e6 b5 8b e8 af 95 0a
$ file -bi utf8.txt
text/plain; charset=utf-8

「测试」两个字在 UTF-8 下是 e6 b5 8b e8 af 95 六个字节,末尾 0a 是换行。同一句话存成 GBK 只有四个字节。字节数不同、排列不同,用错规则去解就是乱码。

这一页的命令在哪执行

Linux / WSL 用 file 判断、iconv 转换、od 看字节;Windows 用 chcp 看和切代码页,PowerShell 5.1 的默认编码与 BOM 行为要单独记。

示例基于 GNU file / iconv / od(Ubuntu 24.04)与 Windows PowerShell 5.1(默认编码 gb2312,UTF8 编码器带 3 字节 BOM)。

展开:常见编码对照、BOM 字节表、为什么自动探测经常猜错
编码 「测试」占几字节 典型场景
ASCII 无法表示 纯英文配置、老代码
GBK 4 中文 Windows 的老文件、Excel 导出的 CSV
GB18030 4 GBK 的超集,能表示全部 Unicode
UTF-8 6 Linux、Web、现代项目默认
UTF-16LE 4(另加 2 字节 BOM) Windows 记事本"Unicode"、部分日志

BOM 是文件开头的标记字节:

编码 BOM 字节
UTF-8 EF BB BF
UTF-16LE FF FE
UTF-16BE FE FF

file -bi 靠魔数和字节分布猜,纯 ASCII 文件永远显示 us-ascii(因为它确实没信息),短文本也常把 GBK 猜成 iso-8859-1。uchardet、chardet 同样只是概率判断,真正可靠的依据是数据来源:哪个系统导出、什么工具生成。

它到底在干什么

一、同一句中文,两种编码字节数不同

UTF-8 一个常用汉字 3 字节,GBK 是 2 字节;wc -c 数的是字节,不是字数。

$ od -An -tx1 utf8.txt
 e6 b5 8b e8 af 95 0a
$ od -An -tx1 gbk.txt
 b2 e2 ca d4 0a
$ wc -c < utf8.txt
7
$ wc -c < gbk.txt
5

7 和 5 都含末尾换行,所以正文分别是 6 字节和 4 字节。看到「文件大小对不上」时先确认编码,而不是怀疑内容被截断。

二、方向写反:一半报错,一半静默损坏

把 GBK 当 UTF-8 读会报 illegal input sequence;把 UTF-8 当 GBK 读却能"成功"输出一串错字,退出码还是 0。

$ iconv -f UTF-8 -t GBK gbk.txt > /dev/null
iconv: illegal input sequence at position 0
exit=1

$ iconv -f GBK -t UTF-8 utf8.txt > wrong.txt
exit=0
$ cat wrong.txt
娴嬭瘯

第二种最容易出错:UTF-8 的 6 个字节被两两配成 GBK 汉字,e6b5、8be8、af95 各解出一个字,凑成「娴嬭瘯」。**命令成功、日志无异常,内容全错。**所以转换必须输出到新文件,比对无误后再替换。

三、BOM 是开头三个看不见的字节

UTF-8 的 BOM 是 EF BB BF,它不属于正文却会被当成内容读进去,是"第一个 key 多了怪字符""脚本报 bad interpreter"的常见来源。

$ printf '\xef\xbb\xbfabc\n' > bom.txt
$ od -An -tx1 -N 6 bom.txt
 ef bb bf 61 62 63
$ sed '1s/^\xEF\xBB\xBF//' bom.txt > nobom.txt
$ od -An -tx1 -N 6 nobom.txt
 61 62 63 0a

去掉 BOM 后开头就是 61 62 63(abc)。Java 读 UTF-8 BOM 的属性文件时,第一个键会变成 \ufeffkey;Shell 脚本首行带上它,解释器就找不到 bash。给 Excel 打开的 CSV 反而需要 BOM,否则中文会乱码——这是少数要保留的场景。

四、-c 会把转不了的字符直接丢掉

iconv -c 遇到目标编码表示不了的字符就跳过,不报错、退出码 0,代价是内容少了一截。

$ printf '\xf0\x9f\x98\x80\n' > emoji.txt
$ iconv -f UTF-8 -t GBK emoji.txt > /dev/null
iconv: illegal input sequence at position 0
exit=1
$ iconv -c -f UTF-8 -t GBK emoji.txt > emoji-c.txt
exit=0
$ od -An -tx1 emoji-c.txt
 0a
$ wc -c < emoji.txt
5
$ wc -c < emoji-c.txt
1

emoji 占 4 字节,GBK 里没有对应字符。加 -c 之后 5 字节的文件只剩 1 字节的换行,表情没了,文件还在,命令还说成功。

语法骨架

file -bi 文件
iconv -f 源编码 -t 目标编码 输入 > 输出
iconv -c -f 源编码 -t 目标编码 输入 > 输出
od -An -tx1 [-N 字节数] 文件
sed '1s/^\xEF\xBB\xBF//' 文件 > 输出
chcp [代码页]
选项/参数 作用
-f 编码 源编码,写错比目标写错更常见
-t 编码 目标编码
-c 跳过无法转换的字符,不报错
-o 文件 输出到文件(GNU iconv)
-bi file:输出简短 MIME 与 charset
-An -tx1 od:不显示地址、按十六进制单字节显示
-N 数字 od:只读前 N 字节
chcp 65001 Windows 控制台切到 UTF-8(65001)

出错会怎样:方向错、目标编码装不下时 iconv 报 illegal input sequence 并退出 1;加 -c 则不报错但内容变少;file 对 GBK 这类无标记编码经常给错答案。

失败长这样:

情况 提示 退出码
GBK 文件当 UTF-8 转 iconv: illegal input sequence at position 0 1
UTF-8 文件当 GBK 转 无报错,输出 娴嬭瘯 0
emoji 转 GBK iconv: illegal input sequence at position 0 1
emoji 加 -c 转 GBK 无报错,5 字节变 1 字节 0
file -bi 判断 GBK text/plain; charset=iso-8859-1 猜错,不报错
file -bi 判断纯 ASCII text/plain; charset=us-ascii 正常,但没有信息量

常见用法示例

采集目录:WSL 下 /mnt/e/.../smalldemo,utf8.txt 内容为「测试」加换行(7 字节),gbk.txt 同样内容按 GBK 存(5 字节)。

1. 先判断文件到底是什么编码

$ file -bi ascii.txt
text/plain; charset=us-ascii
$ file -bi utf8.txt
text/plain; charset=utf-8
$ file -bi gbk.txt
text/plain; charset=iso-8859-1
$ file utf8.txt gbk.txt
utf8.txt: Unicode text, UTF-8 text
gbk.txt:  ISO-8859 text

UTF-8 能认出来是因为字节分布有特征。GBK 被猜成 iso-8859-1 是常态,因为两者都是"高位字节配低位字节",没有魔数可依。

2. GBK 转 UTF-8

$ iconv -f GBK -t UTF-8 gbk.txt > gbk-to-utf8.txt
exit=0
$ cat gbk-to-utf8.txt
测试
$ od -An -tx1 gbk-to-utf8.txt
 e6 b5 8b e8 af 95 0a

转完 5 字节变 7 字节,字节序列和原生 UTF-8 文件完全一致。-f 必须写内容的真实编码,不是你想转成的编码。

3. UTF-8 转 GBK

$ iconv -f UTF-8 -t GBK utf8.txt > utf8-to-gbk.txt
exit=0
$ od -An -tx1 utf8-to-gbk.txt
 b2 e2 ca d4 0a

6 字节变 4 字节。转小是正常的,因为 GBK 用两个字节表示常用汉字。

4. 方向写反的两种表现

$ iconv -f UTF-8 -t GBK gbk.txt > /dev/null
iconv: illegal input sequence at position 0
exit=1

$ iconv -f GBK -t UTF-8 utf8.txt > wrong.txt
exit=0
$ cat wrong.txt
娴嬭瘯

一个当场报错,一个悄悄出错。只有前一种会让你立刻发现写反了。

5. 看文件开头有没有 BOM

$ printf '\xef\xbb\xbfabc\n' > bom.txt
$ od -An -tx1 -N 6 bom.txt
 ef bb bf 61 62 63

只看前 6 个字节就够。EF BB BF 开头就是 UTF-8 BOM,FF FE 是 UTF-16LE,FE FF 是 UTF-16BE,其他都算无 BOM。

6. 去掉 BOM

$ sed '1s/^\xEF\xBB\xBF//' bom.txt > nobom.txt
$ od -An -tx1 -N 6 nobom.txt
 61 62 63 0a

1s 限定只处理第一行,^ 限定行首,不会误删正文中偶然出现的相同字节。GNU sed 支持 \xNN,macOS 的 BSD sed 不支持,要改用 $'\xEF...' 或 perl。

7. emoji 转 GBK 必然失败

$ printf '\xf0\x9f\x98\x80\n' > emoji.txt
$ iconv -f UTF-8 -t GBK emoji.txt > /dev/null
iconv: illegal input sequence at position 0
exit=1

GBK 字符集里没有 emoji。要保留表情只能转 UTF-8 或 GB18030,转 GBK 一定会失败。

8. -c 的代价是内容变少

$ iconv -c -f UTF-8 -t GBK emoji.txt > emoji-c.txt
exit=0
$ od -An -tx1 emoji-c.txt
 0a
$ wc -c < emoji.txt
5
$ wc -c < emoji-c.txt
1

表情被整段丢掉,只剩换行。-c 适合"丢一两个怪字符无所谓"的日志清洗,不适合业务数据。

9. 先看 locale 再看现象

$ locale | head -3
LANG=C.UTF-8
LANGUAGE=
LC_CTYPE="C.UTF-8"
$ echo "LANG=$LANG"
LANG=C.UTF-8

LANG 不是 UTF-8 时,部分工具会按 C locale 处理中文。文件编码正确、终端 locale 不对,看到的仍然是乱码。

10. Windows 的默认编码与 BOM 长度

PS> [Text.Encoding]::Default.WebName
gb2312
PS> [Text.Encoding]::UTF8.GetPreamble().Length
3

中文 Windows 上 .NET 默认编码是 gb2312,读写文件不指定编码就按它走。UTF8 编码器的 preamble 是 3 字节,也就是写文件时会自动加 BOM,这就是 Out-File -Encoding UTF8 产出带 BOM 文件的原因。

11. 控制台代码页

> chcp
Active code page: 65001

代码页 65001 是 UTF-8,936 是 GBK。这次采集的终端是英文提示,中文系统会显示「活动代码页」,关键看数字。

12. 系统里有没有 chardet

$ command -v uchardet || echo "no uchardet"
no uchardet
$ command -v chardet
/usr/bin/chardet

uchardet 没装,chardet 在。探测工具只能作参考,短文本、纯英文、混合编码都会判错。

容易误解与失败对照

最常见的几个误解

  • "文件是 UTF-8 的,打开就该正常":还要终端 locale、编辑器解码方式都对。
  • "乱码就是文件坏了":绝大多数是解码规则不对,字节本身完好。
  • "iconv 没报错就是转对了":方向写反时会成功输出错字。
  • "file 说是 iso-8859-1 就是 iso-8859-1":它只是猜,GBK 常被认成它。
  • "BOM 是文件内容的一部分":它是标记,不该被当正文读。
  • "UTF-8 文件加 BOM 更规范":配置文件、脚本、JSON 加了 BOM 反而会解析失败。
  • "-c 只是忽略警告":它会真的删掉字符。
  • "emoji 转 GBK 只是显示不出来":是字符集里根本没有,转换必然失败。
  • "Windows 记事本存的 UTF-8 是标准 UTF-8":老版本记事本会加 BOM。

失败对照:现象、原因、处理

现象 原因 处理
iconv: illegal input sequence -f 写的编码与内容不符 用 file -bi 和来源确认源编码
转完是一串错字,退出码 0 方向写反,UTF-8 被当 GBK 交换 -f 与 -t 重转
转换后文件明显变小 用了 -c,不可表示字符被丢 去掉 -c,改目标编码为 GB18030 或 UTF-8
第一个配置项读出来带怪字符 文件带 UTF-8 BOM 去 BOM 后重新保存
脚本报 bad interpreter 首行 #! 前有 BOM sed '1s/^\xEF\xBB\xBF//'
file -bi 显示 iso-8859-1 GBK 无魔数,被猜错 按数据来源判断,别信自动探测
Windows 打开 CSV 中文乱码 文件是 UTF-8 无 BOM,Excel 按 GBK 读 给 Excel 用的 CSV 加 BOM
终端里中文全是问号 控制台代码页不是 65001 chcp 65001,并确认字体支持

什么时候不该用这些命令

  • 拿 file -bi 当唯一依据:它只是猜测,业务数据要按来源确认。
  • 原地覆盖转换:iconv ... file > file 会把文件清空,必须先写新文件。
  • 对二进制文件做 iconv:图片、压缩包、PDF 不是文本,转了必坏。
  • 用 -c 处理业务数据:丢字符不报错,事后很难发现。
  • 在脚本里依赖系统默认编码:Windows 与 Linux 默认值不同,一律显式指定。