charset 是干什么的
编码是"字符到字节"的换算规则,同一句中文按 GBK 存是 4 个字节,按 UTF-8 存是 6 个字节;文件本身不带"我是 UTF-8"的标签(除了 BOM),读的时候用错规则就成了乱码。
$ printf '\xe6\xb5\x8b\xe8\xaf\x95\n' > utf8.txt
$ od -An -tx1 utf8.txt
e6 b5 8b e8 af 95 0a
$ file -bi utf8.txt
text/plain; charset=utf-8
「测试」两个字在 UTF-8 下是 e6 b5 8b e8 af 95 六个字节,末尾 0a 是换行。同一句话存成 GBK 只有四个字节。字节数不同、排列不同,用错规则去解就是乱码。
这一页的命令在哪执行
Linux / WSL 用 file 判断、iconv 转换、od 看字节;Windows 用 chcp 看和切代码页,PowerShell 5.1 的默认编码与 BOM 行为要单独记。
示例基于 GNU file / iconv / od(Ubuntu 24.04)与 Windows PowerShell 5.1(默认编码 gb2312,UTF8 编码器带 3 字节 BOM)。
展开:常见编码对照、BOM 字节表、为什么自动探测经常猜错
| 编码 | 「测试」占几字节 | 典型场景 |
|---|---|---|
| ASCII | 无法表示 | 纯英文配置、老代码 |
| GBK | 4 | 中文 Windows 的老文件、Excel 导出的 CSV |
| GB18030 | 4 | GBK 的超集,能表示全部 Unicode |
| UTF-8 | 6 | Linux、Web、现代项目默认 |
| UTF-16LE | 4(另加 2 字节 BOM) | Windows 记事本"Unicode"、部分日志 |
BOM 是文件开头的标记字节:
| 编码 | BOM 字节 |
|---|---|
| UTF-8 | EF BB BF |
| UTF-16LE | FF FE |
| UTF-16BE | FE FF |
file -bi 靠魔数和字节分布猜,纯 ASCII 文件永远显示 us-ascii(因为它确实没信息),短文本也常把 GBK 猜成 iso-8859-1。uchardet、chardet 同样只是概率判断,真正可靠的依据是数据来源:哪个系统导出、什么工具生成。
它到底在干什么
一、同一句中文,两种编码字节数不同
UTF-8 一个常用汉字 3 字节,GBK 是 2 字节;wc -c 数的是字节,不是字数。
$ od -An -tx1 utf8.txt
e6 b5 8b e8 af 95 0a
$ od -An -tx1 gbk.txt
b2 e2 ca d4 0a
$ wc -c < utf8.txt
7
$ wc -c < gbk.txt
5
7 和 5 都含末尾换行,所以正文分别是 6 字节和 4 字节。看到「文件大小对不上」时先确认编码,而不是怀疑内容被截断。
二、方向写反:一半报错,一半静默损坏
把 GBK 当 UTF-8 读会报 illegal input sequence;把 UTF-8 当 GBK 读却能"成功"输出一串错字,退出码还是 0。
$ iconv -f UTF-8 -t GBK gbk.txt > /dev/null
iconv: illegal input sequence at position 0
exit=1
$ iconv -f GBK -t UTF-8 utf8.txt > wrong.txt
exit=0
$ cat wrong.txt
娴嬭瘯
第二种最容易出错:UTF-8 的 6 个字节被两两配成 GBK 汉字,e6b5、8be8、af95 各解出一个字,凑成「娴嬭瘯」。**命令成功、日志无异常,内容全错。**所以转换必须输出到新文件,比对无误后再替换。
三、BOM 是开头三个看不见的字节
UTF-8 的 BOM 是 EF BB BF,它不属于正文却会被当成内容读进去,是"第一个 key 多了怪字符""脚本报 bad interpreter"的常见来源。
$ printf '\xef\xbb\xbfabc\n' > bom.txt
$ od -An -tx1 -N 6 bom.txt
ef bb bf 61 62 63
$ sed '1s/^\xEF\xBB\xBF//' bom.txt > nobom.txt
$ od -An -tx1 -N 6 nobom.txt
61 62 63 0a
去掉 BOM 后开头就是 61 62 63(abc)。Java 读 UTF-8 BOM 的属性文件时,第一个键会变成 \ufeffkey;Shell 脚本首行带上它,解释器就找不到 bash。给 Excel 打开的 CSV 反而需要 BOM,否则中文会乱码——这是少数要保留的场景。
四、-c 会把转不了的字符直接丢掉
iconv -c 遇到目标编码表示不了的字符就跳过,不报错、退出码 0,代价是内容少了一截。
$ printf '\xf0\x9f\x98\x80\n' > emoji.txt
$ iconv -f UTF-8 -t GBK emoji.txt > /dev/null
iconv: illegal input sequence at position 0
exit=1
$ iconv -c -f UTF-8 -t GBK emoji.txt > emoji-c.txt
exit=0
$ od -An -tx1 emoji-c.txt
0a
$ wc -c < emoji.txt
5
$ wc -c < emoji-c.txt
1
emoji 占 4 字节,GBK 里没有对应字符。加 -c 之后 5 字节的文件只剩 1 字节的换行,表情没了,文件还在,命令还说成功。
语法骨架
file -bi 文件
iconv -f 源编码 -t 目标编码 输入 > 输出
iconv -c -f 源编码 -t 目标编码 输入 > 输出
od -An -tx1 [-N 字节数] 文件
sed '1s/^\xEF\xBB\xBF//' 文件 > 输出
chcp [代码页]
| 选项/参数 | 作用 |
|---|---|
-f 编码 |
源编码,写错比目标写错更常见 |
-t 编码 |
目标编码 |
-c |
跳过无法转换的字符,不报错 |
-o 文件 |
输出到文件(GNU iconv) |
-bi |
file:输出简短 MIME 与 charset |
-An -tx1 |
od:不显示地址、按十六进制单字节显示 |
-N 数字 |
od:只读前 N 字节 |
chcp 65001 |
Windows 控制台切到 UTF-8(65001) |
出错会怎样:方向错、目标编码装不下时 iconv 报 illegal input sequence 并退出 1;加 -c 则不报错但内容变少;file 对 GBK 这类无标记编码经常给错答案。
失败长这样:
| 情况 | 提示 | 退出码 |
|---|---|---|
| GBK 文件当 UTF-8 转 | iconv: illegal input sequence at position 0 |
1 |
| UTF-8 文件当 GBK 转 | 无报错,输出 娴嬭瘯 |
0 |
| emoji 转 GBK | iconv: illegal input sequence at position 0 |
1 |
emoji 加 -c 转 GBK |
无报错,5 字节变 1 字节 | 0 |
file -bi 判断 GBK |
text/plain; charset=iso-8859-1 |
猜错,不报错 |
file -bi 判断纯 ASCII |
text/plain; charset=us-ascii |
正常,但没有信息量 |
常见用法示例
采集目录:WSL 下 /mnt/e/.../smalldemo,utf8.txt 内容为「测试」加换行(7 字节),gbk.txt 同样内容按 GBK 存(5 字节)。
1. 先判断文件到底是什么编码
$ file -bi ascii.txt
text/plain; charset=us-ascii
$ file -bi utf8.txt
text/plain; charset=utf-8
$ file -bi gbk.txt
text/plain; charset=iso-8859-1
$ file utf8.txt gbk.txt
utf8.txt: Unicode text, UTF-8 text
gbk.txt: ISO-8859 text
UTF-8 能认出来是因为字节分布有特征。GBK 被猜成 iso-8859-1 是常态,因为两者都是"高位字节配低位字节",没有魔数可依。
2. GBK 转 UTF-8
$ iconv -f GBK -t UTF-8 gbk.txt > gbk-to-utf8.txt
exit=0
$ cat gbk-to-utf8.txt
测试
$ od -An -tx1 gbk-to-utf8.txt
e6 b5 8b e8 af 95 0a
转完 5 字节变 7 字节,字节序列和原生 UTF-8 文件完全一致。-f 必须写内容的真实编码,不是你想转成的编码。
3. UTF-8 转 GBK
$ iconv -f UTF-8 -t GBK utf8.txt > utf8-to-gbk.txt
exit=0
$ od -An -tx1 utf8-to-gbk.txt
b2 e2 ca d4 0a
6 字节变 4 字节。转小是正常的,因为 GBK 用两个字节表示常用汉字。
4. 方向写反的两种表现
$ iconv -f UTF-8 -t GBK gbk.txt > /dev/null
iconv: illegal input sequence at position 0
exit=1
$ iconv -f GBK -t UTF-8 utf8.txt > wrong.txt
exit=0
$ cat wrong.txt
娴嬭瘯
一个当场报错,一个悄悄出错。只有前一种会让你立刻发现写反了。
5. 看文件开头有没有 BOM
$ printf '\xef\xbb\xbfabc\n' > bom.txt
$ od -An -tx1 -N 6 bom.txt
ef bb bf 61 62 63
只看前 6 个字节就够。EF BB BF 开头就是 UTF-8 BOM,FF FE 是 UTF-16LE,FE FF 是 UTF-16BE,其他都算无 BOM。
6. 去掉 BOM
$ sed '1s/^\xEF\xBB\xBF//' bom.txt > nobom.txt
$ od -An -tx1 -N 6 nobom.txt
61 62 63 0a
1s 限定只处理第一行,^ 限定行首,不会误删正文中偶然出现的相同字节。GNU sed 支持 \xNN,macOS 的 BSD sed 不支持,要改用 $'\xEF...' 或 perl。
7. emoji 转 GBK 必然失败
$ printf '\xf0\x9f\x98\x80\n' > emoji.txt
$ iconv -f UTF-8 -t GBK emoji.txt > /dev/null
iconv: illegal input sequence at position 0
exit=1
GBK 字符集里没有 emoji。要保留表情只能转 UTF-8 或 GB18030,转 GBK 一定会失败。
8. -c 的代价是内容变少
$ iconv -c -f UTF-8 -t GBK emoji.txt > emoji-c.txt
exit=0
$ od -An -tx1 emoji-c.txt
0a
$ wc -c < emoji.txt
5
$ wc -c < emoji-c.txt
1
表情被整段丢掉,只剩换行。-c 适合"丢一两个怪字符无所谓"的日志清洗,不适合业务数据。
9. 先看 locale 再看现象
$ locale | head -3
LANG=C.UTF-8
LANGUAGE=
LC_CTYPE="C.UTF-8"
$ echo "LANG=$LANG"
LANG=C.UTF-8
LANG 不是 UTF-8 时,部分工具会按 C locale 处理中文。文件编码正确、终端 locale 不对,看到的仍然是乱码。
10. Windows 的默认编码与 BOM 长度
PS> [Text.Encoding]::Default.WebName
gb2312
PS> [Text.Encoding]::UTF8.GetPreamble().Length
3
中文 Windows 上 .NET 默认编码是 gb2312,读写文件不指定编码就按它走。UTF8 编码器的 preamble 是 3 字节,也就是写文件时会自动加 BOM,这就是 Out-File -Encoding UTF8 产出带 BOM 文件的原因。
11. 控制台代码页
> chcp
Active code page: 65001
代码页 65001 是 UTF-8,936 是 GBK。这次采集的终端是英文提示,中文系统会显示「活动代码页」,关键看数字。
12. 系统里有没有 chardet
$ command -v uchardet || echo "no uchardet"
no uchardet
$ command -v chardet
/usr/bin/chardet
uchardet 没装,chardet 在。探测工具只能作参考,短文本、纯英文、混合编码都会判错。
容易误解与失败对照
最常见的几个误解
- "文件是 UTF-8 的,打开就该正常":还要终端 locale、编辑器解码方式都对。
- "乱码就是文件坏了":绝大多数是解码规则不对,字节本身完好。
- "
iconv没报错就是转对了":方向写反时会成功输出错字。 - "
file说是 iso-8859-1 就是 iso-8859-1":它只是猜,GBK 常被认成它。 - "BOM 是文件内容的一部分":它是标记,不该被当正文读。
- "UTF-8 文件加 BOM 更规范":配置文件、脚本、JSON 加了 BOM 反而会解析失败。
- "
-c只是忽略警告":它会真的删掉字符。 - "emoji 转 GBK 只是显示不出来":是字符集里根本没有,转换必然失败。
- "Windows 记事本存的 UTF-8 是标准 UTF-8":老版本记事本会加 BOM。
失败对照:现象、原因、处理
| 现象 | 原因 | 处理 |
|---|---|---|
iconv: illegal input sequence |
-f 写的编码与内容不符 |
用 file -bi 和来源确认源编码 |
| 转完是一串错字,退出码 0 | 方向写反,UTF-8 被当 GBK | 交换 -f 与 -t 重转 |
| 转换后文件明显变小 | 用了 -c,不可表示字符被丢 |
去掉 -c,改目标编码为 GB18030 或 UTF-8 |
| 第一个配置项读出来带怪字符 | 文件带 UTF-8 BOM | 去 BOM 后重新保存 |
脚本报 bad interpreter |
首行 #! 前有 BOM |
sed '1s/^\xEF\xBB\xBF//' |
file -bi 显示 iso-8859-1 |
GBK 无魔数,被猜错 | 按数据来源判断,别信自动探测 |
| Windows 打开 CSV 中文乱码 | 文件是 UTF-8 无 BOM,Excel 按 GBK 读 | 给 Excel 用的 CSV 加 BOM |
| 终端里中文全是问号 | 控制台代码页不是 65001 | chcp 65001,并确认字体支持 |
什么时候不该用这些命令
- 拿
file -bi当唯一依据:它只是猜测,业务数据要按来源确认。 - 原地覆盖转换:
iconv ... file > file会把文件清空,必须先写新文件。 - 对二进制文件做 iconv:图片、压缩包、PDF 不是文本,转了必坏。
- 用
-c处理业务数据:丢字符不报错,事后很难发现。 - 在脚本里依赖系统默认编码:Windows 与 Linux 默认值不同,一律显式指定。