hash 是干什么的
哈希就是给一段字节算一个固定长度的"指纹"——内容差一个换行,指纹就完全不同;所以它只能用来验证"有没有变",不能用来"还原"或"加密"。
$ printf 'abc' | sha256sum
ba7816bf8f01cfea414140de5dae2223b00361a396177a9cb410ff61f20015ad -
字符串 abc 只有 3 个字节,算出来是 64 位十六进制。**中间那个 - 表示输入来自管道,不是文件。**换成 echo "abc" 加上换行,值立刻变成另一个——这是对不上摘要的头号原因。
这一页的命令在哪执行
Linux / WSL 里用 md5sum、sha1sum、sha256sum、openssl dgst;Windows 里用 certutil -hashfile 或 PowerShell 的 Get-FileHash,两边算同一份文件结果必须一致。
示例基于 GNU coreutils 与 OpenSSL 3.x(Ubuntu 24.04)以及 Windows PowerShell 5.1(certutil、Get-FileHash);同一个 hello\n 文件两边算出的 SHA-256 一致。
展开:算法怎么选、摘要长度、为什么不能拿哈希存口令、命令行传密码的风险
| 算法 | 输出长度 | 还能不能用于安全场景 |
|---|---|---|
| MD5 | 32 位十六进制 | 不能,已可构造碰撞 |
| SHA-1 | 40 位 | 不能,Google 已公开碰撞样本 |
| SHA-256 | 64 位 | 可以,完整性校验和签名都用它 |
| SHA-512 | 128 位 | 可以,长摘要更慢一些 |
| SHA3-256 | 64 位 | 可以,但 PowerShell 5.1 的 Get-FileHash 不支持 |
"MD5 可碰撞"的实际含义是:攻击者能造出两个内容不同、MD5 相同的文件。所以下载站给 MD5 只能防传输损坏,防不住被人换包;防篡改用 SHA-256 起步,最好再配签名。
口令不能直接用这些函数。同样的密码算出的摘要永远相同,撞库表和彩虹表一查就出来。口令要用 bcrypt、argon2、PBKDF2 这类带盐、可调慢的算法。
还有个日常风险:echo -n "密码" | md5sum 会把密码留在 shell 历史和进程列表里。要么用 read -s 读入,要么干脆别在命令行算。
它到底在干什么
一、算的是字节流,换行、BOM、编码全都算进去
echo 会多送一个换行,echo -n 和 printf 不会;跨平台还要注意 Windows 的 CRLF 是两字节。
$ echo "abc" | md5sum
0bee89b07a248e27c83fc3d5951213c1 -
$ echo -n "abc" | md5sum
900150983cd24fb0d6963f7d28e17f72 -
$ printf "abc" | sha256sum
ba7816bf8f01cfea414140de5dae2223b00361a396177a9cb410ff61f20015ad -
$ printf "abc" | sha1sum
a9993e364706816aba3e25717850c26c9cd0d89d -
同一个 abc,加了换行 MD5 就是另一个值。对方给的摘要是对字符串算的,你这边用 echo 带换行去比,永远对不上。
二、校验清单是固定格式,-c 会逐条比对并给出总退出码
清单每行是"摘要 + 两个空格 + 路径",sha256sum -c 读它逐条核对,全对退出码 0,有一条不对就是 1。
$ sha256sum a.txt > sums.txt
$ cat sums.txt
5891b5b522d5df086d0ff0b110fbd9d21bb4fc7163af34d08286a2e846f6be03 a.txt
$ sha256sum -c sums.txt
a.txt: OK
exit=0
改一个字节或者换掉文件,立刻变成 FAILED:
$ sha256sum -c bad.txt
a.txt: FAILED
sha256sum: WARNING: 1 computed checksum did NOT match
exit=1
注意 WARNING 那行走的是 stderr,脚本里只重定向 stdout 会漏掉它,看起来像"校验没输出"。
三、Windows 与 Linux 输出格式不同,比对前要统一
Linux 输出小写、两空格分隔;certutil 的输出夹着中文提示;Get-FileHash 是大写。三者算出的值相同,格式不同。
$ certutil -hashfile C:\hashdemo\a.txt SHA256
SHA256 的 C:\hashdemo\a.txt 哈希:
5891b5b522d5df086d0ff0b110fbd9d21bb4fc7163af34d08286a2e846f6be03
CertUtil: -hashfile 命令成功完成。
PS> Get-FileHash -LiteralPath 'C:\hashdemo\a.txt' -Algorithm SHA256 | Format-List Algorithm,Hash,Path
Algorithm : SHA256
Hash : 5891B5B522D5DF086D0FF0B110FBD9D21BB4FC7163AF34D08286A2E846F6BE03
Path : C:\hashdemo\a.txt
三处都是 5891b5b5...be03,只是大小写和外围文字不同。脚本比对前统一 ToLower() 或 tr 'A-Z' 'a-z',否则一定误判。
语法骨架
md5sum [选项] [文件...]
sha256sum [选项] [文件...]
sha1sum [选项] [文件...]
openssl dgst -sha256 [文件]
certutil -hashfile 文件 算法
Get-FileHash -LiteralPath 文件 -Algorithm 算法
| 选项/参数 | 作用 |
|---|---|
-c 清单 / --check |
按清单逐条校验 |
--quiet |
校验时只打印失败项 |
--status |
不打印,只用退出码表示结果 |
--ignore-missing |
清单里的文件不存在时跳过 |
-b / --binary |
Windows 上按二进制模式读(避免 CRLF 转换) |
--tag |
输出 BSD 风格 SHA256 (file) = ... |
-Algorithm |
Get-FileHash 支持的算法:SHA1/SHA256/SHA384/SHA512/MD5/RIPEMD160 |
算法名 |
certutil 要写 MD5/SHA1/SHA256/SHA384/SHA512 |
出错会怎样:文件不存在报 No such file or directory,目录报 Is a directory,清单摘要不匹配报 FAILED + WARNING,三者退出码都是 1。
失败长这样:
| 情况 | 提示 | 退出码 |
|---|---|---|
| 清单摘要不匹配 | a.txt: FAILED + sha256sum: WARNING: 1 computed checksum did NOT match |
1 |
| 清单文件不存在 | sha256sum: nosuch.txt: No such file or directory |
1 |
| 对目录算哈希 | sha256sum: d1: Is a directory |
1 |
| 目标文件不存在 | Get-FileHash : Cannot find path 'C:\hashdemo\nosuch.txt' because it does not exist. |
命令失败 |
| 5.1 用 SHA3 | Cannot validate argument on parameter 'Algorithm'. The argument "SHA3_256" does not belong to the set ... |
命令失败 |
常见用法示例
采集目录:WSL 下 /mnt/e/.../smalldemo,文件 a.txt 内容为 hello 加一个换行。
1. 算字符串,先想清楚有没有换行
$ echo "abc" | md5sum
0bee89b07a248e27c83fc3d5951213c1 -
$ echo -n "abc" | md5sum
900150983cd24fb0d6963f7d28e17f72 -
网上抄来的摘要多半是按"不带换行"算的。对不上时先换 echo -n 或 printf 再试一次,别急着怀疑文件坏了。
2. 算文件摘要
$ md5sum a.txt
b1946ac92492d2347c6235b4d2611184 a.txt
$ sha256sum a.txt
5891b5b522d5df086d0ff0b110fbd9d21bb4fc7163af34d08286a2e846f6be03 a.txt
输出是"摘要 + 两个空格 + 文件名"。这两个空格是格式的一部分,自己拼清单时用 Tab 或一个空格都会导致 -c 读不到文件名。
3. 生成校验清单
$ sha256sum a.txt > sums.txt
$ cat sums.txt
5891b5b522d5df086d0ff0b110fbd9d21bb4fc7163af34d08286a2e846f6be03 a.txt
多个文件就写 sha256sum *.tar.gz > sums.txt。清单里存相对路径,换目录后就失效,所以校验和生成必须在同一层目录执行。
4. 按清单校验
$ sha256sum -c sums.txt
a.txt: OK
exit=0
只有全部 OK 退出码才是 0。脚本里别解析 OK 文字,直接判断 $?。
5. 校验失败与文件缺失
$ sha256sum -c bad.txt
a.txt: FAILED
sha256sum: WARNING: 1 computed checksum did NOT match
exit=1
$ sha256sum -c nosuch.txt
sha256sum: nosuch.txt: No such file or directory
exit=1
第二种是清单文件本身不存在,不是被校验的文件不存在。两者提示不同,排查方向也不同。
6. 对目录算哈希会直接报错
$ sha256sum d1
sha256sum: d1: Is a directory
exit=1
要算整个目录,先打包再用 tar 的摘要,或者 find . -type f -exec sha256sum {} + | sort | sha256sum 算"清单的摘要"。
7. 清单带 CRLF 也能过
$ sha256sum a.txt | sed 's/$/\r/' > crlf.txt
$ sha256sum -c crlf.txt
a.txt: OK
exit=0
网上常说"CRLF 清单会校验失败",新版 GNU coreutils 能识别行尾的 \r。但老版本工具和某些第三方校验器不一定,跨平台分发清单还是建议统一 LF。
8. openssl 的通用写法
$ openssl dgst -sha256 a.txt
SHA2-256(a.txt)= 5891b5b522d5df086d0ff0b110fbd9d21bb4fc7163af34d08286a2e846f6be03
输出格式和 sha256sum 不同(SHA2-256(file)= 前缀)。好处是算法名可换:-sha1、-sha512、-md5 都是同一条命令。
9. Windows:certutil
> certutil -hashfile C:\hashdemo\a.txt SHA256
SHA256 的 C:\hashdemo\a.txt 哈希:
5891b5b522d5df086d0ff0b110fbd9d21bb4fc7163af34d08286a2e846f6be03
CertUtil: -hashfile 命令成功完成。
摘要单独占一行,前后是中文提示。脚本里要过滤 ^[0-9a-f]\{64\}$ 这一行,不能整段当结果。
10. PowerShell:Get-FileHash
PS> Get-FileHash -LiteralPath 'C:\hashdemo\a.txt' -Algorithm SHA256 | Format-List Algorithm,Hash,Path
Algorithm : SHA256
Hash : 5891B5B522D5DF086D0FF0B110FBD9D21BB4FC7163AF34D08286A2E846F6BE03
Path : C:\hashdemo\a.txt
默认输出是表格式,加 -ExpandProperty Hash 或 .Hash 才能只拿摘要。值是全大写,和 Linux 输出比对前先转小写。
11. 5.1 没有 SHA3
PS> Get-FileHash -LiteralPath 'C:\hashdemo\a.txt' -Algorithm SHA3_256
Get-FileHash : Cannot validate argument on parameter 'Algorithm'. The argument "SHA3_256" does not
belong to the set "SHA1,SHA256,SHA384,SHA512,MACTripleDES,MD5,RIPEMD160" specified by the
ValidateSet attribute.
5.1 只支持这七种,SHA3 要 PowerShell 7 或 openssl。报错里的集合就是可用值清单,不用查文档。
12. 文件不存在时的提示
PS> Get-FileHash -LiteralPath 'C:\hashdemo\nosuch.txt'
Get-FileHash : Cannot find path 'C:\hashdemo\nosuch.txt' because it does not exist.
Linux 下对应的是 sha256sum: nosuch.txt: No such file or directory。两者都只说明路径不对,不代表文件被篡改。
容易误解与失败对照
最常见的几个误解
- "MD5 能防篡改":只能防传输损坏,防不住有人同时替换文件和摘要。
- "哈希能解密":不能,它是单向映射,只能穷举比对。
- "
echo和echo -n结果一样":差一个换行,摘要完全不同。 - "目录也能算哈希":不能,要打包或算清单摘要。
- "校验通过就安全":清单和文件来自同一个渠道时,两者可以一起被换。
- "
sha256sum -c没输出就是没问题":WARNING走 stderr,重定向会漏。 - "Windows 和 Linux 算出来肯定一样":同字节一样,但换行转换(CRLF)会让文件本身不同。
- "大小写无所谓":字符串比对有所谓,
Get-FileHash默认大写。 - "哈希可以用来存口令":不加盐的裸哈希会被彩虹表直接查出来,要用 bcrypt/argon2。
- "摘要越长越安全":算法被攻破时长度没用,MD5 再长也是 MD5。
失败对照:现象、原因、处理
| 现象 | 原因 | 处理 |
|---|---|---|
| 摘要对不上,文件没动过 | echo 多送换行、文件编码不同、CRLF |
用 printf 重算;od -c 看结尾字节 |
-c 报 no properly formatted checksum lines |
清单用 Tab 或单空格分隔 | 用 sha256sum 自己生成,别手拼 |
-c 全 FAILED |
清单在别的目录生成,路径对不上 | 回到清单所在目录执行 |
Is a directory |
对目录算了哈希 | 先 tar 打包,或算文件清单的摘要 |
| Windows 与 Linux 结果不同 | 文件是 CRLF,或一边带了 BOM | file 看换行,-b 二进制模式重算 |
certutil 摘要把提示文字也抓进来 |
直接取了整段输出 | 用正则只取 64 位十六进制那一行 |
Get-FileHash 报 ValidateSet |
5.1 不支持 SHA3 | 换 SHA256,或装 PowerShell 7 |
| 脚本里校验"没报错"却放过了坏文件 | 只判断 stdout,WARNING 在 stderr |
判断 $? / $LASTEXITCODE,或用 --status |
什么时候不该用这些命令
- 拿 MD5 做发布校验:至少 SHA-256,重要发布再加签名。
- 在命令行里算密码摘要:会进 shell 历史和进程列表。
- 对超大目录逐个算:IO 打满,先按需抽样或只算关键产物。
- 用哈希做去重键却不加盐:相同内容能看出相同,敏感数据会泄露"两份一样"。
- 把摘要写进日志:某些场景下摘要本身就是敏感信息(如口令派生结果)。