客户上传了一份在他们电脑上打开正常的工作簿,导入服务却以 ZIP 错误拒收。前八个字节的十六进制转储显示 D0 CF 11 E0 A1 B1 1A E1——1997 年代 .xls 携带的 OLE 复合文件签名。文件扩展名是 .xlsx,出自当前版本的 Excel,却根本不是 ZIP 包。有人在另存为对话框里设了密码
谜底就这么多。Excel 用密码保存工作簿时,会加密真正的 .xlsx ZIP,把结果包进一个 Compound File Binary(CFB)容器,用的是 [MS-OFFCRYPTO] §2.3.4.10 到 §2.3.4.15 的 Agile 方案。任何按扩展名分类文件的加载器、或把每个 .xlsx 直接塞给 ZIP 读取器的加载器,都会把上传弹回去——而在屏幕那头的用户看来,自己什么反常操作都没做
Agile 加密的工作簿里装着什么
Agile 加密的工作簿是一个 CFB 容器,其中重要的两条流是:EncryptionInfo,描述加密是怎么做的;EncryptedPackage,把原始 ZIP 作为一个不透明的加密大块拿着。HotXLS 直接从容器读这两条流,机器上不需要 Excel、COM,也不需要任何外部加密 DLL
Agile 区别于老式 Standard Encryption 的地方在于 EncryptionInfo 是自描述的。经过主次版本都是 4 的 8 字节前缀之后,这条流是一份 UTF-8 的 XML 描述符。keyData 元素点名密码算法(AES)、链接模式(ChainingModeCBC)、哈希算法、以位计的密钥长度、块大小和一个 Base64 盐值。密码的 keyEncryptor 带着自己的盐值、一个 spinCount 和三份 Base64 载荷:encryptedVerifierHashInput、encryptedVerifierHashValue 和 encryptedKeyValue。dataIntegrity 元素再加一对加密的 HMAC 密钥和 HMAC 值,用于防篡改检测
Excel 自己写的是 AES-256、SHA-512 和 100,000 的自旋计数。但描述符允许写别的值,第三方生成方也确实这么干。HotXLS 从描述符取 keyBits 而不是假设 256,所以 AES-128 和 AES-192 文件照样解密,hashAlgorithm="SHA256" 和 SHA-512 也都接受。每个元素自己的 hash 属性管辖属于它的步骤:keyEncryptor 的哈希驱动密码派生与验证,keyData 的哈希驱动分段 IV 和完整性 HMAC。混用两者的文件照样打开
打开文件:OpenEncrypted 或带密码的 Open
TXLSXWorkbook.OpenEncrypted 接收文件名和密码,成功返回 1,与 Open 同一份契约。它用 CanReadEncrypted 嗅探前八个字节。没有 CFB 签名的文件走普通的 Open 路径,密码被忽略,所以总是调用 OpenEncrypted 的导入器在调用点不需要任何分支。CFB 文件先按 Standard Encryption 尝试,EncryptionInfo 前缀带 Agile 的 4.4 版本时,Agile 读取器接管。解密出的 ZIP 字节随后交给内存里常规的 XLSX 加载器
两个入口都接收文件名。Open(Stream) 会拒绝以 CFB 签名开头的流并抛出消息指向 OpenEncrypted 的异常,所以拿在 TMemoryStream 里的上传得先落到临时文件
uses
System.SysUtils, System.Classes, System.IOUtils, System.Variants, lxHandleX;
function ReadFirstCell(Upload: TMemoryStream;
const Password: WideString): WideString;
var
TempName: string;
Wb: TXLSXWorkbook;
begin
Result := '';
// 加密包要从文件打开,所以把上传先落到磁盘
TempName := TPath.GetTempFileName;
Wb := TXLSXWorkbook.Create;
try
Upload.SaveToFile(TempName);
// 普通 .xlsx、Standard 加密和 Agile 加密的文件在这里都能处理
if Wb.OpenEncrypted(TempName, Password) = 1 then
Result := VarToWideStr(Wb.Sheets[1].Cells[1, 1].Value);
finally
Wb.Free;
TFile.Delete(TempName);
end;
end;
双参数的 Open(FileName, Password) 重载走到同一段解密代码,但多了一件 OpenEncrypted 没有的东西:OnPassword 事件。提供的密码验证失败时,Open 触发 OnPassword,让处理器指定新密码并把 Retry 置为 True,然后再问一次,最多三次。桌面应用可以把密码输入框放进这个处理器;服务器也能拿它干点别的——最后一节会讲到
密码是怎么变成 AES 密钥的?
密码从不直接解密任何东西。第一个摘要是对 keyEncryptor 盐值拼接密码的 UTF-16LE 字节做 SHA-512;这个摘要随后再哈希 spinCount 次,每一轮都把 32 位小端的轮次计数器拼在上一轮摘要前面。按 Excel 的 100,000 轮,每尝试一次密码就要串行调用十万次 SHA-512。自旋计数的用意正在于此:合法的打开付一次,字典攻击的每一次猜测都要付一次
这条链短到可以复现,而复现它正是在你自己的硬件上看清一次猜测代价的最快办法。下面的草图按 §2.3.4.11 处理 SHA-512 描述符,使用 lxXlsxAgileDecrypt 单元公开的 XlsSHA512 函数
uses
System.SysUtils, lxXlsxAgileDecrypt;
// H0 = SHA-512(salt + UTF-16LE(password))
// Hn = SHA-512(LE32(n - 1) + H(n-1)),重复 SpinCount 次
function SpinHash(const Password: WideString; const Salt: TBytes;
SpinCount: Integer): TBytes;
var
Buf: TBytes;
PwdLen, I: Integer;
begin
PwdLen := Length(Password) * SizeOf(WideChar);
SetLength(Buf, Length(Salt) + PwdLen);
if Length(Salt) > 0 then
Move(Salt[0], Buf[0], Length(Salt));
if PwdLen > 0 then
Move(Password[1], Buf[Length(Salt)], PwdLen);
Result := XlsSHA512(Buf);
SetLength(Buf, 4 + 64);
for I := 0 to SpinCount - 1 do
begin
Buf[0] := Byte(I and $FF); // 轮次计数器,小端序
Buf[1] := Byte((I shr 8) and $FF);
Buf[2] := Byte((I shr 16) and $FF);
Buf[3] := Byte((I shr 24) and $FF);
Move(Result[0], Buf[4], 64); // 上一轮摘要
Result := XlsSHA512(Buf);
end;
end;
自旋后的哈希仍然不是密钥。三把密钥都从它派生,办法各是把自旋值再哈希一次、后面附一个固定的 8 字节块密钥:FE A7 D2 76 3B 4B 9E 79 给校验输入,D7 AA 0F 6D 30 61 34 4E 给校验哈希,14 6E 0B E7 AB AC D0 D6 用来解开包密钥。每个结果都截断到声明的密钥长度,AES-256 就是 32 字节。规范还定义了哈希短于密钥时的处理:用 0x36 字节填充。SHA-256 或 SHA-512 实际不会触发那条,但当密码盐值要拉伸到块大小去充当 CBC IV 时,同一条 0x36 规则确实用得上
自旋计数从文件里读,所以它也是攻击面:一个声明十亿轮的上传会在失败之前先钉死一个 CPU 核心。§2.3.4.11 把 spinCount 上限定为 10,000,000,HotXLS 在做任何哈希之前就把更大的值按不支持的描述符报告。对公开的上传端点,这个上限是正确的默认值。Excel 自己的 100,000 远在其下
密码验证与 saltSize 截断陷阱
HotXLS 在碰包体之前先验证密码。它用第一把派生密钥解密 encryptedVerifierHashInput,对结果做哈希,再用第二把密钥解密 encryptedVerifierHashValue,然后按完整哈希长度比对两份摘要,不在第一个差异字节处停下。不匹配就以密码错误结束打开,包体绝不会在错误密钥下解密。因此错误密码不可能产出一本满是貌似合理垃圾的工作簿
规范里有一句话在这里很容易读错。§2.3.4.13 把校验值定义为 saltSize 字节的随机数据,而 saltSize 是密钥加密器盐值的长度。解密出的校验值回来时被补齐到 16 字节 AES 块的整数倍,所以哈希之前必须截回 saltSize。Excel 写出的 saltSize 和 blockSize 永远是 16,这意味着按块大小截断的代码能通过针对 Excel 输出的每一项测试——然后在遇到第一份选了 32 字节盐值的生成方文件时拒绝正确密码。HotXLS 截断到盐长,因为规范文本说的是这个;Excel 文件里两个数恰好一致,只是巧合
EncryptedPackage 是怎么解密的?
包密钥是随机的,不是从密码派生的。写入方生成它,把它加密进 encryptedKeyValue,HotXLS 用第三把派生密钥把它解开,按 keyData 在 keyBits 里声明的长度保留字节。在解密任何分段之前,文件带有 dataIntegrity 时 HotXLS 会先检查它:HMAC 密钥和值用包密钥解密,对完整 EncryptedPackage 流(长度前缀算在内)的 HMAC 必须与存储值一致。没有可用 dataIntegrity 元素的文件跳过这一步,照样打开
流本身以 8 字节小端明文长度开头,其后是按 4096 字节分段的密文。每段有自己的 IV:keyData 盐值拼接 32 位小端段索引后的哈希,截断到块大小。因此任何一段都能独立解密,原理上这让格式对随机访问相当友好;HotXLS 把整个包解密进内存,因为 ZIP 加载器反正要完整的档案。声明的长度会在解密开始前与实际流长度核对,所以被截断的上传或被夸大的长度字段会干净地失败。最后一段之后,缓冲区按声明长度截断,丢掉最多 15 字节的 AES 填充,剩下的逐字节就是 Excel 加密的那份 ZIP
把密码错误与不支持的文件区分开
OpenEncrypted 和 Open 里每一种加密失败都抛出 EXlsxEncryptionNotImplemented,消息说明是哪种情形:提供的密码不正确,或文件用了 HotXLS 不读的方案。HotXLS 读取以 AES CBC 模式加 SHA-512 或 SHA-256 哈希的密码密钥加密器,覆盖当前 Excel 版本写出的内容;仅由证书密钥加密器保护的容器、点名其他密码算法的描述符、或既非 Standard 也非 Agile 的 CFB——比如改了名的 BIFF .xls——得到的是不支持的消息
按消息文本匹配很脆,尤其当资源字符串哪天被本地化。OnPassword 事件给出更干净的信号:只有校验值或完整性检查拒绝密码时 Open 才触发它,方案不受支持时绝不会。对导入服务,用一个记录拒绝的处理器去调 Open(FileName, Password),而不是 OpenEncrypted——后者直接抛异常,不咨询任何事件
type
TUploadOutcome = (uoLoaded, uoPasswordRejected, uoUnreadable);
TUploadLoader = class
private
FPasswordRejected: Boolean;
procedure HandlePassword(Sender: TObject; var PassWord: WideString;
var Retry: Boolean);
public
function Load(Wb: TXLSXWorkbook;
const FileName, Password: WideString): TUploadOutcome;
end;
procedure TUploadLoader.HandlePassword(Sender: TObject;
var PassWord: WideString; var Retry: Boolean);
begin
// 只有密码(或完整性 HMAC)被拒时才触发
FPasswordRejected := True;
Retry := False; // 服务器上没人可问;Open 接下来会抛异常
end;
function TUploadLoader.Load(Wb: TXLSXWorkbook;
const FileName, Password: WideString): TUploadOutcome;
begin
FPasswordRejected := False;
Wb.OnPassword := HandlePassword;
try
if Wb.Open(FileName, Password) = 1 then
Result := uoLoaded
else
Result := uoUnreadable;
except
on E: EXlsxEncryptionNotImplemented do
if FPasswordRejected then
Result := uoPasswordRejected // 可以再问用户一次
else
Result := uoUnreadable; // 重试无济于事;记录 E.Message
end;
end;
即便有了这样的区分,仍剩一个坑。完整性不匹配与错误密码按同一种方式报告,所以密文在传输中受损的工作簿——被改写请求体的代理、或在一半截断的上传——即使用户输对了密码,也会以 uoPasswordRejected 回来。同一个用户坚称密码正确却失败了两次,先让他重新传文件,再让他重输密码
写入侧把同一套机器反过来用。SaveAsEncryptedAgile 产出带 SHA-512 密钥派生、100,000 自旋轮次和 AES-256 包加密的 Agile 容器;SaveAsEncrypted 产出 Standard Encryption;把 VerifyEncryptedSave 设为 True 会让任一调用在写完后经解密路径重新打开刚写的文件,失败则返回 -1。Standard 路径在 写出 AES 保护 XLSX 输出的那篇文章 里有完整走读,老式 BIFF 文件里的 RC4 和 XOR 方案见 ECB 与 RC4 互操作一文
对永远无法预知下个上传是否带密码的流水线,上述读取器连同面向 Delphi 和 C++Builder 的原生 XLS 与 XLSX 读写,都是 HotXLS Delphi Excel Component 的一部分