技术文章

在 Delphi 中用 HotXLS 读取 Agile 加密的 Excel 文件

客户上传了一份在他们电脑上打开正常的工作簿,导入服务却以 ZIP 错误拒收。前八个字节的十六进制转储显示 D0 CF 11 E0 A1 B1 1A E1——1997 年代 .xls 携带的 OLE 复合文件签名。文件扩展名是 .xlsx,出自当前版本的 Excel,却根本不是 ZIP 包。有人在另存为对话框里设了密码

谜底就这么多。Excel 用密码保存工作簿时,会加密真正的 .xlsx ZIP,把结果包进一个 Compound File Binary(CFB)容器,用的是 [MS-OFFCRYPTO] §2.3.4.10 到 §2.3.4.15 的 Agile 方案。任何按扩展名分类文件的加载器、或把每个 .xlsx 直接塞给 ZIP 读取器的加载器,都会把上传弹回去——而在屏幕那头的用户看来,自己什么反常操作都没做

Agile 加密的工作簿里装着什么

Agile 加密的工作簿是一个 CFB 容器,其中重要的两条流是:EncryptionInfo,描述加密是怎么做的;EncryptedPackage,把原始 ZIP 作为一个不透明的加密大块拿着。HotXLS 直接从容器读这两条流,机器上不需要 Excel、COM,也不需要任何外部加密 DLL

HotXLS 在 Delphi 中打开的 Agile 加密工作簿的结构剖析:一个 CFB 容器,装着 EncryptionInfo 描述符流和由 AES-CBC 分段构成的 EncryptedPackage 流
HotXLS 把 Agile 加密工作簿读作一个 CFB 容器,其中有自描述的 EncryptionInfo 流,以及被当作不透明 EncryptedPackage 流加密的 .xlsx ZIP

Agile 区别于老式 Standard Encryption 的地方在于 EncryptionInfo 是自描述的。经过主次版本都是 4 的 8 字节前缀之后,这条流是一份 UTF-8 的 XML 描述符。keyData 元素点名密码算法(AES)、链接模式(ChainingModeCBC)、哈希算法、以位计的密钥长度、块大小和一个 Base64 盐值。密码的 keyEncryptor 带着自己的盐值、一个 spinCount 和三份 Base64 载荷:encryptedVerifierHashInput、encryptedVerifierHashValue 和 encryptedKeyValue。dataIntegrity 元素再加一对加密的 HMAC 密钥和 HMAC 值,用于防篡改检测

Excel 自己写的是 AES-256、SHA-512 和 100,000 的自旋计数。但描述符允许写别的值,第三方生成方也确实这么干。HotXLS 从描述符取 keyBits 而不是假设 256,所以 AES-128 和 AES-192 文件照样解密,hashAlgorithm="SHA256" 和 SHA-512 也都接受。每个元素自己的 hash 属性管辖属于它的步骤:keyEncryptor 的哈希驱动密码派生与验证,keyData 的哈希驱动分段 IV 和完整性 HMAC。混用两者的文件照样打开

打开文件:OpenEncrypted 或带密码的 Open

TXLSXWorkbook.OpenEncrypted 接收文件名和密码,成功返回 1,与 Open 同一份契约。它用 CanReadEncrypted 嗅探前八个字节。没有 CFB 签名的文件走普通的 Open 路径,密码被忽略,所以总是调用 OpenEncrypted 的导入器在调用点不需要任何分支。CFB 文件先按 Standard Encryption 尝试,EncryptionInfo 前缀带 Agile 的 4.4 版本时,Agile 读取器接管。解密出的 ZIP 字节随后交给内存里常规的 XLSX 加载器

两个入口都接收文件名。Open(Stream) 会拒绝以 CFB 签名开头的流并抛出消息指向 OpenEncrypted 的异常,所以拿在 TMemoryStream 里的上传得先落到临时文件

uses
  System.SysUtils, System.Classes, System.IOUtils, System.Variants, lxHandleX;

function ReadFirstCell(Upload: TMemoryStream;
  const Password: WideString): WideString;
var
  TempName: string;
  Wb: TXLSXWorkbook;
begin
  Result := '';
  // 加密包要从文件打开,所以把上传先落到磁盘
  TempName := TPath.GetTempFileName;
  Wb := TXLSXWorkbook.Create;
  try
    Upload.SaveToFile(TempName);
    // 普通 .xlsx、Standard 加密和 Agile 加密的文件在这里都能处理
    if Wb.OpenEncrypted(TempName, Password) = 1 then
      Result := VarToWideStr(Wb.Sheets[1].Cells[1, 1].Value);
  finally
    Wb.Free;
    TFile.Delete(TempName);
  end;
end;

双参数的 Open(FileName, Password) 重载走到同一段解密代码,但多了一件 OpenEncrypted 没有的东西:OnPassword 事件。提供的密码验证失败时,Open 触发 OnPassword,让处理器指定新密码并把 Retry 置为 True,然后再问一次,最多三次。桌面应用可以把密码输入框放进这个处理器;服务器也能拿它干点别的——最后一节会讲到

密码是怎么变成 AES 密钥的?

密码从不直接解密任何东西。第一个摘要是对 keyEncryptor 盐值拼接密码的 UTF-16LE 字节做 SHA-512;这个摘要随后再哈希 spinCount 次,每一轮都把 32 位小端的轮次计数器拼在上一轮摘要前面。按 Excel 的 100,000 轮,每尝试一次密码就要串行调用十万次 SHA-512。自旋计数的用意正在于此:合法的打开付一次,字典攻击的每一次猜测都要付一次

HotXLS 在 Delphi 中派生 Agile 加密密钥的方式:密码经 100000 轮 SHA-512 自旋,再由三个固定的 8 字节块密钥得出校验密钥与包密钥
密码从不直接解密任何东西:一条 SHA-512 自旋计数链喂给三次块密钥哈希,由它们产出校验密钥并解开随机的包密钥

这条链短到可以复现,而复现它正是在你自己的硬件上看清一次猜测代价的最快办法。下面的草图按 §2.3.4.11 处理 SHA-512 描述符,使用 lxXlsxAgileDecrypt 单元公开的 XlsSHA512 函数

uses
  System.SysUtils, lxXlsxAgileDecrypt;

// H0 = SHA-512(salt + UTF-16LE(password))
// Hn = SHA-512(LE32(n - 1) + H(n-1)),重复 SpinCount 次
function SpinHash(const Password: WideString; const Salt: TBytes;
  SpinCount: Integer): TBytes;
var
  Buf: TBytes;
  PwdLen, I: Integer;
begin
  PwdLen := Length(Password) * SizeOf(WideChar);
  SetLength(Buf, Length(Salt) + PwdLen);
  if Length(Salt) > 0 then
    Move(Salt[0], Buf[0], Length(Salt));
  if PwdLen > 0 then
    Move(Password[1], Buf[Length(Salt)], PwdLen);
  Result := XlsSHA512(Buf);
  SetLength(Buf, 4 + 64);
  for I := 0 to SpinCount - 1 do
  begin
    Buf[0] := Byte(I and $FF);           // 轮次计数器,小端序
    Buf[1] := Byte((I shr 8) and $FF);
    Buf[2] := Byte((I shr 16) and $FF);
    Buf[3] := Byte((I shr 24) and $FF);
    Move(Result[0], Buf[4], 64);         // 上一轮摘要
    Result := XlsSHA512(Buf);
  end;
end;

自旋后的哈希仍然不是密钥。三把密钥都从它派生,办法各是把自旋值再哈希一次、后面附一个固定的 8 字节块密钥:FE A7 D2 76 3B 4B 9E 79 给校验输入,D7 AA 0F 6D 30 61 34 4E 给校验哈希,14 6E 0B E7 AB AC D0 D6 用来解开包密钥。每个结果都截断到声明的密钥长度,AES-256 就是 32 字节。规范还定义了哈希短于密钥时的处理:用 0x36 字节填充。SHA-256 或 SHA-512 实际不会触发那条,但当密码盐值要拉伸到块大小去充当 CBC IV 时,同一条 0x36 规则确实用得上

自旋计数从文件里读,所以它也是攻击面:一个声明十亿轮的上传会在失败之前先钉死一个 CPU 核心。§2.3.4.11 把 spinCount 上限定为 10,000,000,HotXLS 在做任何哈希之前就把更大的值按不支持的描述符报告。对公开的上传端点,这个上限是正确的默认值。Excel 自己的 100,000 远在其下

密码验证与 saltSize 截断陷阱

HotXLS 在碰包体之前先验证密码。它用第一把派生密钥解密 encryptedVerifierHashInput,对结果做哈希,再用第二把密钥解密 encryptedVerifierHashValue,然后按完整哈希长度比对两份摘要,不在第一个差异字节处停下。不匹配就以密码错误结束打开,包体绝不会在错误密钥下解密。因此错误密码不可能产出一本满是貌似合理垃圾的工作簿

规范里有一句话在这里很容易读错。§2.3.4.13 把校验值定义为 saltSize 字节的随机数据,而 saltSize 是密钥加密器盐值的长度。解密出的校验值回来时被补齐到 16 字节 AES 块的整数倍,所以哈希之前必须截回 saltSize。Excel 写出的 saltSize 和 blockSize 永远是 16,这意味着按块大小截断的代码能通过针对 Excel 输出的每一项测试——然后在遇到第一份选了 32 字节盐值的生成方文件时拒绝正确密码。HotXLS 截断到盐长,因为规范文本说的是这个;Excel 文件里两个数恰好一致,只是巧合

EncryptedPackage 是怎么解密的?

包密钥是随机的,不是从密码派生的。写入方生成它,把它加密进 encryptedKeyValue,HotXLS 用第三把派生密钥把它解开,按 keyData 在 keyBits 里声明的长度保留字节。在解密任何分段之前,文件带有 dataIntegrity 时 HotXLS 会先检查它:HMAC 密钥和值用包密钥解密,对完整 EncryptedPackage 流(长度前缀算在内)的 HMAC 必须与存储值一致。没有可用 dataIntegrity 元素的文件跳过这一步,照样打开

HotXLS 在 Delphi 中逐段解密 EncryptedPackage 流,每个 4096 字节的 AES-CBC 分段的 IV 都由 keyData 盐值与段索引派生
每个 4096 字节的 AES-CBC 分段都在自己那把由盐值与索引构成的 IV 下独立解密,结果再按声明的明文长度截断

流本身以 8 字节小端明文长度开头,其后是按 4096 字节分段的密文。每段有自己的 IV:keyData 盐值拼接 32 位小端段索引后的哈希,截断到块大小。因此任何一段都能独立解密,原理上这让格式对随机访问相当友好;HotXLS 把整个包解密进内存,因为 ZIP 加载器反正要完整的档案。声明的长度会在解密开始前与实际流长度核对,所以被截断的上传或被夸大的长度字段会干净地失败。最后一段之后,缓冲区按声明长度截断,丢掉最多 15 字节的 AES 填充,剩下的逐字节就是 Excel 加密的那份 ZIP

把密码错误与不支持的文件区分开

OpenEncrypted 和 Open 里每一种加密失败都抛出 EXlsxEncryptionNotImplemented,消息说明是哪种情形:提供的密码不正确,或文件用了 HotXLS 不读的方案。HotXLS 读取以 AES CBC 模式加 SHA-512 或 SHA-256 哈希的密码密钥加密器,覆盖当前 Excel 版本写出的内容;仅由证书密钥加密器保护的容器、点名其他密码算法的描述符、或既非 Standard 也非 Agile 的 CFB——比如改了名的 BIFF .xls——得到的是不支持的消息

按消息文本匹配很脆,尤其当资源字符串哪天被本地化。OnPassword 事件给出更干净的信号:只有校验值或完整性检查拒绝密码时 Open 才触发它,方案不受支持时绝不会。对导入服务,用一个记录拒绝的处理器去调 Open(FileName, Password),而不是 OpenEncrypted——后者直接抛异常,不咨询任何事件

type
  TUploadOutcome = (uoLoaded, uoPasswordRejected, uoUnreadable);

  TUploadLoader = class
  private
    FPasswordRejected: Boolean;
    procedure HandlePassword(Sender: TObject; var PassWord: WideString;
      var Retry: Boolean);
  public
    function Load(Wb: TXLSXWorkbook;
      const FileName, Password: WideString): TUploadOutcome;
  end;

procedure TUploadLoader.HandlePassword(Sender: TObject;
  var PassWord: WideString; var Retry: Boolean);
begin
  // 只有密码(或完整性 HMAC)被拒时才触发
  FPasswordRejected := True;
  Retry := False;   // 服务器上没人可问;Open 接下来会抛异常
end;

function TUploadLoader.Load(Wb: TXLSXWorkbook;
  const FileName, Password: WideString): TUploadOutcome;
begin
  FPasswordRejected := False;
  Wb.OnPassword := HandlePassword;
  try
    if Wb.Open(FileName, Password) = 1 then
      Result := uoLoaded
    else
      Result := uoUnreadable;
  except
    on E: EXlsxEncryptionNotImplemented do
      if FPasswordRejected then
        Result := uoPasswordRejected   // 可以再问用户一次
      else
        Result := uoUnreadable;        // 重试无济于事;记录 E.Message
  end;
end;

即便有了这样的区分,仍剩一个坑。完整性不匹配与错误密码按同一种方式报告,所以密文在传输中受损的工作簿——被改写请求体的代理、或在一半截断的上传——即使用户输对了密码,也会以 uoPasswordRejected 回来。同一个用户坚称密码正确却失败了两次,先让他重新传文件,再让他重输密码

写入侧把同一套机器反过来用。SaveAsEncryptedAgile 产出带 SHA-512 密钥派生、100,000 自旋轮次和 AES-256 包加密的 Agile 容器;SaveAsEncrypted 产出 Standard Encryption;把 VerifyEncryptedSave 设为 True 会让任一调用在写完后经解密路径重新打开刚写的文件,失败则返回 -1。Standard 路径在 写出 AES 保护 XLSX 输出的那篇文章 里有完整走读,老式 BIFF 文件里的 RC4 和 XOR 方案见 ECB 与 RC4 互操作一文

对永远无法预知下个上传是否带密码的流水线,上述读取器连同面向 Delphi 和 C++Builder 的原生 XLS 与 XLSX 读写,都是 HotXLS Delphi Excel Component 的一部分