技术文章

HotXLS 的 XLS XOR 混淆:密钥推导与 XorRor

一个用密码 secret 保护的 BIFF5 工作簿,可以带着一个完美匹配的密码校验值,却让 Excel 16 回答密码不正确。只有当 FILEPASS 密钥等于 CreateXorKey_Method1(password)、16 字节 XOR 数组用 XorRor 构建、且每个字节都用 XorArrayIndex = (stream offset + record length) mod 16 时,Excel 才接受这个文件

Excel 16 拒绝这类文件有两种方式,恰好对应 [MS-OFFCRYPTO] §2.3.7 的各层。一直拒绝正确密码的密码提示,指向 FILEPASS 里的密钥字。密码被接受之后才弹出的「文件有问题、无法打开」,指向 XOR 数组或挑选数组字节的索引。下面各节按这个顺序走到字节级

FILEPASS 记录在 BIFF5 文件里存了什么

BIFF XOR 混淆只存两个 16 位字,其余一切都从密码重算。FILEPASS 记录($002F)紧跟在工作簿全局 BOF 之后,在 BIFF5 文件里它的主体长 4 字节:先 XOR 密钥,后密码校验值。没有 salt,也没有算法标识符,更没有 RC4 和 AES 方案携带的那种加密校验值 blob

从这两个字,读取器重建三个值:

  • 校验值,密码字节与密码长度及 $CE4B 异或后的 16 位哈希。拿它与存储的字比较,就是文档写明的密码检查
  • XOR 密钥,由 [MS-OFFCRYPTO] §2.3.7.2 的 CreateXorKey_Method1 从两张常量表——InitialCode(15 字)和 XorMatrix(105 字)——算出的 16 位值
  • XOR 数组,16 字节,由密码字节用固定的 16 字节 pad 补齐而成,偶数位置与低密钥字节、奇数位置与高密钥字节异或,然后循环右移一位

记录头保持明文,方案豁免的几条整条记录——BOF、FILEPASS、USREXCL、FILELOCK、INTERFACEHDR、RRDHEAD 和 RRDINFO——以及每条 BOUNDSHEET 的头 4 字节也是明文。其余每条记录体都逐字节变换:先循环左移 5 位,再与 16 字节数组的某一项异或。§2.3.7.3 写作 DecryptData_Method1 的解密是镜像操作:先异或,再循环右移 5 位

HotXLS 把这一切藏在两个工作簿属性后面。TXLSWorkbook.EncryptionPassword 存密码,EncryptionType 选方案,配 xlExcel5 的 SaveAs 在 BOF 之后发出 FILEPASS 并变换流的其余部分:

uses
  SysUtils, lxHandle;

procedure SaveLegacyProtectedBook(const FileName: string);
var
  Wb: IXLSWorkbook;
begin
  Wb := TXLSWorkbook.Create;
  Wb.Sheets.Add.Name := 'Ledger';
  Wb.Sheets[1].Range['A1', 'A1'].Value := 'Account';
  Wb.Sheets[1].Range['B1', 'B1'].Value := 1250.75;

  // BIFF5 只有 XOR 混淆;xletAuto 会为 xlExcel5 选同一方案,
  // 显式设置只是把意图写明白
  Wb.EncryptionType := xletXor;
  // ASCII,至多 15 个字符(见下文的密码注意事项)
  Wb.EncryptionPassword := 'secret';

  if Wb.SaveAs(FileName, xlExcel5) <> 1 then
    raise Exception.Create('BIFF5 save failed');
end;

校验值对得上,Excel 为什么还说密码不对?

Excel 用 CreateXorKey_Method1 从敲入的密码推导密钥,并与 FILEPASS 里的密钥字比较,所以密钥是别的任何值的文件,即便校验值正确也过不了密码检查。规范把密钥当作密码的函数,Excel 16 严格按这个读法执行

诱人的捷径是往密钥字里填两个随机字节。纸面上看无害:校验值才是文档写明的密码检查,数组又按文件声明的那个密钥构建。把 FILEPASS 密钥当成给定事实的读取器,打开这些文件毫无怨言——这正是只拿自己测自己的代码里捷径能存活的原因。同一个文件、正确的密码递给 Excel 16,它在提示框就拒绝了。HotXLS 每次保存都推导密钥,所以密码 secret 的 FILEPASS 里密钥恒为 $014D、校验值恒为 $DAA7

HotXLS 的 BIFF5 XOR FILEPASS 记录示意图,Excel 16 打开时检查它:明文四字节主体装着 XOR 密钥与密码校验值,Excel 用 CreateXorKey_Method1 从敲入的密码推导密钥,随机密钥即便校验值对得上也被密码错误拒收;HotXLS 为 secret 存推导出的密钥 014D
FILEPASS 主体只有两个字,但 Excel 会从你的密码重新推导密钥再比较;随机填的密钥即使校验值正确也过不了检查,所以 HotXLS 始终推导它

两张表就位后,推导本身很短。从密码的最后一个字节倒着走,每个字节左移的同时测七次第 6 位,位一旦置位就异或进一个 XorMatrix 项;表索引从最后一项 $68 起步,无论该位是否置位都每步减一。下面的示意代码逐步复现规范算法,与库给出相同的结果。它是写给你自己阅读器的图解,这些例程都不是 HotXLS API 的一部分:

// [MS-OFFCRYPTO] 2.3.7.2 CreateXorKey_Method1 与
// CreateXorArray_Method1 的原理示意(仅图解,非 HotXLS API)
type
  TXorArray = array [0..15] of Byte;

function DemoCreateXorKey(const Password: AnsiString): Word;
const
  InitialCode: array [0..14] of Word = ($E1F0, $1D0F, $CC9C, $84C0, $110C,
    $0E10, $F1CE, $313E, $1872, $E139, $D40F, $84F9, $280C, $A96A, $4EC3);
  XorMatrix: array [0..104] of Word = (
    $AEFC, $4DD9, $9BB2, $2745, $4E8A, $9D14, $2A09,
    $7B61, $F6C2, $FDA5, $EB6B, $C6F7, $9DCF, $2BBF,
    $4563, $8AC6, $05AD, $0B5A, $16B4, $2D68, $5AD0,
    $0375, $06EA, $0DD4, $1BA8, $3750, $6EA0, $DD40,
    $D849, $A0B3, $5147, $A28E, $553D, $AA7A, $44D5,
    $6F45, $DE8A, $AD35, $4A4B, $9496, $390D, $721A,
    $EB23, $C667, $9CEF, $29FF, $53FE, $A7FC, $5FD9,
    $47D3, $8FA6, $0F6D, $1EDA, $3DB4, $7B68, $F6D0,
    $B861, $60E3, $C1C6, $93AD, $377B, $6EF6, $DDEC,
    $45A0, $8B40, $06A1, $0D42, $1A84, $3508, $6A10,
    $AA51, $4483, $8906, $022D, $045A, $08B4, $1168,
    $76B4, $ED68, $CAF1, $85C3, $1BA7, $374E, $6E9C,
    $3730, $6E60, $DCC0, $A9A1, $4363, $86C6, $1DAD,
    $3331, $6662, $CCC4, $89A9, $0373, $06E6, $0DCC,
    $1021, $2042, $4084, $8108, $1231, $2462, $48C4);
var
  Len, I, Bit, Element: Integer;
  Ch: Byte;
begin
  Result := 0;
  Len := Length(Password);
  if Len > 15 then
    Len := 15;                       // 密钥只看到 15 字节
  if Len = 0 then
    Exit;
  Result := InitialCode[Len - 1];
  Element := $68;                    // XorMatrix 最后一项
  for I := Len downto 1 do
  begin
    Ch := Ord(Password[I]);
    for Bit := 1 to 7 do
    begin
      if (Ch and $40) <> 0 then
        Result := Result xor XorMatrix[Element];
      Ch := Byte(Ch shl 1);
      Dec(Element);
    end;
  end;
end;

function XorRor(B, KeyByte: Byte): Byte;
begin
  B := B xor KeyByte;
  Result := Byte((B shr 1) or (B shl 7));   // 循环右移一位
end;

procedure DemoCreateXorArray(const Password: AnsiString; out Arr: TXorArray);
const
  PadArray: TXorArray = ($BB, $FF, $FF, $BA, $FF, $FF, $B9, $80,
    $00, $BE, $0F, $00, $BF, $0F, $00, $00);
var
  Key: Word;
  Len, I: Integer;
begin
  Key := DemoCreateXorKey(Password);
  Len := Length(Password);
  if Len > 16 then
    Len := 16;
  for I := 0 to Len - 1 do
    Arr[I] := Ord(Password[I + 1]);
  for I := Len to 15 do
    Arr[I] := PadArray[I - Len];
  for I := 0 to 15 do
    if Odd(I) then
      Arr[I] := XorRor(Arr[I], Byte(Key shr 8))
    else
      Arr[I] := XorRor(Arr[I], Byte(Key and $FF));
end;

对 secret 这会产出数组 1F 32 17 B9 14 BA 7B 7F 59 DD 59 7F 7A C0 A6 DF。加上密钥 $014D 和校验值 $DAA7,你在碰 Excel 之前就有三个已知正确的值可以断言

HotXLS 的 BIFF5 混淆 XOR 数组构建示意图:以密码和固定 pad 播种的十六个字节,偶数位置与低密钥字节异或、奇数位置与高密钥字节异或,再用 XorRor 循环右移一位,为密码 secret 产出数组 1F 32 17 B9
数组字节来自密码、pad 和两个密钥字节,最后旋转一次;左移 2 位只在字节变换按相反顺序跑时才成立,而 Excel 遵循规范顺序

右旋一位,以及左旋两位为什么看起来有理

密钥对了,Excel 16 会越过密码提示,一头撞进第二个错误——报告文件有问题。常见原因是一个旋转方向搞反的 XOR 数组。§2.3.7.2 把数组这一步定义为 XorRor,即循环右移一位,但一个把每个数组字节左移 2 位的变体在好几个 BIFF 实现里流传,建立在这一变体上的读取器从不会觉得有什么不对

Excel 16 不能保存 Excel 5.0/95 文件,保存 BIFF8 时也不提供 XOR,所以没有原生样本可拿来做 diff。要钉死你自己的代码实现的是哪种组合,可靠的办法反着来:写一份明文 BIFF5 流,在三个独立选择的每种组合下重新编码,让 Excel 16 逐个打开:

选择选项 A选项 B
数组旋转XorRor(右旋 1 位)左移 2 位
数组索引(offset + record length) mod 16offset mod 16
字节变换顺序先左移 5 位,再异或先异或,再左移 5 位

八个文件里,Excel 16 接受规范组合——XorRor、先旋后异或、记录长度索引——以及恰好一个只是看起来不同的变体。左移 2 位配先异或后旋和同一索引,是同一个函数的伪装。旋转对异或可分配,所以 rol5(p xor rol2(b)) 等于 rol5(p) xor rol7(b),而 8 位值上左移 7 位就是右移 1 位。简言之,rol5 ∘ rol2 = ror1

这条恒等式解释了为什么左移 2 位的数组单独看是对的。它只有搭配相反的变换顺序才正确;配上规范顺序,它污染每个被变换的字节。从索引里丢掉记录长度的变体也全军覆没,无论用哪种旋转。写规范组合,别的不写。代数孪生变体打得开文件,却给下一个维护者留下两处要逆向工程的地方,而规范文本一处都不留

每个字节的 XorArrayIndex 怎么算?

一个字节的 XorArrayIndex 是它在工作簿流里的偏移加上它所属整条记录数据的长度,再对 16 取模。因此索引在每条记录处都从一个随记录而异的值重新起步,并在记录内每字节加一。规范伪代码把输入命名为 FileOffset 和 Data.Length,很容易把前者误读成只取记录起始偏移

三个细节决定你的索引能否与 Excel 对齐:

  • 4 字节记录头从不被变换,但它照样占据流位置,所以记录第一个主体字节坐在头偏移 + 4 处
  • 长度项是整条记录数据的长度,包括变换跳过的任何明文前缀
  • BOUNDSHEET 部分明文:它的头 4 字节 lbPlyPos——工作表 BOF 的流偏移——保持可读,解析器靠它免密定位工作表。这 4 字节被变换跳过,但偏移和记录长度两头都把它们计入
HotXLS 的 BIFF5 XOR 混淆 XorArrayIndex 规则示意图:每个主体字节用流偏移加整条记录数据长度对 16 取模,明文四字节头与 BOUNDSHEET 的 lbPlyPos 前缀照样计入偏移,无视记录长度项会让每条记录错位
数组索引每条记录重起一次,而不是每条流重起一次:头部与明文前缀占据位置,记录数据长度进入取模,双双丢掉这一项的读取器和写出器只跟彼此一致

拼起来,逐记录变换就几行。同前,这只是给你自己代码的规则示意;HotXLS 在 SaveAs 期间内部应用它:

function Rol8(B: Byte; N: Integer): Byte;
begin
  Result := Byte((B shl N) or (B shr (8 - N)));
end;

// 就地混淆一个记录体。BodyPos 是 Body[0] 的流偏移,
// 即记录头偏移 + 4。PlainPrefix 对 BOUNDSHEET 是 4,
// 对 BOF / FILEPASS 是全长,多数记录是 0
procedure DemoObfuscateRecord(var Body: array of Byte; RecordLength: Word;
  PlainPrefix: Integer; BodyPos: LongWord; const Arr: TXorArray);
var
  I: Integer;
begin
  for I := PlainPrefix to RecordLength - 1 do
    Body[I] := Rol8(Body[I], 5) xor
      Arr[(BodyPos + LongWord(I) + RecordLength) mod 16];
end;

// 读取是镜像操作:B := Body[I] xor Arr[...];
// 然后循环右移 5 位,即 Rol8(B, 3)

只按流位置索引的读取器和写出器,两侧都丢了记录长度,于是它们跟彼此一致、跟谁都不一致。读取侧,HotXLS 从当前流位置加明文前缀长度加已变换字节数计算索引——与写出器用的记录长度相同

读取使用左移 2 位数组的文件

HotXLS 也能打开用左移 2 位数组和随机密钥构建的 XOR 文件,靠 FILEPASS 密钥区分它们。存储密钥等于从密码推导的密钥时,读取器构建规范的 XorRor 数组;不相等时,读取器切换到左移 2 位数组。Excel 写的文件总带着推导密钥,所以总走规范路径

这个检测是个失败率精确已知的启发式。密钥随机填充的文件,恰好等于推导密钥——于是被用错误的数组去读——的概率是 1/65,536。切换只覆盖数组旋转;索引规则不变,所以它适用于已经在用记录长度索引的文件。用 HotXLS 打开这种文件再保存一次,产出的文件 Excel 接受,因为写出器总是用推导密钥和 XorRor

两个密码细节对每个文件都适用,无论它用哪个数组:

  • 长度。CreateXorKey_Method1 只读密码的头 15 字节,这是规范上限。HotXLS 对密钥应用这条上限,校验值按完整密码、数组按其 16 字节规则处理,读写两侧一致。因为密钥只见过 15 字节,15 个字符就是实际上的最大值
  • 字符集。HotXLS 经系统 ANSI 代码页把密码转成字节,密钥、校验值和数组一视同仁。规范描述的是取每个 UTF-16 字符的低字节,对 ASCII 两者一致。没有非 ASCII 密码保护的 Excel 样本,其余情况就没有 ground truth,XOR 密码请坚持用纯 ASCII

Open 撞上 FILEPASS 记录而密码缺失或错误时,TXLSWorkbook.OnPassword 触发。处理器是 TXLSPasswordEvent,带 var PassWord: WideString 和 var Retry: Boolean;赋一个新密码并把 Retry 设为 True 可再试,至多重试三次。Retry 留在 False 会让 Open 返回密码错误码:

procedure TImportForm.WorkbookPassword(Sender: TObject;
  var PassWord: WideString; var Retry: Boolean);
var
  S: string;
begin
  S := '';
  Retry := InputQuery('Protected workbook', 'Password:', S);
  PassWord := S;
end;

procedure TImportForm.ImportLegacyFile(const FileName: string);
var
  Wb: IXLSWorkbook;
  Rc: Integer;
begin
  Wb := TXLSWorkbook.Create;
  Wb.OnPassword := WorkbookPassword;
  Rc := Wb.Open(FileName);
  // -1003:要求密码但未提供;-1005:密码错误
  if Rc <> 1 then
    raise Exception.CreateFmt('Cannot open %s (code %d)', [FileName, Rc]);
  ShowMessage(VarToStr(Wb.Sheets[1].Range['A1', 'A1'].Value));
end;

密码早已知道时,重载 Open(FileName, APassWord) 把它直接传进去,事件只在那个密码失败时才触发

XOR 混淆到底还值不值得写?

BIFF XOR 混淆能把随便看看的用户挡在文件外面,对较真的人毫无作用。密码检查是个 16 位校验值,密钥 16 位,16 字节数组贯穿整条流反复出现,所以可预测的 BIFF 记录内容会在完全没有密码的情况下暴露数组字节。今天还要写它的唯一理由,是一个只读 Excel 5.0/95 文件、再新的格式都不碰的遗留消费者,因为 BIFF5 没有别的方案

经典引擎经 TXLSWorkbook.EncryptionType 选方案,并严格检查它与保存格式的组合:

  • xletAuto(默认)为 xlExcel97 写 RC4 CryptoAPI、为 xlExcel5 写 XOR,与 Excel 自己对每种格式的写法一致
  • xletXor 只对 BIFF5 有效;配 xlExcel97 时保存直接抛异常,不会回落到别的方案
  • xletRC4 和 xletRC4CryptoAPI 只属于 BIFF8,在 BIFF5 保存时要求它们同样抛异常

可能保存两种格式的代码,把 EncryptionType 留在 xletAuto。它总是落在目标格式支持的最强方案上,也不会在某天有人把保存切成 xlExcel97 时,抛出显式 xletXor 会引发的不匹配异常

RC4 也老了,让它互操作自有陷阱,见Excel 为什么拒绝密码正确的加密工作簿。收件方能读 XLSX 就跳过遗留格式、用 XLSX 引擎:TXLSXWorkbook.SaveAsEncryptedAgile 写 Agile Encryption(SHA-512 密码哈希、100,000 次迭代 spin count、AES-256-CBC),即 Excel 2010 及以后默认写的容器;SaveAsEncrypted 写更老的 AES-128 Standard Encryption。两者的取舍见在 Delphi 里用 AES 加密 XLSX 文件,读取端见用 HotXLS 读 Agile 加密的 Excel 文件

在 Excel 16 见到之前检查 BIFF5 XOR 输出

  • 同一工作簿、同一密码保存两次,在十六进制转储里比较 FILEPASS 主体。两份拷贝应装着相同的字;两次保存之间变掉的密钥是随机填的,Excel 16 会拒绝密码
  • 密码 secret 的 4 字节 FILEPASS 主体在磁盘上是 4D 01 A7 DA,密钥在前,两个字都是小端
  • 每条 BOUNDSHEET 的头 4 字节应读作一个落在某张工作表 BOF 上的明文流偏移;如果它们指向空处,说明变换碰了前缀,任何解析器都无法免密定位工作表
  • 测试密码保持纯 ASCII、至多 15 个字符,密钥、校验值和数组在每台机器上看到的才是同样的字节

同一个 Delphi 和 C++Builder 库覆盖 BIFF5 XOR、BIFF8 RC4 与 RC4 CryptoAPI、XLSX Standard 与 Agile Encryption 以及读取端密码回调,保存时应用上面的每一条字节级规则。版本、支持平台与试用下载见 HotXLS Delphi spreadsheet component 页面