技術文章

在 Delphi 中使用 HotXLS 讀取 Agile 加密的 Excel 檔案

客戶上傳了一個在他們自己機器上開得好好的活頁簿,匯入服務卻以 ZIP 錯誤把它退回。把前八個位元組傾印成十六進位,看到的是 D0 CF 11 E0 A1 B1 1A E1,也就是 1997 年代 .xls 帶的 OLE Compound File 簽章。這個檔案的副檔名是 .xlsx,出自當前版本的 Excel,卻根本不是 ZIP 封裝。有人在「另存新檔」對話框裡設了密碼

謎底就這麼簡單。Excel 以密碼儲存活頁簿時,會把真正的 .xlsx ZIP 加密,再把結果包進一個 Compound File Binary(CFB)容器,用的是 [MS-OFFCRYPTO] §2.3.4.10 到 §2.3.4.15 的 Agile 方案。任何依副檔名分類檔案,或把每個 .xlsx 直接丟給 ZIP 讀取器的載入器,都會把這份上傳退回給一個在螢幕另一端什麼異常事都沒做的使用者

Agile 加密活頁簿裡裝了什麼

Agile 加密的活頁簿是一個 CFB 容器,裡面有兩個重要的串流:EncryptionInfo 描述加密是怎麼做的,EncryptedPackage 則把原始 ZIP 當成一整塊不透明的加密資料存放。HotXLS 直接從容器讀取這兩個串流,機器上不需要 Excel、COM 或外部的加密 DLL

HotXLS 在 Delphi 中開啟的 Agile 加密活頁簿剖析:一個 CFB 容器,內含 EncryptionInfo 描述元串流與由 AES-CBC 區段組成的 EncryptedPackage 串流
HotXLS 把 Agile 加密活頁簿當成 CFB 容器來讀,裡面有自我描述的 EncryptionInfo 串流,以及被加密成不透明 EncryptedPackage 串流的 .xlsx ZIP

Agile 與較舊的 Standard Encryption 最大的差別,在於 EncryptionInfo 會描述自己。在一個主版本與次版本都是 4 的 8 位元組前綴之後,整個串流就是一份 UTF-8 的 XML 描述元。keyData 元素指名加密法(AES)、鏈結模式(ChainingModeCBC)、雜湊演算法、以位元計的金鑰長度、區塊大小,以及一個 Base64 的 salt。密碼 keyEncryptor 帶著自己的 salt、一個 spinCount,以及三個 Base64 酬載:encryptedVerifierHashInput、encryptedVerifierHashValue 與 encryptedKeyValue。dataIntegrity 元素則另外加上一組加密過的 HMAC 金鑰與 HMAC 值,用來偵測竄改

Excel 自己寫的是 AES-256、SHA-512 與 100,000 的 spin count。不過描述元允許寫成別的,第三方寫入工具也確實會這麼做。HotXLS 從描述元讀取 keyBits 而不是假定 256,所以 AES-128 與 AES-192 檔案用同樣的方式解密,而且除了 SHA-512 之外也接受 hashAlgorithm="SHA256"。每個元素自己的 hash 屬性管轄屬於它的步驟:keyEncryptor 的雜湊驅動密碼衍生與驗證,keyData 的雜湊則驅動區段 IV 與完整性 HMAC。兩者混用的檔案照樣開得起來

開啟檔案:OpenEncrypted,或帶密碼的 Open

TXLSXWorkbook.OpenEncrypted 接受檔名與密碼,成功時回傳 1,與 Open 的契約相同。它用 CanReadEncrypted 嗅探前八個位元組。沒有 CFB 簽章的檔案走一般的 Open 路徑,密碼會被忽略,所以一律呼叫 OpenEncrypted 的匯入器在呼叫端完全不需要分支。CFB 檔案會先當成 Standard Encryption 嘗試,當 EncryptionInfo 前綴帶著 Agile 的 4.4 版本時,Agile 讀取器就接手。解密後的 ZIP 位元組接著在記憶體中交給一般的 XLSX 載入器

兩個進入點都接受檔名。Open(Stream) 會拒絕以 CFB 簽章開頭的串流,並丟出一個訊息指向 OpenEncrypted 的例外,所以存放在 TMemoryStream 裡的上傳內容得先寫到暫存檔

uses
  System.SysUtils, System.Classes, System.IOUtils, System.Variants, lxHandleX;

function ReadFirstCell(Upload: TMemoryStream;
  const Password: WideString): WideString;
var
  TempName: string;
  Wb: TXLSXWorkbook;
begin
  Result := '';
  // 加密封裝只能從檔案開啟,所以先把上傳內容寫到磁碟
  TempName := TPath.GetTempFileName;
  Wb := TXLSXWorkbook.Create;
  try
    Upload.SaveToFile(TempName);
    // 純 .xlsx、Standard 加密與 Agile 加密的檔案在這裡都能用
    if Wb.OpenEncrypted(TempName, Password) = 1 then
      Result := VarToWideStr(Wb.Sheets[1].Cells[1, 1].Value);
  finally
    Wb.Free;
    TFile.Delete(TempName);
  end;
end;

雙參數的 Open(FileName, Password) 多載走到同一段解密程式碼,但多了一樣 OpenEncrypted 沒有的東西:OnPassword 事件。提供的密碼失敗時,Open 會觸發 OnPassword,讓處理常式指定新密碼並把 Retry 設為 True,然後再問一次,最多三次。桌面應用程式可以在那個處理常式裡放一個密碼提示。伺服器則可以拿它做別的事,最後一節會談到

密碼是怎麼變成 AES 金鑰的?

密碼從來不會直接解密任何東西。第一個摘要是對 keyEncryptor 的 salt 接上密碼的 UTF-16LE 位元組做 SHA-512;接著這個摘要再被重複雜湊 spinCount 次,每一輪都在前一輪摘要前面加上 32 位元 little-endian 的回合計數器。以 Excel 的 100,000 輪來算,每一次密碼嘗試都要付出十萬次序列的 SHA-512 呼叫。這就是 spin count 的用意。合法的開啟只付一次,字典攻擊則每猜一次就得付一次

HotXLS 在 Delphi 中衍生 Agile 加密金鑰的方式:密碼經過 100,000 輪 SHA-512 旋轉,再由三個固定的 8 位元組區塊金鑰產生驗證器金鑰與封裝金鑰
密碼從來不直接解密任何東西:一條 SHA-512 spin-count 鏈餵給三個區塊金鑰雜湊,產生驗證器金鑰並解開隨機的封裝金鑰

這條鏈短到可以自己重現,而這麼做是在自己的硬體上看清一次猜測要花多少成本的最快方法。下面這段草圖依 §2.3.4.11 處理 SHA-512 描述元,並使用 lxXlsxAgileDecrypt 單元公開的 XlsSHA512 函式

uses
  System.SysUtils, lxXlsxAgileDecrypt;

// H0 = SHA-512(salt + UTF-16LE(password))
// Hn = SHA-512(LE32(n - 1) + H(n-1)),重複 SpinCount 次
function SpinHash(const Password: WideString; const Salt: TBytes;
  SpinCount: Integer): TBytes;
var
  Buf: TBytes;
  PwdLen, I: Integer;
begin
  PwdLen := Length(Password) * SizeOf(WideChar);
  SetLength(Buf, Length(Salt) + PwdLen);
  if Length(Salt) > 0 then
    Move(Salt[0], Buf[0], Length(Salt));
  if PwdLen > 0 then
    Move(Password[1], Buf[Length(Salt)], PwdLen);
  Result := XlsSHA512(Buf);
  SetLength(Buf, 4 + 64);
  for I := 0 to SpinCount - 1 do
  begin
    Buf[0] := Byte(I and $FF);           // 回合計數器,little-endian
    Buf[1] := Byte((I shr 8) and $FF);
    Buf[2] := Byte((I shr 16) and $FF);
    Buf[3] := Byte((I shr 24) and $FF);
    Move(Result[0], Buf[4], 64);         // 前一輪的摘要
    Result := XlsSHA512(Buf);
  end;
end;

旋轉過的雜湊仍然不是金鑰。從它會產出三把金鑰,每一把都是把旋轉值再接上一個固定的 8 位元組區塊金鑰後多雜湊一次:驗證器輸入用 FE A7 D2 76 3B 4B 9E 79,驗證器雜湊用 D7 AA 0F 6D 30 61 34 4E,解開封裝金鑰則用 14 6E 0B E7 AB AC D0 D6。每個結果都裁到宣告的金鑰長度,AES-256 就是 32 位元組。規格也定義了雜湊比金鑰短時該怎麼辦:用 0x36 位元組補滿。搭配 SHA-256 或 SHA-512 時,沒有任何 AES 金鑰大小真的會觸發這條規則,但同樣的 0x36 規則確實適用於密碼 salt 被拉長到區塊大小以充當 CBC IV 的時候

spin count 是從檔案讀出來的,所以它也是一個攻擊面:一份宣告十億輪的上傳檔,會在失敗之前先把一顆 CPU 核心卡死。§2.3.4.11 把 spinCount 上限訂在 10,000,000,HotXLS 在開始雜湊任何東西之前,就會把更大的值當成不支援的描述元回報。對公開的上傳端點來說,這個上限是正確的預設值。Excel 自己的 100,000 遠低於它

密碼驗證與 saltSize 截斷陷阱

HotXLS 在碰封裝之前先檢查密碼。它用第一把衍生金鑰解密 encryptedVerifierHashInput、對結果做雜湊,再用第二把金鑰解密 encryptedVerifierHashValue,然後對整個雜湊長度比較兩個摘要,不會在第一個不同的位元組就停下。不相符時,開啟會以密碼錯誤的結果結束,封裝主體永遠不會在錯誤金鑰下被解密。因此錯誤的密碼不可能產生一個裝滿看似合理垃圾的活頁簿

規格裡有一句話在這裡很容易讀錯。§2.3.4.13 把驗證器定義為 saltSize 個位元組的隨機資料,其中 saltSize 是金鑰加密器 salt 的長度。解密出來的驗證器會被補到 16 位元組 AES 區塊的倍數,所以在雜湊之前必須裁回 saltSize。Excel 一律把 saltSize 與 blockSize 都寫成 16,這代表裁到區塊大小的程式碼在針對 Excel 輸出的每一項測試裡都能過關。然後它會在第一個來自選用 32 位元組 salt 的產生工具的檔案上,拒絕正確的密碼。HotXLS 裁到 salt 的長度,因為規格原文就是這麼寫的,而這兩個數字在 Excel 檔案裡剛好相等只是巧合

EncryptedPackage 是怎麼解密的?

封裝金鑰是隨機的,不是從密碼衍生的。寫入端產生它、把它加密成 encryptedKeyValue,HotXLS 則用第三把衍生金鑰解開它,保留 keyData 在 keyBits 中宣告的位元組數。在解密任何一個區段之前,若檔案帶有 dataIntegrity,HotXLS 會先檢查它:HMAC 金鑰與值用封裝金鑰解密,而對整個 EncryptedPackage 串流(包含大小前綴)計算的 HMAC 必須與儲存的值相符。寫入時沒有可用 dataIntegrity 元素的檔案會跳過這一步,照樣能開

HotXLS 在 Delphi 中逐區段解密 EncryptedPackage 串流,每個 4096 位元組 AES-CBC 區段的 IV 由 keyData 的 salt 與區段索引推導而來
每個 4096 位元組的 AES-CBC 區段都在自己的 salt 加索引 IV 下獨立解密,結果再裁到宣告的明文大小

串流本身以一個 8 位元組 little-endian 的明文大小開頭,後面接著以 4096 位元組為區段的密文。每個區段有自己的 IV:對 keyData 的 salt 接上 32 位元 little-endian 區段索引做雜湊,再裁到區塊大小。因此任何區段都能單獨解密,原則上可以隨機存取;HotXLS 把整個封裝解密到記憶體,是因為 ZIP 載入器反正需要完整的封存檔。宣告的大小會在解密開始前與實際串流長度核對,所以被截斷的上傳檔或灌水的大小欄位都會乾淨地失敗。最後一個區段之後,緩衝區會裁到宣告的大小,去掉最多 15 位元組的 AES 填充,剩下的就是 Excel 加密的那個 ZIP,逐位元組一模一樣

分辨密碼錯誤與不支援的檔案

OpenEncrypted 與 Open 中的每一種加密失敗都會丟出 EXlsxEncryptionNotImplemented,訊息會說明是哪一種情況:提供的密碼不正確,或者檔案用了 HotXLS 不讀的方案。HotXLS 讀取採用 CBC 模式 AES 與 SHA-512 或 SHA-256 雜湊的密碼金鑰加密器,這涵蓋了當前 Excel 版本寫出的內容;只以憑證金鑰加密器保護的容器、指名其他加密法的描述元,或既非 Standard 也非 Agile 的 CFB(例如改了副檔名的 BIFF .xls),都會拿到不支援的訊息

比對訊息文字很脆弱,尤其是資源字串哪天被在地化的話。OnPassword 事件給出更乾淨的訊號:Open 只在驗證器或完整性檢查拒絕密碼時觸發它,對不支援的方案絕不觸發。對匯入服務來說,請用帶著記錄拒絕事件之處理常式的 Open(FileName, Password),而不是不經任何事件就直接丟例外的 OpenEncrypted

type
  TUploadOutcome = (uoLoaded, uoPasswordRejected, uoUnreadable);

  TUploadLoader = class
  private
    FPasswordRejected: Boolean;
    procedure HandlePassword(Sender: TObject; var PassWord: WideString;
      var Retry: Boolean);
  public
    function Load(Wb: TXLSXWorkbook;
      const FileName, Password: WideString): TUploadOutcome;
  end;

procedure TUploadLoader.HandlePassword(Sender: TObject;
  var PassWord: WideString; var Retry: Boolean);
begin
  // 只有在密碼(或完整性 HMAC)被拒絕時才觸發
  FPasswordRejected := True;
  Retry := False;   // 伺服器上沒有人可問;接下來 Open 會丟出例外
end;

function TUploadLoader.Load(Wb: TXLSXWorkbook;
  const FileName, Password: WideString): TUploadOutcome;
begin
  FPasswordRejected := False;
  Wb.OnPassword := HandlePassword;
  try
    if Wb.Open(FileName, Password) = 1 then
      Result := uoLoaded
    else
      Result := uoUnreadable;
  except
    on E: EXlsxEncryptionNotImplemented do
      if FPasswordRejected then
        Result := uoPasswordRejected   // 可以放心再問使用者一次
      else
        Result := uoUnreadable;        // 重試也沒用;記錄 E.Message
  end;
end;

即使這樣區分,仍有一個陷阱留著。完整性不符的回報方式與密碼錯誤相同,所以一個密文在傳輸途中受損的活頁簿(被改寫主體的代理伺服器弄壞,或上傳在區段中途被截斷),即使使用者輸入的是正確密碼,也會回傳 uoPasswordRejected。如果同一位使用者用他堅稱正確的密碼連續失敗兩次,先請他重新上傳檔案,再請他重新輸入密碼

寫入端反過來使用同一套機制。SaveAsEncryptedAgile 產生一個採用 SHA-512 金鑰衍生、100,000 輪 spin 與 AES-256 封裝加密的 Agile 容器,SaveAsEncrypted 產生 Standard Encryption,而把 VerifyEncryptedSave 設為 True 會讓這兩個呼叫都經由解密路徑重新開啟剛寫出的檔案,失敗時回傳 -1。Standard 路徑在 寫出 AES 保護 XLSX 輸出的文章 裡走過一遍,舊式 BIFF 檔案裡的 RC4 與 XOR 方案則在 ECB 與 RC4 互通的文章 中介紹

對於永遠無法事先知道下一份上傳是否帶密碼的管線來說,上面描述的讀取器,連同給 Delphi 與 C++Builder 的原生 XLS 與 XLSX 讀寫功能,都是 HotXLS Delphi Excel 元件 的一部分