顧客が手元で普通に開けるワークブックをアップロードしたのに、インポートサービスがZIPエラーで跳ね返すことがあります。先頭8バイトの16進ダンプを見るとD0 CF 11 E0 A1 B1 1A E1。1997年ごろの.xlsが運んでいるOLE Compound Fileのシグネチャです。拡張子は.xlsx、作ったのは最新のExcel、そして中身はZIPパッケージではまったくありません。誰かがSave Asダイアログでパスワードを設定したのです
謎はこれで全部です。Excelがパスワード付きでワークブックを保存するとき、本物の.xlsx ZIPを暗号化し、その結果をCompound File Binary(CFB)コンテナへ包みます。方式は[MS-OFFCRYPTO] §2.3.4.10から§2.3.4.15のAgileです。拡張子でファイルを分類するローダーや、すべての.xlsxを無条件にZIPリーダーへ渡すローダーは、画面の向こう側では何も変わらないことをしたユーザーのアップロードを跳ね返してしまいます
Agile暗号化されたワークブックの中身
Agile暗号化されたワークブックは、重要なストリームを2つ持つCFBコンテナです。暗号化の方法を記述するEncryptionInfoと、元のZIPを1つの不透明な暗号化ブロブとして保持するEncryptedPackageです。HotXLSは両方のストリームをコンテナから直接読みます。ExcelもCOMも、外部の暗号化DLLもマシンに要りません
Agileを古いStandard Encryptionと区別する部分は、EncryptionInfoが自己記述型であることです。メジャーとマイナーの両バージョンが4である8バイトの接頭辞の後ろには、UTF-8のXML記述子が続きます。keyData要素は、暗号方式(AES)、チェーン モード(ChainingModeCBC)、ハッシュアルゴリズム、ビット単位の鍵長、ブロックサイズ、Base64のソルトを名指します。パスワードのkeyEncryptorは自分のソルトとspinCount、そして3つのBase64ペイロードencryptedVerifierHashInput、encryptedVerifierHashValue、encryptedKeyValueを運びます。dataIntegrity要素は、改ざん検出のための暗号化済みHMAC鍵とHMAC値を追加します
Excel自身はAES-256、SHA-512、100,000のスピンカウントを書きます。とはいえ記述子が別の値を主張することは許されており、サードパーティのライターは実際にそうします。HotXLSは256を決め込む代わりに記述子からkeyBitsを取るので、AES-128やAES-192のファイルも同じ道で復号でき、SHA-512だけでなくhashAlgorithm="SHA256"も受け付けます。各要素自身のhash属性が、その要素に属するステップを支配します。keyEncryptorのハッシュがパスワードの導出と検証を駆動し、keyDataのハッシュがセグメントIVと完全性HMACを駆動します。2つが混ざったファイルでも開けます
ファイルを開く:OpenEncrypted、またはパスワード付きのOpen
TXLSXWorkbook.OpenEncryptedはファイル名とパスワードを取り、成功で1を返します。Openと同じ契約です。最初の8バイトをCanReadEncryptedで判定します。CFBシグネチャのないファイルは普通のOpenの道を通り、パスワードは無視されるので、常にOpenEncryptedを呼ぶインポーターに呼び出し側の分岐は要りません。CFBファイルはまずStandard Encryptionとして試され、EncryptionInfoの接頭辞がAgileの4.4バージョンを運んでいるとき、Agileリーダーが引き継ぎます。復号されたZIPバイトは、そのままメモリ上の通常のXLSXローダーへ渡ります
2つの入口はどちらもファイル名を取ります。Open(Stream)はCFBシグネチャで始まるストリームを拒否し、メッセージがOpenEncryptedを指す例外を上げます。したがってTMemoryStreamに載ったアップロードは、まず一時ファイルに落ちとされなければなりません
uses
System.SysUtils, System.Classes, System.IOUtils, System.Variants, lxHandleX;
function ReadFirstCell(Upload: TMemoryStream;
const Password: WideString): WideString;
var
TempName: string;
Wb: TXLSXWorkbook;
begin
Result := '';
// 暗号化パッケージはファイルから開くので、アップロードをディスクへ退避する
TempName := TPath.GetTempFileName;
Wb := TXLSXWorkbook.Create;
try
Upload.SaveToFile(TempName);
// 通常の.xlsx、標準暗号化、Agile暗号化のどのファイルもここで動く
if Wb.OpenEncrypted(TempName, Password) = 1 then
Result := VarToWideStr(Wb.Sheets[1].Cells[1, 1].Value);
finally
Wb.Free;
TFile.Delete(TempName);
end;
end;
2引数のOpen(FileName, Password)オーバーロードは同じ復号コードに届きますが、OpenEncryptedにはないものを1つ追加します。OnPasswordイベントです。渡されたパスワードが失敗すると、OpenはOnPasswordを発火し、ハンドラに新しいパスワードの代入とRetryへのTrue設定を許し、最大3回まで再問い合わせします。デスクトップアプリケーションはパスワード入力をそのハンドラに置けます。サーバーはそれを別の用途に使えます。最終セクションで触れます
パスワードはどのようにAES鍵になるのか?
パスワードが直接何かを復号することはありません。最初のダイジェストは、keyEncryptorのソルトにパスワードのUTF-16LEバイトを連結したものに対するSHA-512です。そのダイジェストはspinCount回再ハッシュされ、各ラウンドでは直前のダイジェストの前に、32ビットのリトルエンディアンなラウンドカウンタが置かれます。Excelの100,000ラウンドでは、パスワード試行1回ごとに、10万回の直列SHA-512呼び出しがかかります。スピンカウントの狙いはそこです。正当なオープンは1回だけ払い、辞書攻撃は推測のたびに払います
チェーンは再現できるほど短く、実際にやってみるのが、自分のハードウェアで推測1回がいくらかかるかを知る最短ルートです。下のスケッチは、SHA-512記述子について§2.3.4.11に従い、lxXlsxAgileDecryptユニットの公開関数XlsSHA512を使います
uses
System.SysUtils, lxXlsxAgileDecrypt;
// H0 = SHA-512(salt + UTF-16LE(password))
// Hn = SHA-512(LE32(n - 1) + H(n-1)), repeated SpinCount times
function SpinHash(const Password: WideString; const Salt: TBytes;
SpinCount: Integer): TBytes;
var
Buf: TBytes;
PwdLen, I: Integer;
begin
PwdLen := Length(Password) * SizeOf(WideChar);
SetLength(Buf, Length(Salt) + PwdLen);
if Length(Salt) > 0 then
Move(Salt[0], Buf[0], Length(Salt));
if PwdLen > 0 then
Move(Password[1], Buf[Length(Salt)], PwdLen);
Result := XlsSHA512(Buf);
SetLength(Buf, 4 + 64);
for I := 0 to SpinCount - 1 do
begin
Buf[0] := Byte(I and $FF); // ラウンドカウンタ、リトルエンディアン
Buf[1] := Byte((I shr 8) and $FF);
Buf[2] := Byte((I shr 16) and $FF);
Buf[3] := Byte((I shr 24) and $FF);
Move(Result[0], Buf[4], 64); // 前のダイジェスト
Result := XlsSHA512(Buf);
end;
end;
回したハッシュはまだ鍵ではありません。そこから3つの鍵が出てきます。どれも、回した値に固定の8バイトブロック鍵を連結してもう1回ハッシュするだけです。検証入力にはFE A7 D2 76 3B 4B 9E 79、検証ハッシュにはD7 AA 0F 6D 30 61 34 4E、パッケージ鍵の開封には14 6E 0B E7 AB AC D0 D6。各結果は宣言された鍵長に切り詰められ、AES-256なら32バイトです。仕様は、ハッシュが鍵より短く出たときの振る舞いも定義しています。0x36バイトで埋めるのです。SHA-256やSHA-512で実際にその道を辿るAES鍵長はありませんが、パスワードソルトをブロックサイズへ引き伸ばしてCBC IVとして使うときには、同じ0x36規則が適用されます
スピンカウントはファイルから読まれるため、攻撃面にもなります。10億ラウンドを宣言するアップロードは、失敗する前にCPUコアを1本釘付けにできます。§2.3.4.11はspinCountを10,000,000で封じており、HotXLSはそれを超える値を、何もハッシュする前に未対応の記述子として報告します。公開アップロード端点にはこの上限が正しい既定値です。Excel自身の100,000はそれよりはるかに下です
パスワード検証とsaltSize切り詰めの罠
HotXLSはパッケージに触れる前にパスワードを確認します。1つ目の派生鍵でencryptedVerifierHashInputを復号し、結果をハッシュし、2つ目の鍵でencryptedVerifierHashValueを復号し、2つのダイジェストを、最初の不一致バイトで止まらずハッシュ全長にわたって比較します。不一致ならオープンは誤ったパスワードの結果で終わり、パッケージ本体が誤った鍵で復号されることはありません。したがって誤ったパスワードが、もっともらしいゴミだらけのワークブックを作ることはありません
ここで、仕様の1文は読み違えやすいです。§2.3.4.13は検証子を、saltSizeバイトのランダムデータと定義します。saltSizeは鍵暗号化器のソルト長です。復号された検証子は16バイトのAESブロックの倍数に詰められて帰ってくるため、ハッシュする前にsaltSizeへ切り戻さなければなりません。Excelは常にsaltSizeとblockSizeを16で書くので、ブロックサイズで切り詰めるコードは、Excel出力に対するすべてのテストを通ります。そして、32バイトのソルトを選んだプロデューサーの最初のファイルで、正しいパスワードを拒否します。HotXLSはソルト長で切り詰めます。テキストがそう言っており、Excelファイルで2つの数が一致しているのは偶然にすぎないからです
EncryptedPackageはどのように復号されるのか?
パッケージ鍵はランダムで、パスワード派生ではありません。ライターが生成し、encryptedKeyValueへ暗号化したもので、HotXLSは3つ目の派生鍵でそれを開封し、keyDataがkeyBitsで宣言するバイト数を保持します。1つのセグメントを復号する前に、HotXLSはファイルがdataIntegrityを運んでいればそれを確認します。HMAC鍵と値をパッケージ鍵で復号し、サイズ接頭辞を含むEncryptedPackageストリーム全体のHMACが保存値と一致しなければなりません。使えるdataIntegrity要素なしで書かれたファイルはこのステップを飛ばし、それでも開きます
ストリーム本体は、8バイトのリトルエンディアンな平文サイズで始まり、4096バイトのセグメント単位の暗号文が続きます。各セグメントは自分のIVを持ちます。それはkeyDataのソルトに32ビットのリトルエンディアンなセグメントインデックスを連結したもののハッシュで、ブロックサイズに切り詰められます。したがってどのセグメントも独立に復号でき、原理的にはランダムアクセスも可能です。HotXLSはパッケージ全体をメモリへ復号します。ZIPローダーはどのみち完全なアーカイブを欲しがるからです。宣言サイズは復号開始前に実際のストリーム長と照合されるため、途切れたアップロードや水増しされたサイズフィールドはきれいに失敗します。最後のセグメントの後、バッファは宣言サイズへ切り詰められ、最大15バイトのAESパディングが落ちます。残るのは、Excelが暗号化したZIPそのものです
誤ったパスワードと未対応のファイルを見分ける
OpenEncryptedとOpenのすべての暗号化失敗はEXlsxEncryptionNotImplementedを上げ、メッセージがどのケースかを告げます。渡されたパスワードが間違っているか、ファイルがHotXLSの読めない方式を使っているかです。HotXLSは、パスワード鍵暗号化器についてCBCモードのAESとSHA-512かSHA-256のハッシュを読みます。これは現行のExcelバージョンが書くものをカバーします。証明書鍵暗号化器だけのコンテナ、別の暗号方式を名指す記述子、StandardでもAgileでもないCFB(名前を変えただけのBIFF .xlsなど)は、未対応のメッセージを受け取ります
メッセージテキストでの判別は壊れやすいです。特にリソース文字列がいつかローカライズされたら尚更です。OnPasswordイベントのほうがきれいな信号をくれます。Openがこれを発火するのは、検証か完全性チェックがパスワードを拒否したときだけで、未対応の方式では決して発火しません。インポートサービスでは、拒否を記録するハンドラ付きのOpen(FileName, Password)を呼びます。どのイベントにも相談せず上げるOpenEncryptedではなく
type
TUploadOutcome = (uoLoaded, uoPasswordRejected, uoUnreadable);
TUploadLoader = class
private
FPasswordRejected: Boolean;
procedure HandlePassword(Sender: TObject; var PassWord: WideString;
var Retry: Boolean);
public
function Load(Wb: TXLSXWorkbook;
const FileName, Password: WideString): TUploadOutcome;
end;
procedure TUploadLoader.HandlePassword(Sender: TObject;
var PassWord: WideString; var Retry: Boolean);
begin
// パスワード(または完全性HMAC)が拒否されたときだけ発火する
FPasswordRejected := True;
Retry := False; // サーバーには聞く相手がいない。次にOpenが例外を上げる
end;
function TUploadLoader.Load(Wb: TXLSXWorkbook;
const FileName, Password: WideString): TUploadOutcome;
begin
FPasswordRejected := False;
Wb.OnPassword := HandlePassword;
try
if Wb.Open(FileName, Password) = 1 then
Result := uoLoaded
else
Result := uoUnreadable;
except
on E: EXlsxEncryptionNotImplemented do
if FPasswordRejected then
Result := uoPasswordRejected // ユーザーに再度聞いて安全
else
Result := uoUnreadable; // 再試行は無意味。E.Messageをログへ
end;
end;
この分業でも残る罠が1つあります。完全性の不一致は誤ったパスワードと同じ形で報告されるため、ボディを書き換えたプロキシやセグメント途中で切れたアップロードによって転送中に暗号文が壊れたワークブックは、ユーザーが正しいパスワードを打っていてもuoPasswordRejectedとして帰ってきます。同じユーザーが正しいと主張するパスワードで2度失敗したら、パスワードをもう一度聞く前に、ファイルをもう一度要求してください
書き込み側は同じ仕組みを逆方向に使います。SaveAsEncryptedAgileはSHA-512鍵派生、100,000スピンラウンド、AES-256パッケージ暗号化のAgileコンテナを作り、SaveAsEncryptedはStandard Encryptionを作ります。VerifyEncryptedSaveをTrueにすると、どちらの呼び出しも、書いたばかりのファイルを復号の道で開き直し、失敗すれば-1を返します。Standardの道はAES保護されたXLSX出力を書く記事で歩いており、レガシーBIFFファイルの中で見つかるRC4とXOR方式はECBとRC4の相互運用記事が扱います
次のアップロードがパスワードを運んでいるか事前に知り得ないパイプラインにとって、ここまで述べたリーダーは、DelphiとC++Builder向けのネイティブXLS、XLSX読み書きとともに、HotXLS Delphi Excel Componentの一部です