パスワード secret で保護された BIFF5 ワークブックが、パスワード検証子と完全に一致していても、Excel 16 に「パスワードが正しくない」と答えさせられることがあります。Excel がファイルを受け入れるのは、FILEPASS の鍵が CreateXorKey_Method1(password) と等しく、16バイトの XOR 配列が XorRor で組み立てられ、すべてのバイトが XorArrayIndex = (stream offset + record length) mod 16 を使うときだけです
Excel 16 には、こうしたファイルを拒むやり方が2つあり、[MS-OFFCRYPTO] §2.3.7 の層できれいに対応が付きます。正しいパスワードを受け付け続けるパスワードプロンプトは、FILEPASS の鍵ワードを指しています。パスワードが受理された後に出る「ファイルに問題があり開けません」の報告は、XOR 配列か、配列のバイトを選ぶインデックスを指しています。以下の節は、その順序に従ってバイト単位まで降りていきます
BIFF5ファイルのFILEPASSレコードが格納するもの
BIFF の XOR 難読化が格納するのは正確に2つの16ビットワードで、あとはすべてパスワードから再計算されます。FILEPASS レコード($002F)はワークブックグローバルの BOF の直後に座り、BIFF5 ファイルでは本体は4バイトです。XOR 鍵、そしてパスワード検証子。salt はありません。アルゴリズム識別子もなく、RC4 や AES のスキームが運ぶような暗号化検証子ブロブもありません
この2つのワードから、リーダーは3つの値を組み立て直します
- 検証子。パスワードバイトの16ビットハッシュに、パスワード長と
$CE4Bを XOR したもの。格納されたワードとの比較が、文書化されたパスワードチェックです - XOR 鍵。[MS-OFFCRYPTO] §2.3.7.2 の
CreateXorKey_Method1が2つの定数テーブル、InitialCode(15ワード)とXorMatrix(105ワード)から作る16ビット値 - XOR 配列。パスワードバイトを固定の16バイトパッドで埋めた16バイトで、偶数位置は鍵の下位バイト、奇数位置は上位バイトと XOR し、それから1ビット右ローテートします
レコードヘッダーは平文のままです。スキームが免除する少数のレコード全体もそうです。BOF、FILEPASS、USREXCL、FILELOCK、INTERFACEHDR、RRDHEAD、RRDINFO、そしてすべての BOUNDSHEET の最初の4バイト。それ以外のレコード本体はバイトごとに変換されます。5ビット左ローテートしてから、16バイト配列の1要素と XOR する。§2.3.7.3 が DecryptData_Method1 として綴る復号はその鏡像で、XOR が先、それから5ビット右ローテートです
HotXLS はこのすべてを2つのワークブックプロパティの背後に隠します。TXLSWorkbook.EncryptionPassword がパスワードを保持し、EncryptionType がスキームを選び、xlExcel5 付きの SaveAs が BOF の直後に FILEPASS を出力し、ストリームの残りを変換します
uses
SysUtils, lxHandle;
procedure SaveLegacyProtectedBook(const FileName: string);
var
Wb: IXLSWorkbook;
begin
Wb := TXLSWorkbook.Create;
Wb.Sheets.Add.Name := 'Ledger';
Wb.Sheets[1].Range['A1', 'A1'].Value := 'Account';
Wb.Sheets[1].Range['B1', 'B1'].Value := 1250.75;
// BIFF5 で使えるのは XOR 難読化だけ。xletAuto は xlExcel5 に対して
// 同じスキームを選ぶので、明示的な設定は意図を文書化するだけ
Wb.EncryptionType := xletXor;
// ASCII、最大15文字(パスワードの注意点は後述)
Wb.EncryptionPassword := 'secret';
if Wb.SaveAs(FileName, xlExcel5) <> 1 then
raise Exception.Create('BIFF5 save failed');
end;
検証子が一致しているのに、なぜExcelはパスワードが間違っていると言うのか
Excel は CreateXorKey_Method1 で入力されたパスワードから鍵を導出し、FILEPASS の鍵ワードと比較します。鍵が別物のファイルは、検証子が正しくてもパスワードチェックに落ちます。仕様は鍵をパスワードの関数として扱っており、Excel 16 はその読みを厳密に強制します
誘惑的な近道は、鍵ワードをランダムな2バイトで埋めることです。紙の上では無害に見えます。検証子こそ文書化されたパスワードチェックであり、配列はファイルが宣言した鍵が何であれそこから組み立てられるからです。FILEPASS の鍵を与えられたものとして受け取るリーダーは、そのファイルを文句なしに開きます。自分自身に対してだけテストされたコードで近道が生き延びるのは、そのためです。同じファイルと正しいパスワードを渡された Excel 16 は、プロンプトで拒みます。HotXLS は保存のたびに鍵を導出するので、パスワード secret の FILEPASS は常に鍵 $014D と検証子 $DAA7 を持ちます
2つのテーブルが揃えば、導出そのものは短く済みます。パスワードを最後のバイトから後ろへたどり、各バイトのビット6を左シフトしながら7回調べ、ビットが立つたびに XorMatrix の1要素を XOR で混ぜます。テーブルインデックスは最後のエントリ $68 から始まり、ビットが立ったかどうかにかかわらず1ビットごとに1つずつ減ります。下のスケッチは仕様のアルゴリズムを一歩一歩再現し、ライブラリと同じ結果を出します。自分のリーダー向けの説明であって、これらのルーチンはどれも HotXLS の API ではありません
// [MS-OFFCRYPTO] 2.3.7.2 CreateXorKey_Method1の原理スケッチ
// CreateXorArray_Method1も同様(説明用。HotXLSのAPIではない)
type
TXorArray = array [0..15] of Byte;
function DemoCreateXorKey(const Password: AnsiString): Word;
const
InitialCode: array [0..14] of Word = ($E1F0, $1D0F, $CC9C, $84C0, $110C,
$0E10, $F1CE, $313E, $1872, $E139, $D40F, $84F9, $280C, $A96A, $4EC3);
XorMatrix: array [0..104] of Word = (
$AEFC, $4DD9, $9BB2, $2745, $4E8A, $9D14, $2A09,
$7B61, $F6C2, $FDA5, $EB6B, $C6F7, $9DCF, $2BBF,
$4563, $8AC6, $05AD, $0B5A, $16B4, $2D68, $5AD0,
$0375, $06EA, $0DD4, $1BA8, $3750, $6EA0, $DD40,
$D849, $A0B3, $5147, $A28E, $553D, $AA7A, $44D5,
$6F45, $DE8A, $AD35, $4A4B, $9496, $390D, $721A,
$EB23, $C667, $9CEF, $29FF, $53FE, $A7FC, $5FD9,
$47D3, $8FA6, $0F6D, $1EDA, $3DB4, $7B68, $F6D0,
$B861, $60E3, $C1C6, $93AD, $377B, $6EF6, $DDEC,
$45A0, $8B40, $06A1, $0D42, $1A84, $3508, $6A10,
$AA51, $4483, $8906, $022D, $045A, $08B4, $1168,
$76B4, $ED68, $CAF1, $85C3, $1BA7, $374E, $6E9C,
$3730, $6E60, $DCC0, $A9A1, $4363, $86C6, $1DAD,
$3331, $6662, $CCC4, $89A9, $0373, $06E6, $0DCC,
$1021, $2042, $4084, $8108, $1231, $2462, $48C4);
var
Len, I, Bit, Element: Integer;
Ch: Byte;
begin
Result := 0;
Len := Length(Password);
if Len > 15 then
Len := 15; // キーが見るのは先頭15バイトまで
if Len = 0 then
Exit;
Result := InitialCode[Len - 1];
Element := $68; // XorMatrixの末尾の要素
for I := Len downto 1 do
begin
Ch := Ord(Password[I]);
for Bit := 1 to 7 do
begin
if (Ch and $40) <> 0 then
Result := Result xor XorMatrix[Element];
Ch := Byte(Ch shl 1);
Dec(Element);
end;
end;
end;
function XorRor(B, KeyByte: Byte): Byte;
begin
B := B xor KeyByte;
Result := Byte((B shr 1) or (B shl 7)); // 1ビット右ローテート
end;
procedure DemoCreateXorArray(const Password: AnsiString; out Arr: TXorArray);
const
PadArray: TXorArray = ($BB, $FF, $FF, $BA, $FF, $FF, $B9, $80,
$00, $BE, $0F, $00, $BF, $0F, $00, $00);
var
Key: Word;
Len, I: Integer;
begin
Key := DemoCreateXorKey(Password);
Len := Length(Password);
if Len > 16 then
Len := 16;
for I := 0 to Len - 1 do
Arr[I] := Ord(Password[I + 1]);
for I := Len to 15 do
Arr[I] := PadArray[I - Len];
for I := 0 to 15 do
if Odd(I) then
Arr[I] := XorRor(Arr[I], Byte(Key shr 8))
else
Arr[I] := XorRor(Arr[I], Byte(Key and $FF));
end;
secret の場合、これは配列 1F 32 17 B9 14 BA 7B 7F 59 DD 59 7F 7A C0 A6 DF を生み出します。鍵 $014D と検証子 $DAA7 と合わせて、Excel を登場させる前にアサートできる、判明済みの正しい値が3つ手に入ります
1ビット右ローテートと、2ビット左ローテートがもっともらしく見える理由
鍵が正しければ、Excel 16 はパスワードプロンプトを通過し、2つ目のエラー、ファイルに問題があるという報告へ直行します。いつもの原因は、逆方向にローテートされた XOR 配列です。§2.3.7.2 は配列のステップを XorRor、つまり1ビット右ローテートと定義しています。それでも、各配列バイトを2ビット左にローテートする変種がいくつもの BIFF 実装に出回っており、同じ変種の上に組まれたリーダーは、何も悪くないと感じません
Excel 16 は Excel 5.0/95 ファイルを保存できず、BIFF8 の保存でも XOR を提供しないので、差分を取れるネイティブなサンプルが存在しません。自分のコードがどの組み合わせを実装しているか突き止めるには、確実な方法は逆方向に走ります。平文の BIFF5 ストリームを1つ書き、3つの独立な選択の各組み合わせで再エンコードし、Excel 16 に各結果を開かせるのです
| 選択肢 | オプションA | オプションB |
|---|---|---|
| 配列のローテート | XorRor(1ビット右) | 2ビット左 |
| 配列インデックス | (offset + record length) mod 16 | offset mod 16 |
| バイト変換の順序 | 5ビット左ローテート、その後XOR | XOR、その後5ビット左ローテート |
8つのファイルのうち、Excel 16 が受け入れたのは仕様の組み合わせ(XorRor、ローテートしてから XOR、レコード長インデックス)と、見た目だけ違うもう1つの、ちょうど2つです。2ビット左ローテートを「XOR してからローテート」と同じインデックスで組んだものは、同じ関数の変装です。ローテートは XOR に分配されるので、rol5(p xor rol2(b)) は rol5(p) xor rol7(b) に等しく、8ビット値では7ビット左ローテートは1ビット右ローテートです。まとめると rol5 ∘ rol2 = ror1 です
この恒等式が、2ビット左ローテートの配列が単独でもっともらしく見える理由を説明します。正しいのは逆の変換順序と並べたときだけです。仕様の順序と組むと、変換されるバイトをすべて壊します。インデックスからレコード長を落とす変種も、どのローテートを使おうと、すべて失敗します。書くのは仕様の組み合わせだけで、それ以外はありません。代数的な双子は開きますが、次の保守担当者に、仕様テキストが何も残さない2つの逸脱をリバースエンジニアリングさせます
XorArrayIndexはバイトごとにどう計算されるのか
あるバイトの XorArrayIndex は、ワークブックストリーム内でのオフセットに、そのバイトが属するレコードデータ全体の長さを足したものを 16 で割った余りです。したがってインデックスはレコードごとにレコード依存の値から再始動し、レコード内ではバイトごとに1ずつ増えます。仕様の擬似コードは入力を FileOffset と Data.Length と名付けており、最初のほうをレコード開始オフセットだけと誤読しやすいのです
インデックスがExcelと揃うかどうかは、3つのディテールで決まります:
- 4バイトのレコードヘッダーは決して変換されませんが、ストリーム位置は占有します。だからレコードの最初の本体バイトは、ヘッダーオフセット + 4 に座ります
- 長さの項はレコードデータ全長であり、変換がスキップする平文プレフィックスも含みます
- BOUNDSHEET は部分的に平文です。最初の4バイト、シート BOF のストリームオフセットである
lbPlyPosは、パーサーがパスワードなしでシートを特定できるよう読めるままです。この4バイトは変換にスキップされますが、オフセットとレコード長の両方に数えられます
まとめると、レコードごとの変換は数行で済みます。前と同じく、これは自分のコード向けのルールのスケッチであって、HotXLS は SaveAs の間に内部で適用します
function Rol8(B: Byte; N: Integer): Byte;
begin
Result := Byte((B shl N) or (B shr (8 - N)));
end;
// レコード本体をインプレースで難読化する。BodyPosはBody[0]の
// ストリームオフセット、つまりレコードヘッダーオフセット+4。PlainPrefixは
// BOUNDSHEETでは4、BOF / FILEPASSでは全長、ほとんどのレコードでは0
procedure DemoObfuscateRecord(var Body: array of Byte; RecordLength: Word;
PlainPrefix: Integer; BodyPos: LongWord; const Arr: TXorArray);
var
I: Integer;
begin
for I := PlainPrefix to RecordLength - 1 do
Body[I] := Rol8(Body[I], 5) xor
Arr[(BodyPos + LongWord(I) + RecordLength) mod 16];
end;
// 読み込みは鏡像:B := Body[I] xor Arr[...];
// その後5ビット右ローテート、つまりRol8(B, 3)
ストリーム位置だけからインデックスを取るリーダーとライターは、両側でレコード長を落とします。互いには一致し、他の誰とも一致しません。読み込み側では、HotXLS は現在のストリーム位置に平文プレフィックス長と変換バイト数を足したものからインデックスを計算します。ライターが使ったのと同じレコード長です
2ビット左ローテート配列を使うファイルを読む
HotXLS は、2ビット左ローテート配列とランダムな鍵で作られた XOR ファイルも開けます。判別は FILEPASS の鍵で行います。格納された鍵がパスワードから導出した鍵と等しければ、リーダーは仕様どおりの XorRor 配列を組み立てます。異なっていれば、リーダーは2ビット左ローテート配列へ切り替えます。Excel が書いたファイルは常に導出鍵を運ぶので、常に仕様の経路を通ります
この判定は、失敗率が正確に分かっているヒューリスティックです。鍵がランダムに埋められたファイルが、たまたま導出鍵と等しく、その結果間違った配列で読まれる確率は 65,536 分の 1 です。切り替えがカバーするのは配列のローテートだけです。インデックス規則は固定のままなので、適用されるのは既にレコード長インデックスを使っているファイルです。そのようなファイルを HotXLS で開いて再保存すれば、Excel が受け入れるファイルになります。ライターは常に導出鍵と XorRor を使うからです
パスワードのディテールが2つ、配列がどれであってもすべてのファイルに当てはまります
- 長さ。
CreateXorKey_Method1が読むのはパスワードの先頭 15 バイトだけで、これが仕様の上限です。HotXLS はその上限を鍵に適用し、検証子は全パスワードのまま、配列は 16 バイトの規則のまま、読み書き両側で同一に扱います。鍵が見るのは常に 15 バイトなので、実質の最大は 15 文字です - 文字セット。HotXLS はパスワードをシステムの ANSI コードページ経由でバイトへ変換します。鍵も検証子も配列も同様です。仕様は各 UTF-16 文字の下位バイトを取ると記述しており、ASCII なら両者は一致します。非 ASCII パスワードで保護された Excel サンプルがない以上、それ以外に正解は存在しません。XOR のパスワードは素の ASCII に限定してください
Open が FILEPASS レコードに出会い、パスワードが無いか間違っているとき、TXLSWorkbook.OnPassword が発火します。ハンドラは var PassWord: WideString と var Retry: Boolean を持つ TXLSPasswordEvent です。新しいパスワードを代入し、Retry を True にすると再試行でき、リトライは最大 3 回です。Retry を False のままにすると、Open はパスワードのエラーコードを返します
procedure TImportForm.WorkbookPassword(Sender: TObject;
var PassWord: WideString; var Retry: Boolean);
var
S: string;
begin
S := '';
Retry := InputQuery('Protected workbook', 'Password:', S);
PassWord := S;
end;
procedure TImportForm.ImportLegacyFile(const FileName: string);
var
Wb: IXLSWorkbook;
Rc: Integer;
begin
Wb := TXLSWorkbook.Create;
Wb.OnPassword := WorkbookPassword;
Rc := Wb.Open(FileName);
// -1003:パスワードが必要だが未指定。-1005:パスワードが間違っている
if Rc <> 1 then
raise Exception.CreateFmt('Cannot open %s (code %d)', [FileName, Rc]);
ShowMessage(VarToStr(Wb.Sheets[1].Range['A1', 'A1'].Value));
end;
パスワードが既に分かっているなら、オーバーロードの Open(FileName, APassWord) が先に渡し、イベントはそのパスワードが失敗したときにだけ発火します
XOR難読化はそもそも書く価値があるのか
BIFF の XOR 難読化は、ファイルをカジュアルなユーザーからは守りますが、やる気のある読み手には何もしません。パスワードチェックは 16 ビットの検証子、鍵は 16 ビット、16 バイトの配列はストリーム全体で繰り返します。だから BIFF レコードの中身が予測できるなら、パスワードなしで配列のバイトが暴露されます。今日これを書く唯一の理由は、Excel 5.0/95 ファイルしか読めないレガシーコンシューマーです。BIFF5 には他のスキームがないからです
クラシックエンジンはスキームを TXLSWorkbook.EncryptionType で選択し、保存フォーマットとの組み合わせを厳しくチェックします
xletAuto(既定)はxlExcel97には RC4 CryptoAPI を、xlExcel5には XOR を書きます。Excel 自身が各フォーマットで書いていたものと一致しますxletXorは BIFF5 でのみ有効です。xlExcel97では、別のスキームへフォールバックする代わりに保存が例外を上げますxletRC4とxletRC4CryptoAPIは BIFF8 専用で、BIFF5 の保存でどちらを要求しても例外が上がります
どちらのフォーマットでも保存し得るコードでは、EncryptionType は xletAuto のままにしておきます。ターゲットフォーマットが対応する最も強いスキームに常に着地し、いつか誰かが保存を xlExcel97 に切り替えた日に、明示的な xletXor が上げる不一致例外を上げることがありません
RC4 も古い方式で、相互運用させるための罠は独自にあります。これは正しいパスワードでも Excel が暗号化ワークブックを拒否する理由で扱っています。受信者が XLSX を読めるなら、レガシーフォーマットを飛ばして XLSX エンジンを使ってください。TXLSXWorkbook.SaveAsEncryptedAgile は Agile Encryption(10万回のスピンカウントによる SHA-512 パスワードハッシュ化と AES-256-CBC)、つまり Excel 2010 以降が既定で書くコンテナを書き、SaveAsEncrypted はより古い AES-128 の Standard Encryption を書きます。両者のトレードオフはDelphi で AES を使い XLSX ファイルを暗号化するに、読み込み側はHotXLS で Agile 暗号化 Excel ファイルを読むにあります
Excel 16 が見る前にBIFF5 XORの出力を確認する
- 同じパスワードで同じワークブックを2回保存し、hex ダンプで FILEPASS の本体を比べます。どちらのコピーも同一のワードを持つはずです。保存の間に鍵が変わったら、ランダムに埋められており、Excel 16 はパスワードを拒みます
- パスワード
secretの4バイト FILEPASS 本体は、ディスク上では4D 01 A7 DAと読めます。鍵が先で、どちらのワードもリトルエンディアンです - すべての BOUNDSHEET の最初の4バイトは、シート BOF に着地する素のストリームオフセットとして読めるはずです。どこも指していないなら、変換がプレフィックスに触れており、パスワードなしでシートを特定できるパーサーはもうありません
- テストパスワードは素の ASCII で 15 文字以内にします。鍵も検証子も配列も、どのマシンでも同じバイトを見るようにです
同じ Delphi と C++Builder ライブラリーが、BIFF5 XOR、BIFF8 RC4 と RC4 CryptoAPI、XLSX の Standard と Agile Encryption、そして読み込み側のパスワードコールバックをカバーし、上記のバイトレベルの規則をすべて保存時に適用します。エディション、対応プラットフォーム、試用ダウンロードはHotXLS Delphi spreadsheet component のページにあります