技術記事

HotXLSのBIFF8フォントインデックス4スキップとリッチテキスト

FONTレコードを8つ持つ BIFF8 ワークブックには、フォントフィールドが8を読む XF レコードが含まれています。ゼロから数えればテーブルの末尾の1つ先ですが、Excel は文句も言わずにそのセルを8番目のフォントで描画します。この値は合法です。[MS-XLS] §2.5.129 は、最初の4つの FONT レコードに0から3を振り、4を丸ごと飛ばし、それ以降のレコードには1始まりの位置を振るからです

したがって5番目の FONT レコードは ifnt 5であり、整形式のファイルは自分の FONT レコード数を超える値を必要としません。この規則は仕様書のタイプミスのように読める。だからこそ人が「修正」したがるのです。しかもセル書式、共有文字列のリッチテキスト、コメントの run がすべて同じ FontIndex 型を運ぶため、経路ごとに読み方が違うと、あるフォントは正しく結び付き、別のフォントは1レコードずれて結び付きます。BIFF8 XLUnicodeString の cch と fHigh のデコードで扱った長さとエンコーディングの癖と同族の話です。ファイルは正常で、読み方のほうがおかしい

[MS-XLS] §2.5.129 の内容と、実ファイルでの確認方法

[MS-XLS] §2.5.129 は FontIndex を、穴の開いたレコード位置として定義します。4未満の値はゼロ始まり、4超の値は1始まり、値4は MUST NOT、つまり使ってはなりません。XF レコードがこの値でフォントを指し、リッチな共有文字列の FormatRun エントリが使い、§2.5.272 で述べる TXO 書式 run も同じです

仕様書の言葉を鵜呑みにする必要はありません。Excel 自身が保存した .xls を任意の BIFF レコードビューアでダンプし、FONT レコード(レコードタイプ $0031)を数え、次にすべての XF レコード($00E0)の先頭のフォントフィールドを走査してください。最大値はレコード数の範囲内に収まり、リストに4は現れません。4を見つけたとき、あるいは FONT 数を超える値を見つけたときは、そのファイルは Excel 以外の何かが書いたものであり、フォント番号付けを詳しく調べる価値があります。診断ツールやテストのために、このマッピング全体は2つの関数に収まります

// 自前のヘルパー。ライブラリの一部ではない
// [MS-XLS] 2.5.129 FontIndex:0..3は0始まり、> 4は1始まり、4は無効
function FontIndexToRecordNo(Ifnt: Word): Integer;  // 1始まりのFONTレコード
begin
  if Ifnt < 4 then
    Result := Ifnt + 1
  else if Ifnt > 4 then
    Result := Ifnt
  else
    Result := -1;  // 4は現れてはならない
end;

function RecordNoToFontIndex(RecordNo: Integer): Word;
begin
  if RecordNo <= 4 then
    Result := RecordNo - 1
  else
    Result := RecordNo;
end;
MS-XLS 2.5.129 に基づく FontIndex のマッピング。ifnt 0から3はゼロ始まりの FONT レコード位置、ifnt 5以上は1始まりで、値4は決して現れない。FontIndexToRecordNo 変換つき
5番目の FONT レコードは ifnt 5です。したがって FONT レコード N 個のファイルで合法な ifnt の最大値は N であり、値4が保存されることはありません

HotXLSがXFレコードとリッチテキストrunでフォントに番号を付ける方法

HotXLS は BIFF8 のフォント参照をすべて、仕様の番号付けで読み書きします。保存時、フォントテーブルは実際に参照されるフォントへ圧縮され、生き残った各フォントの位置が FontIndex になります。位置1から4は0から3として書かれ、位置5以上はそのまま出ていきます。ロード時は逆で、5以上の値は1つ下へ動いてメモリ上のフォントを見つけ、5未満はそのままです。同じ変換が、XF レコード、共有文字列テーブルのリッチテキスト run、コメントとテキストボックスの run、そして古典チャートレコード内のフォント参照に適用されます

アプリケーションコードに見える部分は、TXLSComment と TXLSTextBox の TextRuns です。TextRuns.FontIndex[I] は、読んだままのファイルの番号付けを、4を飛ばして返します。run のインデックスは1始まりで、CharIndex[I] は run I が始まる文字オフセットです。ゼロ始まりのテーブルスロットではなくファイルの番号を公開するほうが、この場面では良い既定です。API が報告するものが、レコードダンプに見えるものと一致するからです。代償は、値をテーブル位置として扱う前に上のヘルパーを1回呼ぶことだけです

var
  Book: IXLSWorkbook;
  Note: TXLSComment;
  I: Integer;
  Ifnt: Word;
begin
  Book := TXLSWorkbook.Create;
  if Book.Open('review-notes.xls') <> 1 then
    raise Exception.Create('Cannot open review-notes.xls');
  Note := Book.Sheets[1].Range['C2', 'C2'].Comment;
  if Note <> nil then
    for I := 1 to Note.TextRuns.Count do
    begin
      Ifnt := Note.TextRuns.FontIndex[I];   // ファイルの番号付け、4スキップ
      // 自前の健全性チェック:4はファイルが 2.5.129 に違反している印
      if Ifnt = 4 then
        raise Exception.CreateFmt('Run %d uses invalid ifnt 4', [I]);
      Writeln(Format('run %d at char %d: ifnt %d = FONT record #%d',
        [I, Note.TextRuns.CharIndex[I], Ifnt, FontIndexToRecordNo(Ifnt)]));
    end;
end;

保存の後、run に格納された番号は、読んだときや設定したときの番号と違うかもしれません。保存は run を圧縮後のフォントテーブルとともに番号付けし直すため、番号は変わっても、指すフォントは変わりません

ゼロ始まりの「修正」がすべてのカスタムフォントをずらす理由

罠はたいてい、もっともらしく見えるバグレポートから始まります。誰かが FONT レコード8個のワークブックをダンプし、フォント8を指す XF を見て、ライタが範囲外のインデックスを出したと結論づけ、ライタとリーダの両方を素のゼロ始まりの算術へ切り替えます。ラウンドトリップテストはまだ通ります。修正されたライタと修正されたリーダが互いに一致しているからです。Excel は一致しません。その書き方のファイルは最初のカスタムフォントを ifnt 4 として格納し、Excel はこれをデフォルトフォントへ解決し、それ以降のカスタムフォントは1レコード早く着地します。Excel 自身のファイルを読む側は逆に、各フォントを1レコード遅く結び付けます

ライタとリーダが1始まりの FontIndex 値をゼロ始まりとして扱う誤読。最初のカスタムフォントが禁じられた ifnt 4 として格納され Excel はデフォルトフォントへ解決し、以降のフォントは1レコード早く着地する。両者の間のラウンドトリップは通ったまま
同じ誤読を共有するライタとリーダは、保存して開き直すすべてのテストを通ります。その間に、Excel が開くフォントはすべて1レコードずれて着地します

出荷前に誤読を暴く合図が2つあります。1つは ifnt < FontCount をアサートするテストです。範囲チェックに見えて、実態は誤読を要件として書き記しています。書き込まれた各 ifnt を仕様の式で FONT レコード名へマップし戻すテストなら、最初の実行でずれを捉えます

もう1つの合図は、コードが自分自身と食い違うことです。完全な BIFF8 のリーダ兼ライタは、skip-4 規則を複数箇所に適用します。XF 出力、XF 入力、共有文字列 run のリマップ、コメント run、チャートのフォントレコードです。変更がその一部をゼロ始まりへ動かして残りを放置すると、触られていない箇所が証拠になります。ですから箇所を疑う前に、その変更を疑ってください。部分的な変更は長く隠れられます。リッチテキストで使われるフォントは、たいていどこかのセル書式からも参照されているからです

コメントのフォントrunが2回目の保存でのみ壊れる理由

コメントとテキストボックスの run は、2つのライタの癖が出会うと、1回目の保存を生き延びて2回目で壊れます。1つ目の癖は非対称な刈り込みです。最初の N-1 個の FONT レコードを無条件に保持し、どの XF も参照しないときにだけ最後の1個を落とします。2つ目は、TXO 書式 run([MS-XLS] §2.4.329)を番号付けし直さずにバイト単位で書き戻すことです。それぞれ単独では1回の保存のテストを通ります。組み合わさると、1世代待ってからフォントを失わせます

理由は Excel が書くものの中にあります。Excel 製の .xls ファイルは、よく未参照の末尾フォントで終わります。中国語ロケールのシステムでは 9 pt の DengXian です。1回目の保存では、コメント run だけが使うフォントが最後になることはないため、見た目上は何も動きません。ところがその保存は末尾フォントを落とし、コメント専用フォントを最後尾へ昇格させます。2回目の保存は、XF 参照を持たない最後のフォントを見つけて捨てます。run の ifnt はテーブルの末尾の先を指すようになり、Excel はデフォルトフォントへフォールバックします。その間にワークブックが新しいフォントを増やしていた場合は、run はそちらへ黙って結び付きます。開いて注釈を付けてまた保存する、コメントとハイパーリンクのレビューワークフローを組む記事のようなノートは、この問題が最初に現れる場所です

2回の保存にわたるフォントテーブル。Excel が書く未参照の末尾 FONT レコードが最初に落ち、コメント専用フォントが最後尾となり、TXO 書式 run がフォント参照として数えられないまま書き戻されることで、2回目の保存で捨てられる
1回目の保存は末尾フォントが損失を引き受けるため綺麗に見え、コメントフォントが消えるのは2回目です。フォントのチェックは1回の保存を超えてまたがる必要があります

HotXLS はコメントとテキストボックスの run を、共有文字列の run と同じ方法で扱います。フォントテーブルを圧縮する前に、全ワークシートのすべての run が skip-4 の FontIndex からテーブルスロットへ変換され、参照として数えられます。これにより run 専用のフォントも生き残ります。出力時、run は XF レコードの番号を付け直すのと同じスロット対保存インデックスのテーブルを通ります。末尾の TxOLastRun エントリはフォントを運ばないため、読んだまま書き出されます。この番号付け直しのせいで、保存の前後で FontIndex 値を比較しても何も分かりません。比較すべきは、解決先のフォント名です

コピー、行挿入、ワークブックをまたぐrun

クラシックエンジンでは、Range.Copy、CopyRange、Sheets.AddCopy、そして Range.Insert と Range.Delete の背後のセルシフトが、すべて1つのセルコピーパスを通ります。シフトとはコピーの後にクリアが続いただけのものです。コメントのテキストと作成者だけを運ぶコピーは、ユーザーがコメントに触れていなくても、1回の行挿入で2 run のノートを1フォントのノートへ変えてしまいます

HotXLS は各 run の開始オフセットとフォントを、テキストとともにコピーします。1つのワークブック内では FontIndex はそのまま再利用されます。ワークブックをまたぐと、フォントは値で移動します。skip-4 の番号をスロットへ変換し、属性で移動先のフォントテーブルにマッチするか追加し、できたスロットをファイルの番号付けへ戻します。共有文字列のリッチテキストも、Sheets.AddCopy がシートを別のワークブックへコピーするとき、同じ変換を通ります。したがって2種類の run が食い違うことはありません。フォントテーブル側は、ワークブック横断コピーと数式の再結合で扱った数式側と同じ値渡しの方式に従います

この仕組みのテストを書くとき、知っておく価値のあるエッジケースが2つあります:

  • その場ペースト、つまりコピー元とコピー先が同じコメントに解決される場合は、run が保持されます。読まれる前にクリアされることはありません
  • Sheets.AddCopy は、保存済みセルレコードのないセルに固定されたコメントもコピーします。保存済みセルだけのループでは見逃されるものです

XLSX エンジンでは、コピーはコメントの run を値で複製し、コメント部分は rFont、strike、u、vertAlign を付けて読み書きされます。したがって run のフォント名、取り消し線、下線、上付きか下付きかの設定は、保存して開き直してもそのまま返ってきます

番号付け直しに耐えるリグレッションテスト

この記事の罠は、どれもメモリ上のテストを通過します。ゼロ始まりの誤読は一致したライタとリーダのペアの中に住み、コメントフォントの損失には2回の保存が要り、XLSX で失われたコメント run は開き直しの後にしか現れません。したがってテストはディスクから開き直し、少なくとも2世代の保存を実行し、生のフォント番号ではなく run の構造を検査しなければなりません。Excel 自身が保存したワークブックから始め、C2 に2 run のコメントを付け、その2つ目の run がファイルの他の何からも参照されないフォントを使うようにします。2回目の保存が落とすのはまさにそのフォントだからです

procedure CheckNoteAcrossTwoSaves(const SrcFile, Out1, Out2: string);
var
  Book: IXLSWorkbook;
  Note: TXLSComment;
  RunCount: Integer;
  SecondRunAt: Word;
begin
  // Assert の呼び出しは自前のテストチェック
  Book := TXLSWorkbook.Create;
  Assert(Book.Open(SrcFile) = 1);          // Excel製、C2にはrunが2つ
  Note := Book.Sheets[1].Range['C2', 'C2'].Comment;
  Assert(Note <> nil);
  RunCount := Note.TextRuns.Count;
  SecondRunAt := Note.TextRuns.CharIndex[2];

  Book.Sheets[1].Range['C2', 'C2'].Copy(Book.Sheets[1].Range['E5', 'E5']);
  Book.Sheets[1].Range['C1', 'C1'].Insert(xlShiftDown);   // C2はC3へ移動
  Assert(Book.SaveAs(Out1) = 1);

  Book := TXLSWorkbook.Create;               // 第2世代
  Assert(Book.Open(Out1) = 1);
  Assert(Book.SaveAs(Out2) = 1);

  Book := TXLSWorkbook.Create;               // 開き直し。メモリは信用しない
  Assert(Book.Open(Out2) = 1);
  Note := Book.Sheets[1].Range['C3', 'C3'].Comment;
  Assert((Note <> nil) and (Note.TextRuns.Count = RunCount));
  Assert(Note.TextRuns.CharIndex[2] = SecondRunAt);
  Assert(Note.TextRuns.FontIndex[2] <> 4);
  Note := Book.Sheets[1].Range['E5', 'E5'].Comment;
  Assert((Note <> nil) and (Note.TextRuns.Count = RunCount));
end;

run 数と開始オフセットは、潰れたノートを捉えます。フォントそのものには、テストの外でもう1ステップ要ります。Out2 をレコードビューアで開き、各 run の ifnt を FontIndexToRecordNo に通し、着地した FONT レコードがソースファイルと同じフォント名を持つことを確認してください。Excel では、失われたフォントは C3 ノートの2つ目の run がデフォルトの書体になる形で現れます

クラシック XLS は今も多くの Delphi と C++Builder プロジェクトに現れます。BIFF8 ファイルのすべてのフォント消費者は、出力が Excel で正しく開けるように、§2.5.129 について一致していなければなりません。HotXLS、Delphiスプレッドシートコンポーネントは、セル書式、共有文字列、コメント、テキストボックス、チャートにわたって skip-4 の番号付けを適用し、保存のたびに run の番号を付け直し、ワークブック間で値渡しで移し、Excel も OLE オートメーションもなしに XLS と XLSX の両方を読み書きします