技術記事

Delphi対FPC:PDFiumビルドにおけるPDFコードの4つの隠れた罠

同じObject Pascalソースコードであっても、DelphiとFPC/Lazarusの間で動作が異なる4つのケースがあり、これがPDFium Componentのコードで繰り返し問題となります。すなわち、FPCではinメンバーシップテストの読み取りが完了する前に関数の戻り値である一時レコードが破棄される問題、dcc32では範囲チェックがデフォルトで無効であるため配列のインデックス範囲外アクセスがサイレントにゴミデータを読み取る問題、Delphi 13のみキャストなしで匿名array of ByteをTBytesに代入できる問題、およびDelphiのAnsiStringの結合処理で暗黙のコードページ往復変換により$80以上のバイトデータが破損する問題です。これらはそれぞれ、一方のコンパイラではテストが正常(グリーン)に通過するものの、他方のコンパイラでは失敗(レッド)したり、最悪の場合はサイレントに誤った挙動を引き起こしたりします

デュアルコンパイラ構成のプロジェクトを初めてセットアップするなら、LazarusおよびFPCビューアのウォークスルーが正常系をカバーしています。パッケージ、検索パス、そして描画ウィンドウを画面に出すところまでです。本記事はチュートリアルとは真逆の内容です。正常系が動きはじめた後に起こりがちなこと、つまり一方のコンパイラでは通過した変更がもう一方で爆発するときの話を扱います。以下の罠には、それぞれ最小限の再現コード、根本原因、そして私たちが標準化したルールが付いてきます

なぜFPCでは集合データが空として読み取られ、Delphiではそうならないのか?

一言で言えば、FPCは、関数のレコード戻り値を保持する一時変数を、その結果のフィールドを読む式が終わる前にファイナライズすることがあり、その結果X in Func().Issuesは、すでに解放された集合に対してメンバーシップを判定し得ます。同じ式はDelphiでは動きます。テストのアサーションは典型的な踏み場所です。PDF/EバリデータはIssuesフィールド(違反フラグの集合)を持つレコードを返し、その呼び出しをアサーションにインライン化するのは自然な書き方です

Delphi が PDFium 関数結果レコードを文の終わりまで一時的に生存させ、FPC は in 演算子が Issues セットを読む前に解放するため、アサーションは Delphi 下でのみ合格することを示す図
Delphi は関数結果レコードの一時オブジェクトを文の終わりまで生かしますが、FPC は in 演算子が Issues 集合を読む前に解放し得ます
// FPC では信頼できない:関数結果レコードの一時変数が
// 'in' テストが Issues を読み取る前に解放されてしまう
AssertTrue(pveiLzwUsed in ValidateAnsi(Pdf).Issues);

// 両コンパイラで信頼できる:まず結果をローカル変数に固定する
var
  Vr: TPdfEValidationResult;
begin
  Vr := ValidateAnsi(Pdf);
  AssertTrue(pveiLzwUsed in Vr.Issues);
end;

インライン化した形式では、FPCのもとで集合が空として読まれ、フラグを期待するすべてのアサーションが失敗しました。同じDelphiビルドは通過します。根本原因は、大きな式の中での関数結果一時オブジェクトの生存期間を2つのコンパイラがどう管理するかの違いにあります。Delphiはステートメントの終わりまで一時オブジェクトを生かしますが、FPCではレコード一時オブジェクトの破棄が、まだ読み取り中の集合メンバーシップ演算子と競合し得ます。壊れた形式は自然に見えるので、挙動を一度ドキュメント化した後でも再び忍び込んできます。修正は機械的で、全面的なルールとして採用する価値があります。レコードを返す関数呼び出しに、フィールドアクセスや集合テストを直接チェーンしないこと。結果をまずローカル変数へ代入し、それからフィールドを読みます。1行のコストで、コンパイラ依存の不安定動作というクラス全体を取り除けます

なぜDelphiはFPCでコンパイルエラーになる配列インデックスを許容するのか?

一言で言えば、dcc32は固定境界配列への範囲外インデックスをコンパイルし、デフォルトで範囲チェックが無効なため、実行時にエラーを出さず隣接メモリを読み書きします。FPCは同じインデックスをコンパイル時に拒否します。PDFium Componentはクワッドポイントを1始まりの配列TQuadrilateralPoint = array [1..4] of TPdfPointとして宣言しています。これはPDFのQuadPointsエントリが通常そのように番号付けされることに合わせたものです。再帰的な0始まりインデックスで埋めるデモループは、Delphiのもとでは動いているように見えます

1 基準の PDF quad-points 配列の PDFium Component 図。dcc32 下のインデックス 0 は隣接レコードフィールドに無音で触れる一方、FPC は同じループをコンパイル時範囲チェックエラーで停止
dcc32 の範囲チェックがオフだと、インデックス 0 は黙って隣のレコードフィールドに着地します。FPC は同じループをコンパイル時に拒否します
var
  I: Integer;
begin
  for I := 0 to 3 do                       // 誤り:配列は [1..4] である
    Data.AttachmentPoints[I] := Corner[I]; // dcc32 の既定:コンパイルは通るが、インデックス 0 が
                                           // 隣接メモリに静かに触れてしまう
                                           // FPC:コンパイル時の範囲チェックエラー
  for I := Low(TQuadrilateralPoint) to High(TQuadrilateralPoint) do
    Data.AttachmentPoints[I] := Corner[I - 1];  // 両コンパイラで正しい
end;

Delphiのビルドは偽陽性です。範囲チェックがオフ(dcc32のデフォルト)の状態では、インデックス0はレコード内で配列の前にあるどんなフィールドにも着地し、デモは動いているように見えます。同じコードはLazarusのもとでは、FPCから即座にコンパイル時範囲チェックエラーを出します。クワッドポイントの注釈側についてはクワッドポイント注釈の記事で扱っています。ここから2つの教訓が出ます。第1に、配列型が構成上0始まりでないかぎり、リテラル境界よりもLow()とHigh()を好むこと。第2に、FPCでのコンパイル、あるいは少なくとも{$R+}を有効にしたDelphiビルドを、新しいデモやテストの初回実行ゲートとして必須にすることです。dcc32のデフォルトはこの種のバグを教えてくれませんし、動くプログラムは正しさの証拠ではありません

Delphi 13のみが許容するTBytesへの代入

一言で言えば、匿名でarray of Byteと宣言されたフィールドをTBytes変数に代入するコードは、Delphi 13(コンパイラバージョン37.0)ではビルドが通りますが、Delphi 12 Athens以前のすべてのバージョンではE2010 Incompatible types: 'TArray<Byte>' and 'Dynamic array'というコンパイルエラーになります。これはDelphiとFPCの違いではなく、Delphiの新旧バージョン間の差異ですが、同じマルチコンパイラコードベースに対して同様の悪影響を及ぼします。すなわち、最新のコンパイラが他ですべてエラーになる記述を何事もなかったかのように許容してしまうという現象です

type
  TValidator = class
  private
    FBuffer: array of Byte;   // 無名の動的配列型
  end;

var
  OrigBytes: TBytes;
begin
  OrigBytes := FBuffer;          // Delphi 13 のみ。Delphi 12 では E2010
                                 // Athens 以前では
  OrigBytes := TBytes(FBuffer);  // どこでもコンパイルできる。同じバイトレイアウトで、
                                 // 安全なハードキャスト
end;

この罠は、暗黙の変換が黙って受け入れられるDelphi 13で開発していると踏みやすい。同じソースをDelphi 12以前でコンパイルするユーザーは、代わりにE2010を受け取ります。構造的な修正は、上記のハードキャスト(匿名のarray of ByteとTBytesは動的配列として同一のレイアウトを共有するため安全)か、より良いのは、そもそもフィールドをTBytesのような名前付き型で宣言して、変換が発生しないようにすることです。プロセス側の修正の方が重要です。最新のツールチェーンでコンパイルできることは、ユーザーが実際に走らせる古いコンパイラについて何も証明しません。そしてこの種の問題は、サポートする全バージョンに対してビルドするまで見えません。ローカルの37.0ビルドでは、13だけの甘さは捕まらないからです

中国語版Windowsで消失するAnsiStringのバイトデータ

一言で言えば、+で$80以上の生バイトをAnsiStringへ結合すると、Delphiのもとではそのバイトが黙って?($3F)に置き換わることがあります。式がシステムコードページを経由するAnsiString→UnicodeString→AnsiStringの暗黙の往復を取るからです。これは典型的には、ISO 19005-2の6.1.8条に従ってUTF-8として妥当でない名前にバリデータがフラグを立てることを確認するPDF/Aテストで表面化します。妥当でないUTF-8のリードバイトには決してならない孤立した$FEバイトを含む名前を構築するテストです

CP936 中国語 Windows マシンで生の $FE バイトを疑問符へ置き換える AnsiString から UnicodeString への往復図。Delphi の安全なインプレースバイトパッチを隣に併記
暗黙の UnicodeString 往復は、CP936 の下で対応できない $FE バイトを $3F に置き換えるため、安全な経路はバイトをその場で修繕します
var
  BadName: AnsiString;
begin
  // マルチバイトのシステムコードページを持つ Delphi(CP936 で観察)では、
  // 連結は UnicodeString と $FE を経由して往復する。この $FE は
  // 有効な CP936 シーケンスではないため、'?'($3F) として戻ってくる
  BadName := '/Bad' + AnsiChar($FE) + 'Name';

  // 安全策:ASCII のプレースホルダで構築し、後からバイトをその場で修正する。
  // 確定した AnsiString へのインデックス代入は往復しない
  BadName := '/Bad' + #1 + 'Name';
  BadName[5] := AnsiChar($FE);
end;

コードページ936で動く中国語版Windowsシステムでは、結合された文字列は最初から$FEを含んでいません。だからバリデータは正しく何も報告せず、テストはバリデータとは無関係の理由で赤くなりました。$FEバイトを本当に含むPDFを与えられれば、期待どおりのフラグを報告するのです。破損は、文字列式が評価されているあいだにDelphiテスト実行ファイルの内部で起こりました。DelphiのUnicode優先の文字列モデルは混在するAnsiString式をUnicodeString経由で変換し、$FEはCP936で有効なリードバイトでないため、往復がそれを置き換えます。ここは境界について正直に言うと、CP1252のようなシングルバイトの欧米コードページでは同じ式は通常生き残ります。だからこそこの問題はほとんどの開発機で隠れ、東アジアのシステムやローカライズされたCIランナーでのみ表面化します。私たちが採用したルール:$80以上のバイトを含むバイナリテストベクタをAnsiString連結で構築しないこと。上記のように文字列が確定した後にバイトをその場で修正するか、最初からTBytesでベクタを構築します

デュアルコンパイラ開発においてデフォルトでチェックすべきこと

4つの罠、1つのパターン。各コンパイラは、バグの異なる部分集合について教えてくれます。FPCのコンパイル時範囲解析は、dcc32が黙って走らせる範囲外インデックスを捕まえ、dcc32のUnicode文字列モデルは、純粋にバイト指向のFPCビルドが決して引き起こさないコードページ依存を露わにします。実務上の帰結は、どちらの緑のパイプラインも単独では不十分だということです。クロスコンパイルは移植性のチェックボックスではありません。同じソースに適用される2つ目の静的解析器であり、2つ目の実行時モデルです。ABIとメモリ安全性の強化の記事の防御的境界チェックと同じ精神です

これらの事例から策定された開発ルールは、すぐに記憶できるシンプルな内容です。関数の戻り値であるレコードのフィールドを読み取る前に、一度ローカル変数に結果を代入すること。固定サイズの配列のループ処理では常にLow()およびHigh()を使用すること。開発したデモを信用する前に、必ず範囲チェックを有効にするかFPCビルドを実行すること。匿名の動的配列は明示的にキャストするか名前付きの型で宣言すること。リリースの前にサポートするすべてのコンパイラバージョンでビルドテストを実行すること。AnsiStringの結合処理で生のマルチバイトデータを直接結合しないこと。これらは習慣化してしまえば開発コストにはならず、単一のコンパイラによる開発フローでは構造上検出できない不具合を未然に防ぐことができます

これらのルールは、Delphi、C++Builder、FPC/Lazarus向けに同じObject Pascalソースを提供しているPDFium Componentのメンテナンスから来ています