try..exceptで画像抽出を包んだDelphiサービスは、ログ上は完全に健康に見えることがあります。EAccessViolationはキャッチされ、アップロードは不良とマークされ、次のジョブが始まります。数分後、無関係なリクエストが、文字列リストの解放中にEInvalidPointerで死ぬかもしれません。2つの出来事はつながっています。フォールトする前にバッファの終端を書き越えたJPEG 2000やJBIG2のデコーダーは、すでにヒープを壊しています。例外をキャッチすると制御フローは復帰しますが、そのダメージは元の場所に残ったままです。信頼できないメモリは捨てるしかなく、Windowsがきれいに捨てさせてくれるメモリの単位がプロセスです
デコーダーを包むtry..exceptでは足りない理由
画像コーデックは、PDFリーダーの中で、最も検査されていないデータの上に最も複雑なステートマシンを走らせる部分です。バイトがJPEG 2000やJBIG2のデコーダーに届く頃には、クロスリファレンステーブルはパース済みで、画像オブジェクトは解決済み、フィルターチェーンはほどかれています。残っているのは、タイル数、コンポーネント数、サンプルあたりビット数を自己申告する生のコードストリームです。そこで間違った数字が出ても、パーサーが拒否できる構文エラーにはなりません。それがタイトなデコードループの中のアロケーションサイズ、ループ境界、配列インデックスになります
バイト予算はこの一部をカバーしますし、取り込み経路にはどのみち設定すべきものです。HotPDFは展開をDecodeBudgetBytesとDocumentDecodeBudgetBytesで、フィルターチェーンをDecodeFilterLimitとDecodePipelineDepthLimitで境界付けます。これらの上限の根拠はネストしたフィルターとPDF爆弾のための有界デコードにあります。予算が答える質問は1つです。どれだけの出力を許すか。間違った場所に少数のバイトを書き込んでからフォールトするデコーダーについては、何も語りません
実際にキャッチされるフォールトは、ある意味でより悪い結果です。未処理のクラッシュは少なくともプロセスを止めます。キャッチされた方は、壊れたヒープの上でリクエストを処理し続け、ついに顔を出す失敗は、原因のPDFからほど遠い場所を指すスタックトレースを携えてきます
DCTDecode、JPXDecode、JBIG2Decodeをワーカープロセスへ移す
HotPDFは、3つの高リスク画像フィルターDCTDecode、JPXDecode、JBIG2Decodeを、アプリケーション内部ではなく短命のワーカープロセスHotPDFCodecWorker.exeで実行できます。HPDFCodecIsolationユニットはこれらをhckDCT、hckJPX、hckJBIG2と名付けます。Flate、LZW、RunLength、ASCII85、CCITTはプロセス内に留まります。これらのデコーダーは単純な状態を持ち、デコード予算が適切な道具です
各リクエストは新しいプロセスを受け取ります。ホストは1つのランダム名の共有メモリマッピングを作成し、固定のTHPDFCodecSharedHeader、圧縮済みコードストリーム、JBIG2ならグローバルセグメントを書き込み、それからワーカーをサスペンド状態で起動し、Windowsジョブオブジェクトに入れ、その後で初めて実行させます。ジョブはアクティブプロセスをちょうど1つに限定するため、乗っ取られたデコーダーは子プロセスを生めません。kill-on-close付きで作られるため、ワーカーがジョブハンドルより長生きすることもありません。デコードされたピクセルは、ステータスワードとともに24ビットBGRで同じマッピングに返ってきます
有効化に必要なのはTHotPDFの4つのプロパティです。画像呼び出しは、すでに使っているものがそのまま使えます:
uses
Vcl.Graphics, HPDFDoc, HPDFCodecIsolation;
procedure ExtractUntrustedImages(const FileName: string);
var
Pdf: THotPDF;
Info: THPDFCodecWorkerInfo;
Bmp: TBitmap;
I: Integer;
begin
Pdf := THotPDF.Create(nil);
try
Pdf.CodecIsolationMode := cimRequired; // これらをプロセス内でデコードしない
Pdf.CodecWorkerExecutable := ''; // '' = ホストEXEの隣
Pdf.CodecWorkerTimeoutMilliseconds := 5000; // 1..600000、範囲外ならERangeError
Pdf.CodecWorkerMemoryLimitBytes := 256 * 1024 * 1024; // 0 または >= 64 MiB
Pdf.DecodeBudgetBytes := 128 * 1024 * 1024;
if Pdf.LoadFromFile(FileName) > 0 then // ページ数を返す
for I := 0 to Pdf.GetLoadedImageCount - 1 do
begin
Bmp := Pdf.ExtractLoadedImage(I);
try
// 判定はすぐに読む。直近のリクエストだけを記述する
if Pdf.GetLastCodecWorkerInfo(Info) then
LogCodecOutcome(FileName, I, Info);
if Bmp <> nil then
StoreImage(FileName, I, Bmp); // 自分のコード
finally
Bmp.Free;
end;
end;
finally
Pdf.Free;
end;
end;
隔離デコードが失敗するとExtractLoadedImageはnilを返すため、Bmp <> nilのチェックはここでは実質的な意味を持ちます。GetLastCodecWorkerInfoは、ワーカーリクエストが記録されていないときにFalseを返します。Flate圧縮画像やcimDisabledの場合に見えるのはこれです
ほとんどのトラブルを生むのは2つのデプロイの細部です。空のCodecWorkerExecutableはParamStr(0)のディレクトリにあるHotPDFCodecWorker.exeに解決されます。空でない値はExpandFileNameを通るため、相対パスはカレントディレクトリ基準で解決されます。WindowsサービスではそのディレクトリはたいていSystem32なので、'bin\HotPDFCodecWorker.exe'はIDEからは動き、インストール後には失敗します。もう1つはビット数です。ワーカーのビルドスクリプトはWin32とWin64の別バイナリーを作り、出荷するものはホストプロセスのアーキテクチャと一致しなければなりません
自動か必須か、ワーカーがいないときに何が起きるか
THPDFCodecIsolationModeの3つの値は、1つの質問に答えます。ワーカーがまったく使えないときに何をするかです。cimDisabledは試すことすらなく、すべてをプロセス内でデコードします。既定のcimAutomaticはHotPDFCodecWorker.exeが存在するときワーカーを使い、ファイルがなければcwsUnavailableを記録してプロセス内デコードへフォールバックします。cimRequiredはフォールバックを拒否します。ワーカーがないことは画像がデコードされないことを意味します
フォールバックは見た目より狭く、その狭さは意図的です。フォールバックするのは実行ファイルが見つからない場合だけです。ファイルは存在するがCreateProcessが失敗する場合、たいていエンドポイントセキュリティ製品がブロックしている場合、結果はcwsLaunchFailedとなり、画像はデコードされません。cimAutomaticでもです。起動した後にクラッシュ、タイムアウト、制限超過したワーカーは、どちらのモードでもプロセス内で再試行されません。自分のプロセスの中で、ワーカーを殺したばかりのファイルを再試行することは、ワーカーが守っていたまさにその標的へ、攻撃者に2回目の試行を渡すことになります
アップロード、メール添付、取引先のドロップを読むものには、cimRequiredを設定してください。既定モードには、デプロイ後にしか現れない罠があります。ワーカーを忘れたインストーラーは、すべての画像を正しく抽出し、すべての機能テストに合格し、すべてのリクエストでホスト内でコーデックを走らせるサーバーを作ります。壊れて見えるものは何もありません。デスクトップビューアーでユーザーがすでに持っているファイルを開くなら、cimAutomaticは合理的です。ワーカーがないときに製品を止めるより劣化させるべきです。cimRequiredはProgressiveJPEGScanDecoding、つまりスキャンごとのプログレッシブJPEG経路も切り替えます。その経路はホスト内でデコードするからです
起動時チェックは、忘れられたワーカーを即座に大きな失敗に変えます。HPDFResolveCodecWorkerExecutableはHPDFCodecIsolationで公開されており、コンポーネントと同じ解決ルールを適用します:
// 自分で足す起動時チェック。ワーカーなしで開始を拒否する
procedure RequireCodecWorker(Pdf: THotPDF);
var
WorkerPath: string;
begin
WorkerPath := HPDFResolveCodecWorkerExecutable(Pdf.CodecWorkerExecutable);
if not FileExists(WorkerPath) then
raise Exception.CreateFmt(
'Codec worker missing at %s; refusing to accept PDF uploads',
[WorkerPath]);
end;
THPDFCodecWorkerStatusを読む
THPDFCodecWorkerInfoはStatus、ProcessId、ExitCode、ElapsedMilliseconds、ホスト側のErrorMessageを持ちます。ステータス値はcwsNotRun、cwsSucceeded、cwsUnavailable、cwsLaunchFailed、cwsTimedOut、cwsCrashed、cwsDecodeFailed、cwsProtocolError、cwsOutputLimitで、3つの運用グループに分かれます
- デプロイ:
cwsUnavailableとcwsLaunchFailed。ワーカーがない、ブロックされている、ジョブ内で起動できなかった。サーバーの担当者に呼べ。ドキュメント自体は無事かもしれません - ドキュメント:
cwsDecodeFailedとcwsOutputLimit。コードストリームが不正か、ポリシーが許すより大きいか。ファイルを拒否するのが正しい答えです - 封じ込め:
cwsTimedOut、cwsCrashed、cwsProtocolError。ハング、死んだワーカー、ヘッダーがプロトコルバージョンと一致しない、または主張するジオメトリが釣り合わない返信。プロセス境界が存在する理由はこのイベントのためであり、ファイルには単なる拒否ではなく検疫がふさわしいです
cwsDecodeFailedとcwsCrashedの境目は、数字を読むときに知っておく価値があります。Delphiはほとんどのアクセス違反を例外に変え、ワーカーはデコーダー周辺の例外をキャッチしてデコード失敗として報告します。cwsCrashedは、ワーカープロセスが非ゼロの終了コードで終わったことを意味し、フォールトが激しすぎてどの例外ハンドラーも走れなかったときに起こります。ExitCodeはCardinalなので、%uか16進で整形してください。$C0000005を%dで印字すると、誰も正しく検索できない負の数になります
procedure LogCodecOutcome(const FileName: string; ImageIndex: Integer;
const Info: THPDFCodecWorkerInfo);
begin
case Info.Status of
cwsSucceeded:
;
cwsUnavailable, cwsLaunchFailed:
AlertOps('Codec worker not usable: ' + Info.ErrorMessage); // 自分のコード
cwsTimedOut, cwsCrashed, cwsProtocolError:
Quarantine(FileName, Format('image %d: pid %u exit $%.8x after %u ms: %s',
[ImageIndex, Info.ProcessId, Info.ExitCode,
Info.ElapsedMilliseconds, Info.ErrorMessage])); // 自分のコード
else
RejectDocument(FileName, Info.ErrorMessage); // 自分のコード
end;
end;
ワーカーは自分自身に対するWindowsのフォールトダイアログも抑制しています。したがって、誰も見ていないマシンでOKクリックを待つモーダルボックスになる代わりに、無人のサーバーでのクラッシュはこのログに現れます
隔離デコードごとの3つの上限
隔離デコードはすべて、時間上限、メモリ上限、出力上限のもとで走り、ステータスがどれで終わったかを伝えます。CodecWorkerTimeoutMillisecondsの既定値は10,000で、1から600,000を受け付けます。範囲外はクランプではなく代入時にERangeErrorを発生させます。タイムアウトではホストはジョブ全体を終了させcwsTimedOutを報告します。CodecWorkerMemoryLimitBytesの既定値は536,870,912バイトで、ゼロ(上限なしの意味)か67,108,864バイト以上でなければなりません。これはジョブオブジェクト上のプロセスごとのコミットメモリ制限になります
出力上限は導出されます。HotPDFは、デコードされた画像が必要とするはずのバイト数を、要求されたターゲットサイズ、要求された領域、あるいはPDFが宣言する画像ジオメトリから、1ピクセル3バイトで計算し、予算が設定されていればその値をDecodeBudgetBytesで頭打ちにします。共有マッピングはその値からサイズが決まるため、ワーカーにはそれを超えて書く場所がありません。10,000 × 10,000ピクセルと宣言するスキャンを考えてください。BGR出力は300,000,000バイトで、既定の268,435,456バイトのDecodeBudgetBytesを超えるため、上限は256 MiBになり、デコードはcwsOutputLimitで終わります
ホストはワーカーが報告してくるサイズも信用しません。返信が受け入れられるのは、幅×高さ×3が申告バイト数と等しく、その数がホスト自身の出力上限とマッピングの両方に収まるときだけです。腹抜かれたワーカーはヘッダーにどんな値でも書けます。不一致はcwsProtocolErrorとして報告され、ピクセルは1つもコピーされません
メモリ上限は出力上限よりゆったり大きく保ってください。最初の例の設定では、256 MiBのプロセス上限の中の128 MiB出力予算が、圧縮入力とデコーダー自身のワーキングセットの余地を残します。2つを近付けて設定すると、大きな正当なスキャンが、敵性入力とは無関係の理由でワーカーの中で失敗し始めます
プロセス境界のコスト
隔離画像ごとにプロセスを起動するのは時間がかかり、スキャンJPEGが数百ページのドキュメントでは体感できます。無人の夜間バッチ変換では、そのコストは夜の窓の中に消え、封じ込めこそがそのジョブの存在理由です。ユーザーがすでに信頼するファイルを見せる対話ビューアーは別のケースで、そこではcimAutomatic、既知の内部アーカイブならcimDisabledが正当な選択です。CodecIsolationModeは普通のプロパティなので、1つのサービスがアップロードにはcimRequiredを、自分で生成したドキュメントには軽いモードを適用できます
問題のコーデックそのものもリスクの絵を変えます。JPXDecodeストリームはアロケーションを直接駆動するタイル数とコンポーネント数を運び、JBIG2画像は複数ページで共有される/JBIG2Globalsストリームに依存することがよくあります。画像ごとのストリームだけを運ぶサンドボックスは、それらのページを誤ってデコードするか、まったくデコードできません。だからこそグローバルセグメントは、各画像と一緒にワーカーへ渡ります
コーデック隔離、デコード予算、パーサーの構造的制限は、1つのネイティブVCLコンポーネントに収まっており、追加でデプロイするファイルはワーカー実行ファイルだけです。セットアップノート、Win32とWin64のワーカービルド、トライアルダウンロードはDelphiとC++Builder向けHotPDFコンポーネントページにあります