技術文章

HotPDF:以工作處理程序隔離 PDF 影像編解碼器

把影像擷取包在 try..except 裡的 Delphi 服務,日誌看起來可以完全健康:EAccessViolation 被接住、上傳標成壞檔、下一個工作照常開跑。幾分鐘後,某個不相干的請求卻在釋放字串清單時死於 EInvalidPointer。兩件事其實相連:JPEG 2000 或 JBIG2 解碼器出事前寫爆了緩衝區末端,堆積(heap)已經受損,接住例外只讓控制流恢復,損害原封不動留在原地。不被信任的記憶體只有一條路:整塊丟棄;而 Windows 允許你丟得乾淨的記憶體單位,就是處理程序

為什麼在解碼器外套一層 try..except 還不夠

影像編解碼器是 PDF 讀取器裡用最少檢查的資料跑最複雜狀態機的地方。位元組抵達 JPEG 2000 或 JBIG2 解碼器時,交叉參考表已解析、影像物件已定址、濾鏡鏈已拆開,剩下的是一條自己宣稱有幾個 tile、幾個 component、每個取樣幾位元的原始碼流。這裡的錯數字不是剖析器能拒絕的語法錯誤,它會變成緊密解碼迴圈裡的一次配置大小、一個迴圈邊界或一個陣列索引

位元組預算蓋住其中一部分,而攝入路徑本來就該有預算。HotPDF 用 DecodeBudgetBytes 與 DocumentDecodeBudgetBytes 限制展開結果,用 DecodeFilterLimit 與 DecodePipelineDepthLimit 限制濾鏡鏈;這些上限背後的思路見巢狀濾鏡與 PDF 炸彈的有界解碼。預算只回答一個問題:允許多少輸出。至於解碼器寫歪了幾個位元組之後才出事的情況,它無話可說

能被接住的那種故障,某個程度上反而是更糟的結局。沒人接的當機至少停掉了行程;被接住的當機讓行程頂著損毀的堆積繼續服務請求,而最後爆掉的那次,堆疊蹤跡指去的地方跟肇事的 PDF 八竿子打不著

把 DCTDecode、JPXDecode 與 JBIG2Decode 搬進工作處理程序

HotPDF 可以把三個高風險影像濾鏡 DCTDecode、JPXDecode、JBIG2Decode 放進短命的背景工作處理程序 HotPDFCodecWorker.exe 裡跑,而不是在你的應用程式裡跑。HPDFCodecIsolation 單元把它們命名為 hckDCT、hckJPX 與 hckJBIG2。Flate、LZW、RunLength、ASCII85 與 CCITT 留在行程內:那些解碼器狀態簡單,解碼預算就是給它們的適當工具

每個請求都拿到全新的處理程序。主機建立一個隨機命名的共享記憶體映射,寫入固定大小的 THPDFCodecSharedHeader、後接壓縮碼流,JBIG2 再加全域段,然後以暫停狀態啟動工作者、把它放進 Windows Job Object,最後才放行。Job 只允許一個作用中的處理程序,被攻陷的解碼器生不出子程序;建立時又帶 kill-on-close,工作者活不過 job 控制代碼。解碼出的像素以 24 位元 BGR 從同一個映射傳回,附帶一個狀態字組

HotPDF 編解碼器隔離架構圖:Delphi VCL 主程式與用後即棄的工作者處理程序交換共享記憶體映射,處理 DCTDecode、JPXDecode 與 JBIG2Decode 影像
主機把壓縮碼流寫進有界共享記憶體映射,拋棄式工作行程在 job object 上限下解碼,只有像素與一個狀態字傳回來

開啟它只要在 THotPDF 上設四個屬性。影像呼叫還是你已經在用的那些:

uses
  Vcl.Graphics, HPDFDoc, HPDFCodecIsolation;

procedure ExtractUntrustedImages(const FileName: string);
var
  Pdf: THotPDF;
  Info: THPDFCodecWorkerInfo;
  Bmp: TBitmap;
  I: Integer;
begin
  Pdf := THotPDF.Create(nil);
  try
    Pdf.CodecIsolationMode := cimRequired;            // 這些一律不在行程內解碼
    Pdf.CodecWorkerExecutable := '';                  // '' 代表與主程式 EXE 同目錄
    Pdf.CodecWorkerTimeoutMilliseconds := 5000;       // 1..600000,否則丟 ERangeError
    Pdf.CodecWorkerMemoryLimitBytes := 256 * 1024 * 1024; // 0,或 >= 64 MiB
    Pdf.DecodeBudgetBytes := 128 * 1024 * 1024;

    if Pdf.LoadFromFile(FileName) > 0 then            // 回傳頁數
      for I := 0 to Pdf.GetLoadedImageCount - 1 do
      begin
        Bmp := Pdf.ExtractLoadedImage(I);
        try
          // 立刻讀取判定結果:它只描述最近一次請求
          if Pdf.GetLastCodecWorkerInfo(Info) then
            LogCodecOutcome(FileName, I, Info);
          if Bmp <> nil then
            StoreImage(FileName, I, Bmp);             // 你自己的程式
        finally
          Bmp.Free;
        end;
      end;
  finally
    Pdf.Free;
  end;
end;

隔離解碼失敗時,ExtractLoadedImage 回傳 nil,所以這裡的 Bmp <> nil 檢查真的有用。GetLastCodecWorkerInfo 在沒有工作者請求紀錄時回傳 False——Flate 壓縮的影像或 cimDisabled 模式就是這種情況

兩個部署細節惹出大部分麻煩。空的 CodecWorkerExecutable 會解析到 ParamStr(0) 所在目錄裡的 HotPDFCodecWorker.exe。非空值會過 ExpandFileName,相對路徑因此相對於目前目錄解析;Windows 服務的目前目錄多半是 System32,於是 'bin\HotPDFCodecWorker.exe' 在 IDE 裡能跑、裝機後就失效。另一個細節是位元數:worker 建置腳本產出分開的 Win32 與 Win64 二進位,出貨的那份必須符合主機處理程序的架構

Automatic 或 Required:worker 不見了會怎樣?

THPDFCodecIsolationMode 的三個值回答同一個問題:worker 根本用不上時該怎麼辦。cimDisabled 從不嘗試,全部在行程內解碼。預設值 cimAutomatic 在 HotPDFCodecWorker.exe 存在時使用 worker,檔案不在時退回行程內解碼並記下 cwsUnavailable。cimRequired 拒絕退回;worker 缺席就表示影像不解碼

這條退路比看上去窄,而窄是刻意的。只有執行檔缺席才退回。檔案在、CreateProcess 卻失敗——典型原因是端點安全產品擋下它——結果是 cwsLaunchFailed,影像不解碼,cimAutomatic 下也一樣。啟動後當掉、逾時或超限的 worker,兩種模式都不會改用行程內重試。把剛剛殺掉 worker 的檔案放進你自己的行程再試一次,等於把第二次機會親手交給攻擊者,打的正是 worker 存在所要保護的那個目標

HotPDF 中 CodecIsolationMode 三種值的比較圖:cimDisabled、cimAutomatic 與 cimRequired 在 codec worker 執行檔缺席時的行為
只有 cimAutomatic 會退回行程內解碼並回報 cwsUnavailable,cimRequired 拒絕退回;當機與逾時在兩種模式下都是失敗

凡是會讀上傳檔、郵件附檔或合作方投遞的系統,請設 cimRequired。預設模式有個部署之後才現形的陷阱:安裝程式忘了帶 worker,伺服器照樣正確抽出每一張影像、通過每一項功能測試,代價是每個請求都在主機行程裡跑編解碼器。一切看起來沒事。cimAutomatic 對開使用者自有檔案的桌面檢視器是合理的,那裡 worker 缺席應該讓功能降級而不是讓產品停擺。cimRequired 還會關掉 ProgressiveJPEGScanDecoding——逐 scan 的漸進式 JPEG 路徑,因為那條路徑是在主機裡解碼

一道啟動檢查能把被遺忘的 worker 變成立刻、吵鬧的失敗。HPDFResolveCodecWorkerExecutable 在 HPDFCodecIsolation 裡是公開的,套用與元件相同的解析規則:

// 你自己加的啟動檢查:少了 worker 就拒絕啟動
procedure RequireCodecWorker(Pdf: THotPDF);
var
  WorkerPath: string;
begin
  WorkerPath := HPDFResolveCodecWorkerExecutable(Pdf.CodecWorkerExecutable);
  if not FileExists(WorkerPath) then
    raise Exception.CreateFmt(
      'Codec worker missing at %s; refusing to accept PDF uploads',
      [WorkerPath]);
end;

解讀 THPDFCodecWorkerStatus

THPDFCodecWorkerInfo 帶著 Status、ProcessId、ExitCode、ElapsedMilliseconds 與主機端的 ErrorMessage。狀態值有 cwsNotRun、cwsSucceeded、cwsUnavailable、cwsLaunchFailed、cwsTimedOut、cwsCrashed、cwsDecodeFailed、cwsProtocolError 與 cwsOutputLimit,按運維視角分成三組

  • 部署面:cwsUnavailable 與 cwsLaunchFailed。worker 缺席、被擋,或在 job 裡起不來。通知管這台伺服器的人;文件本身可能毫髮無傷
  • 文件面:cwsDecodeFailed 與 cwsOutputLimit。碼流畸形,或大過你的政策允許的範圍。退件是正確答案
  • 圍堵面:cwsTimedOut、cwsCrashed 與 cwsProtocolError。卡死、worker 陣亡,或回應標頭對不上協定版本、宣稱的幾何尺寸對不起來。這些正是處理程序邊界存在的理由,該檔案值得隔離檢疫,而不是普通退件

讀數字時,cwsDecodeFailed 與 cwsCrashed 的分界值得弄清楚。Delphi 把大多數存取違規轉成例外,worker 會在解碼器外圍接住例外、回報成解碼失敗。cwsCrashed 表示 worker 處理程序以非零結束碼收場,那通常是故障重到任何例外處理器都來不及跑。ExitCode 是 Cardinal,請用 %u 或十六進位格式化;$C0000005 拿 %d 印會變成負數,之後拿這個數字去搜尋日誌的人永遠搜不對

procedure LogCodecOutcome(const FileName: string; ImageIndex: Integer;
  const Info: THPDFCodecWorkerInfo);
begin
  case Info.Status of
    cwsSucceeded:
      ;
    cwsUnavailable, cwsLaunchFailed:
      AlertOps('Codec worker not usable: ' + Info.ErrorMessage);   // 你自己的程式
    cwsTimedOut, cwsCrashed, cwsProtocolError:
      Quarantine(FileName, Format('image %d: pid %u exit $%.8x after %u ms: %s',
        [ImageIndex, Info.ProcessId, Info.ExitCode,
         Info.ElapsedMilliseconds, Info.ErrorMessage]));          // 你自己的程式
  else
    RejectDocument(FileName, Info.ErrorMessage);                  // 你自己的程式
  end;
end;

worker 也替自己關掉 Windows 故障對話框,無人伺服器上的當機因此出現在這份日誌裡,而不是停在一個等著誰去按 OK 的強制回應框上——那台機器根本沒人在看

每一次隔離解碼的三道天花板

每次隔離解碼都活在時間上限、記憶體上限與輸出上限之下,狀態值會告訴你是哪一道收的場。CodecWorkerTimeoutMilliseconds 預設 10,000,接受 1 到 600,000;範圍外的值在指派時就丟 ERangeError,不會被鉗制。逾時時主機終結整個 job 並回報 cwsTimedOut。CodecWorkerMemoryLimitBytes 預設 536,870,912 位元組,必須是零(代表不設限)或至少 67,108,864 位元組;它會變成 Job Object 上的每處理程序認可記憶體限制

輸出上限是推導出來的。HotPDF 依要求的目標尺寸、要求的區域,或 PDF 裡宣告的影像幾何,按每像素 3 位元組算出解碼影像應需要的位元組數,設了預算時再把這個數字封頂到 DecodeBudgetBytes。共享映射就按這個數字配置,worker 沒有多餘的空間可寫。假設一份掃描宣稱 10,000 × 10,000 像素:那是 300,000,000 位元組的 BGR 輸出,超過預設 268,435,456 位元組的 DecodeBudgetBytes,上限於是變成 256 MiB,解碼以 cwsOutputLimit 收場

主機也不信任 worker 回報的尺寸。回應的寬 × 高 × 3 必須等於它宣稱的位元組數,且這個數字得同時塞進主機自己的輸出上限與映射,回應才被接受。被策反的 worker 可以在標頭裡寫任何值;對不上就以 cwsProtocolError 回報,一個像素都不會複製

HotPDF 隔離解碼的三道上限:工作者逾時、Job Object 記憶體限制,以及受 DecodeBudgetBytes 鉗制的衍生輸出限制
嚴格的逾時與記憶體驗證加上推導出的像素輸出上限,讓過大或卡死的解碼在工作執行緒內以狀態碼收場,而不是在你的行程裡

記憶體上限請留得比輸出上限寬裕。按第一個範例的設定,128 MiB 的輸出預算住在 256 MiB 的處理程序上限裡,還留得下壓縮輸入與解碼器自己的工作集。兩個值設得太近,大型但合法的掃描就會在 worker 裡不明不白地失敗,跟敵意輸入一點關係都沒有

處理程序邊界的代價

每張隔離影像起一個處理程序是要花時間的,幾百頁掃描 JPEG 的文件會有感應。在無人批次轉檔器上,這個成本沉進夜間時窗,圍堵本來就是這份工作的存在理由。互動式檢視器開的是使用者本來就信賴的檔案,情況不同;那裡選 cimAutomatic,或對已知的內部典藏選 cimDisabled,都算公道。CodecIsolationMode 是普通屬性,同一個服務可以對上傳套 cimRequired、對自己產生的文件套較輕的模式

涉事的編解碼器也會改變風險樣貌。JPXDecode 碼流帶著直接驅動配置的 tile 與 component 數量,JBIG2 影像則常依賴多頁共用的 /JBIG2Globals 碼流。沙盒若只帶單頁碼流,這些頁面會解錯或解不出來,這正是全域段要跟每張影像一起進 worker 的原因

編解碼器隔離、解碼預算與剖析器的結構限制都住在一個原生 VCL 元件裡,部署上唯一多出來的檔案就是 worker 執行檔。安裝說明、Win32 與 Win64 的 worker 建置與試用下載,都在HotPDF Delphi 與 C++Builder 元件頁