Artykuł techniczny

Izolacja kodeków obrazu PDF w procesach HotPDF

Usługa w Delphi, która owija ekstrakcję obrazów w try..except, może wyglądać idealnie zdrowo w logu: EAccessViolation zostaje złapany, upload zostaje oznaczony jako zły i rusza następne zadanie. Kilka minut później niepowiązane żądanie może umrzeć z EInvalidPointer przy zwalnianiu listy napisów. Oba zdarzenia są powiązane. Dekoder JPEG 2000 albo JBIG2, który przed swoją awarią pisał za koniec bufora, już uszkodził stertę, a złapanie wyjątku przywraca przepływ sterowania, zostawiając te szkody dokładnie tam, gdzie były. Pamięci, której nie można ufać, można się tylko pozbyć, a jednostką pamięci, którą Windows pozwala wyrzucić czysto, jest proces

Dlaczego try..except wokół dekodera nie wystarcza

Kodek obrazu to ta część czytnika PDF, która puszcza najbardziej skomplikowaną maszynę stanów przez najmniej sprawdzane dane. Zanim bajty dotrą do dekodera JPEG 2000 albo JBIG2, tablica odwołań krzyżowych jest sparsowana, obiekt obrazu rozwiązany, a łańcuch filtrów rozwinięty. Zostaje surowy strumień kodowy, który zapowiada, ile ma kafli, komponentów i bitów na próbkę. Zła liczba w tym miejscu nie jest błędem składni, który parser może odrzucić. Staje się rozmiarem alokacji, ograniczeniem pętli albo indeksem tablicy wewnątrz ciasnej pętli dekodowania

Budżety bajtowe pokrywają część tego, a ścieżka przyjmowania i tak powinna je mieć. HotPDF ogranicza ekspansję przez DecodeBudgetBytes i DocumentDecodeBudgetBytes, a łańcuchy filtrów przez DecodeFilterLimit i DecodePipelineDepthLimit; rozumowanie za tymi limitami jest w ograniczonym dekodowaniu dla zagnieżdżonych filtrów i bomb PDF. Budżet odpowiada na jedno pytanie: ile wyjścia jest dozwolone. Nie mówi nic o dekoderze, który wywala się po zapisaniu garści bajtów w złe miejsce

Awaria, którą faktycznie się łapie, jest pod pewnymi względami gorszym wynikiem. Nieobsłużony crash przynajmniej zatrzymuje proces. Złapany pozwala mu dalej obsługiwać żądania na uszkodzonej stercie, a ostateczna awaria niesie ślad stosu wskazujący daleko od PDF-a, który go spowodował

Przenoszenie DCTDecode, JPXDecode i JBIG2Decode do procesu roboczego

HotPDF potrafi puścić trzy wysokoryzykowne filtry obrazów, DCTDecode, JPXDecode i JBIG2Decode, w krótkotrwałym procesie roboczym, HotPDFCodecWorker.exe, zamiast wewnątrz twojej aplikacji. Unit HPDFCodecIsolation nazywa je hckDCT, hckJPX i hckJBIG2. Flate, LZW, RunLength, ASCII85 i CCITT zostają w procesie: te dekodery mają prosty stan i budżety dekodowania są dla nich właściwym narzędziem

Każde żądanie dostaje świeży proces. Host tworzy jedno losowo nazwane odwzorowanie pamięci współdzielonej, zapisuje stały THPDFCodecSharedHeader, po nim skompresowany strumień kodowy, a dla JBIG2 też globalne segmenty, po czym startuje workera zawieszonego, wsadza go do Job Objectu Windows i dopiero wtedy pozwala mu biec. Zadanie pozwala dokładnie na jeden aktywny proces, więc skompromitowany dekoder nie może wyplodić dziecka, i jest tworzone z kill-on-close, więc worker nie może przeżyć uchwytu zadania. Zdekodowane piksele wracają jako 24-bitowe BGR w tym samym odwzorowaniu, razem ze słowem statusu

Diagram architektury izolacji kodeków HotPDF pokazujący hosta Delphi VCL wymieniającego mapowanie pamięci współdzielonej z jednorazowym procesem roboczym dla obrazów DCTDecode, JPXDecode i JBIG2Decode
Gospodarz zapisuje skompresowany strumień kodów do ograniczonego mapowania pamięci współdzielonej, jednorazowy worker dekoduje je pod sufitami obiektu zadania, a w drogę powrotną podróżują tylko piksele plus słowo statusu

Włączenie tego to cztery właściwości na THotPDF. Wywołania obrazów zostają tymi samymi, których już używasz:

uses
  Vcl.Graphics, HPDFDoc, HPDFCodecIsolation;

procedure ExtractUntrustedImages(const FileName: string);
var
  Pdf: THotPDF;
  Info: THPDFCodecWorkerInfo;
  Bmp: TBitmap;
  I: Integer;
begin
  Pdf := THotPDF.Create(nil);
  try
    Pdf.CodecIsolationMode := cimRequired;            // nigdy nie dekoduj tych w procesie
    Pdf.CodecWorkerExecutable := '';                  // '' = obok EXE hosta
    Pdf.CodecWorkerTimeoutMilliseconds := 5000;       // 1..600000, inaczej ERangeError
    Pdf.CodecWorkerMemoryLimitBytes := 256 * 1024 * 1024; // 0 albo >= 64 MiB
    Pdf.DecodeBudgetBytes := 128 * 1024 * 1024;

    if Pdf.LoadFromFile(FileName) > 0 then            // zwraca liczbę stron
      for I := 0 to Pdf.GetLoadedImageCount - 1 do
      begin
        Bmp := Pdf.ExtractLoadedImage(I);
        try
          // Czytaj werdykt od razu: opisuje tylko ostatnie żądanie
          if Pdf.GetLastCodecWorkerInfo(Info) then
            LogCodecOutcome(FileName, I, Info);
          if Bmp <> nil then
            StoreImage(FileName, I, Bmp);             // twój własny kod
        finally
          Bmp.Free;
        end;
      end;
  finally
    Pdf.Free;
  end;
end;

Gdy izolowane dekodowanie zawodzi, ExtractLoadedImage zwraca nil, więc sprawdzenie Bmp <> nil niesie tu realną wagę. GetLastCodecWorkerInfo zwraca False, gdy żadne żądanie do workera nie zostało zapisane, co widzisz dla obrazu skompresowanego Flate albo przy cimDisabled

Dwa szczegóły wdrożenia powodują większość kłopotów. Pusty CodecWorkerExecutable rozwiązuje się do HotPDFCodecWorker.exe w katalogu ParamStr(0). Wartość niepusta przechodzi przez ExpandFileName, czyli ścieżka względna rozwiązuje się względem bieżącego katalogu. Dla usługi Windows ten katalog to zwykle System32, więc 'bin\HotPDFCodecWorker.exe' działa z IDE i zawodzi po instalacji. Drugi szczegół to bitowość: skrypt budowania workera produkuje osobne binarki Win32 i Win64, a ta, którą wysyłasz, musi zgadzać się z architekturą procesu hosta

Automatyczny czy wymagany: co się dzieje, gdy workera brakuje

Trzy wartości THPDFCodecIsolationMode odpowiadają na jedno pytanie: co zrobić, gdy workera nie da się w ogóle użyć. cimDisabled nigdy nie próbuje i dekoduje wszystko w procesie. cimAutomatic, domyślne, używa workera, gdy HotPDFCodecWorker.exe istnieje, i spada do dekodowania w procesie, gdy pliku nie ma, z zapisaniem cwsUnavailable. cimRequired odmawia fallbacku; brakujący worker znaczy, że obraz nie jest dekodowany

Fallback jest węższy, niż wygląda na pierwszy rzut oka, i ta wąskość jest celowa. Tylko brakujący plik wykonywalny wyzwala fallback. Jeśli plik istnieje, ale CreateProcess zawodzi — zwykle dlatego, że blokuje go produkt security endpoint — wynikiem jest cwsLaunchFailed i obraz nie jest dekodowany, nawet pod cimAutomatic. Worker, który wystartował, a potem się wywalił, przekroczył limit albo odbił się od limitu, nigdy nie jest ponawiany w procesie w żadnym z trybów. Ponawianie pliku, który właśnie zabił workera, we własnym procesie oddałoby atakującemu drugą próbę na dokładnie ten cel, do ochrony którego worker tam był

Porównanie wartości CodecIsolationMode w HotPDF pokazujące zachowanie cimDisabled, cimAutomatic i cimRequired, gdy plik wykonywalny procesu roboczego kodeka jest nieobecny
Tylko cimAutomatic wraca do dekodowania w procesie, zgłaszanego jako cwsUnavailable, podczas gdy cimRequired odmawia fallbacku; awarie i przekroczenia czasu są niepowodzeniami w obu trybach

Dla wszystkiego, co czyta uploady, załączniki mailowe albo dropy partnerów, ustaw cimRequired. Domyślny tryb ma pułapkę, która wychodzi dopiero po wdrożeniu: instalator, który zapomniał workera, produkuje serwer, który wyodrębnia każdy obraz poprawnie, przechodzi każdy test funkcjonalny i puszcza kodeki wewnątrz hosta przy każdym pojedynczym żądaniu. Nic nie wygląda na zepsute. cimAutomatic jest rozsądne dla desktopowej przeglądarki otwierającej pliki, które użytkownik już ma, gdzie brakujący worker powinien degradować, a nie zatrzymywać produkt. cimRequired wyłącza też ProgressiveJPEGScanDecoding, ścieżkę progresywnego JPEG-a skan po skanie, bo ta ścieżka dekoduje w hoście

Kontrola przy starcie zamienia zapomnianego workera w natychmiastową, głośną awarię. HPDFResolveCodecWorkerExecutable jest publiczny w HPDFCodecIsolation i stosuje tę samą regułę rozwiązywania co komponent:

// Kontrola startowa, którą dodajesz sam: odmów startu bez workera
procedure RequireCodecWorker(Pdf: THotPDF);
var
  WorkerPath: string;
begin
  WorkerPath := HPDFResolveCodecWorkerExecutable(Pdf.CodecWorkerExecutable);
  if not FileExists(WorkerPath) then
    raise Exception.CreateFmt(
      'Codec worker missing at %s; refusing to accept PDF uploads',
      [WorkerPath]);
end;

Czytanie THPDFCodecWorkerStatus

THPDFCodecWorkerInfo niesie Status, ProcessId, ExitCode, ElapsedMilliseconds i hostowy ErrorMessage. Wartości statusu to cwsNotRun, cwsSucceeded, cwsUnavailable, cwsLaunchFailed, cwsTimedOut, cwsCrashed, cwsDecodeFailed, cwsProtocolError i cwsOutputLimit, i układają się w trzy grupy operacyjne

  • Wdrożenie: cwsUnavailable i cwsLaunchFailed. Worker nieobecny, zablokowany albo nie dał się wystartować wewnątrz zadania. Dzwoń do tego, kto ma serwer; sam dokument może być w porządku
  • Dokument: cwsDecodeFailed i cwsOutputLimit. Strumień kodowy jest zniekształcony albo większy, niż pozwala twoja polityka. Odrzucenie pliku to poprawna odpowiedź
  • Powstrzymanie: cwsTimedOut, cwsCrashed i cwsProtocolError. Zawieszenie, martwy worker albo odpowiedź, której nagłówek nie zgadza się z wersją protokołu albo której zadeklarowana geometria się nie spina. To są zdarzenia, dla których istnieje granica procesu, i plik zasługuje na kwarantannę zamiast zwykłego odrzucenia

Granica między cwsDecodeFailed a cwsCrashed jest warta poznania, gdy czytasz liczby. Delphi zamienia większość naruszeń dostępu w wyjątki, a worker łapie wyjątki wokół dekodera i zgłasza je jako nieudane dekodowanie. cwsCrashed znaczy, że proces workera zakończył się niezerowym kodem wyjścia, co zdarza się, gdy awaria była na tyle ciężka, że żaden handler wyjątków nie zdążył biec. ExitCode to Cardinal, więc formatuj go przez %u albo jako hex; $C0000005 wydrukowane przez %d zamienia się w ujemną liczbę, której nikt nie wyszuka poprawnie

procedure LogCodecOutcome(const FileName: string; ImageIndex: Integer;
  const Info: THPDFCodecWorkerInfo);
begin
  case Info.Status of
    cwsSucceeded:
      ;
    cwsUnavailable, cwsLaunchFailed:
      AlertOps('Codec worker not usable: ' + Info.ErrorMessage);   // twój własny kod
    cwsTimedOut, cwsCrashed, cwsProtocolError:
      Quarantine(FileName, Format('image %d: pid %u exit $%.8x after %u ms: %s',
        [ImageIndex, Info.ProcessId, Info.ExitCode,
         Info.ElapsedMilliseconds, Info.ErrorMessage]));          // twój własny kod
  else
    RejectDocument(FileName, Info.ErrorMessage);                  // twój własny kod
  end;
end;

Worker tłumi też dialog awarii Windows dla samego siebie, więc crash na bezobsługowym serwerze wychodzi w tym logu, a nie jako modalne okno czekające, aż ktoś kliknie OK na maszynie, na którą nikt nie patrzy

Trzy sufity na każdym izolowanym dekodowaniu

Każde izolowane dekodowanie biegnie pod limitem czasu, limitem pamięci i limitem wyjścia, a status mówi ci, który je zakończył. CodecWorkerTimeoutMilliseconds ma domyślnie 10 000 i przyjmuje od 1 do 600 000; cokolwiek poza tym zakresem rzuca ERangeError przy przypisaniu zamiast zostać przycięte. Przy timeoutcie host terminuje całe zadanie i zgłasza cwsTimedOut. CodecWorkerMemoryLimitBytes ma domyślnie 536 870 912 bajtów i musi być zerem, czyli bez limitu, albo co najmniej 67 108 864 bajtów; staje się limitem pamięci zaangażowanej per proces na Job Objectcie

Limit wyjścia jest wyliczany. HotPDF liczy bajty, jakich zdekodowany obraz powinien potrzebować, z żądanego rozmiaru docelowego, żądanego regionu albo geometrii obrazu zadeklarowanej w PDF, po trzy bajty na piksel, po czym zaciiska tę liczbę do DecodeBudgetBytes, gdy budżet jest ustawiony. Współdzielone odwzorowanie jest wymiarowane z tej liczby, więc worker nie ma miejsca, by pisać dalej. Załóżmy, że skan deklaruje 10 000 na 10 000 pikseli: to 300 000 000 bajtów wyjścia BGR, więcej niż domyślne DecodeBudgetBytes wynoszące 268 435 456 bajtów, więc limit staje się 256 MiB, a dekodowanie kończy się z cwsOutputLimit

Host nie ufa też rozmiarowi, który worker zgłasza z powrotem. Odpowiedź jest przyjmowana tylko, gdy jej szerokość razy wysokość razy trzy równa się deklarowanej liczbie bajtów i ta liczba mieści się zarówno w limit wyjścia hosta, jak i w odwzorowanie. Subwertowany worker może wpisać dowolną wartość do nagłówka; niedopasowanie jest zgłaszane jako cwsProtocolError i żadne piksele nie są kopiowane

Trzy sufity na każdym izolowanym dekodowaniu HotPDF: limit czasu pracownika, limit pamięci Job Object i pochodny limit wyjścia zaciśnięty przez DecodeBudgetBytes
Ścisła walidacja czasu i pamięci plus wywiedziony sufit pikseli wyjściowych oznaczają, że przewymiarowane lub zawieszone dekodowania kończą się wewnątrz workera jako kody statusu, nie wewnątrz twojego procesu

Trzymaj limit pamięci wygodnie nad limitem wyjścia. Przy ustawieniach z pierwszego przykładu budżet wyjścia 128 MiB wewnątrz limitu procesu 256 MiB zostawia miejsce na skompresowane wejście i własny zestaw roboczy dekodera. Ustaw oba blisko siebie, a duże legalne skany zaczną zawodzić wewnątrz workera z powodów, które nie mają nic wspólnego z wrogim wejściem

Ile kosztuje granica procesu

Start procesu na każdy izolowany obraz kosztuje czas i dokument z kilkoma setkami zeskanowanych stron JPEG poczuje to. W bezobsługowym konwerterze wsadowym ten koszt znika w nocnym oknie, a powstrzymanie awarii to powód istnienia zadania. Interaktywna przeglądarka pokazująca pliki, którym użytkownik już ufa, to inny przypadek; tam cimAutomatic, albo cimDisabled dla znanego wewnętrznego archiwum, to uczciwy wybór. CodecIsolationMode to zwykła właściwość, więc jedna usługa może stosować cimRequired do uploadów i lżejszy tryb do dokumentów, które wygenerowała sama

Ryzyko zmienia też kodek w grze. Strumienie JPXDecode niosą liczby kafli i komponentów, które napędzają alokacje wprost, a obrazy JBIG2 często zależą od strumienia /JBIG2Globals współdzielonego przez kilka stron. Sandbox, który dostałby tylko strumień per obraz, dekodowałby te strony źle albo wcale, dlatego globalne segmenty podróżują do workera razem z każdym obrazem

Izolacja kodeków, budżety dekodowania i strukturalne limity parsera mieszkają w jednym natywnym komponencie VCL, a jedynym dodatkowym plikiem do wdrożenia jest plik wykonywalny workera. Notatki instalacyjne, build workera dla Win32 i Win64 oraz wersja próbna są na stronie komponentu HotPDF dla Delphi i C++Builder