Usługa w Delphi, która owija ekstrakcję obrazów w try..except, może wyglądać idealnie zdrowo w logu: EAccessViolation zostaje złapany, upload zostaje oznaczony jako zły i rusza następne zadanie. Kilka minut później niepowiązane żądanie może umrzeć z EInvalidPointer przy zwalnianiu listy napisów. Oba zdarzenia są powiązane. Dekoder JPEG 2000 albo JBIG2, który przed swoją awarią pisał za koniec bufora, już uszkodził stertę, a złapanie wyjątku przywraca przepływ sterowania, zostawiając te szkody dokładnie tam, gdzie były. Pamięci, której nie można ufać, można się tylko pozbyć, a jednostką pamięci, którą Windows pozwala wyrzucić czysto, jest proces
Dlaczego try..except wokół dekodera nie wystarcza
Kodek obrazu to ta część czytnika PDF, która puszcza najbardziej skomplikowaną maszynę stanów przez najmniej sprawdzane dane. Zanim bajty dotrą do dekodera JPEG 2000 albo JBIG2, tablica odwołań krzyżowych jest sparsowana, obiekt obrazu rozwiązany, a łańcuch filtrów rozwinięty. Zostaje surowy strumień kodowy, który zapowiada, ile ma kafli, komponentów i bitów na próbkę. Zła liczba w tym miejscu nie jest błędem składni, który parser może odrzucić. Staje się rozmiarem alokacji, ograniczeniem pętli albo indeksem tablicy wewnątrz ciasnej pętli dekodowania
Budżety bajtowe pokrywają część tego, a ścieżka przyjmowania i tak powinna je mieć. HotPDF ogranicza ekspansję przez DecodeBudgetBytes i DocumentDecodeBudgetBytes, a łańcuchy filtrów przez DecodeFilterLimit i DecodePipelineDepthLimit; rozumowanie za tymi limitami jest w ograniczonym dekodowaniu dla zagnieżdżonych filtrów i bomb PDF. Budżet odpowiada na jedno pytanie: ile wyjścia jest dozwolone. Nie mówi nic o dekoderze, który wywala się po zapisaniu garści bajtów w złe miejsce
Awaria, którą faktycznie się łapie, jest pod pewnymi względami gorszym wynikiem. Nieobsłużony crash przynajmniej zatrzymuje proces. Złapany pozwala mu dalej obsługiwać żądania na uszkodzonej stercie, a ostateczna awaria niesie ślad stosu wskazujący daleko od PDF-a, który go spowodował
Przenoszenie DCTDecode, JPXDecode i JBIG2Decode do procesu roboczego
HotPDF potrafi puścić trzy wysokoryzykowne filtry obrazów, DCTDecode, JPXDecode i JBIG2Decode, w krótkotrwałym procesie roboczym, HotPDFCodecWorker.exe, zamiast wewnątrz twojej aplikacji. Unit HPDFCodecIsolation nazywa je hckDCT, hckJPX i hckJBIG2. Flate, LZW, RunLength, ASCII85 i CCITT zostają w procesie: te dekodery mają prosty stan i budżety dekodowania są dla nich właściwym narzędziem
Każde żądanie dostaje świeży proces. Host tworzy jedno losowo nazwane odwzorowanie pamięci współdzielonej, zapisuje stały THPDFCodecSharedHeader, po nim skompresowany strumień kodowy, a dla JBIG2 też globalne segmenty, po czym startuje workera zawieszonego, wsadza go do Job Objectu Windows i dopiero wtedy pozwala mu biec. Zadanie pozwala dokładnie na jeden aktywny proces, więc skompromitowany dekoder nie może wyplodić dziecka, i jest tworzone z kill-on-close, więc worker nie może przeżyć uchwytu zadania. Zdekodowane piksele wracają jako 24-bitowe BGR w tym samym odwzorowaniu, razem ze słowem statusu
Włączenie tego to cztery właściwości na THotPDF. Wywołania obrazów zostają tymi samymi, których już używasz:
uses
Vcl.Graphics, HPDFDoc, HPDFCodecIsolation;
procedure ExtractUntrustedImages(const FileName: string);
var
Pdf: THotPDF;
Info: THPDFCodecWorkerInfo;
Bmp: TBitmap;
I: Integer;
begin
Pdf := THotPDF.Create(nil);
try
Pdf.CodecIsolationMode := cimRequired; // nigdy nie dekoduj tych w procesie
Pdf.CodecWorkerExecutable := ''; // '' = obok EXE hosta
Pdf.CodecWorkerTimeoutMilliseconds := 5000; // 1..600000, inaczej ERangeError
Pdf.CodecWorkerMemoryLimitBytes := 256 * 1024 * 1024; // 0 albo >= 64 MiB
Pdf.DecodeBudgetBytes := 128 * 1024 * 1024;
if Pdf.LoadFromFile(FileName) > 0 then // zwraca liczbę stron
for I := 0 to Pdf.GetLoadedImageCount - 1 do
begin
Bmp := Pdf.ExtractLoadedImage(I);
try
// Czytaj werdykt od razu: opisuje tylko ostatnie żądanie
if Pdf.GetLastCodecWorkerInfo(Info) then
LogCodecOutcome(FileName, I, Info);
if Bmp <> nil then
StoreImage(FileName, I, Bmp); // twój własny kod
finally
Bmp.Free;
end;
end;
finally
Pdf.Free;
end;
end;
Gdy izolowane dekodowanie zawodzi, ExtractLoadedImage zwraca nil, więc sprawdzenie Bmp <> nil niesie tu realną wagę. GetLastCodecWorkerInfo zwraca False, gdy żadne żądanie do workera nie zostało zapisane, co widzisz dla obrazu skompresowanego Flate albo przy cimDisabled
Dwa szczegóły wdrożenia powodują większość kłopotów. Pusty CodecWorkerExecutable rozwiązuje się do HotPDFCodecWorker.exe w katalogu ParamStr(0). Wartość niepusta przechodzi przez ExpandFileName, czyli ścieżka względna rozwiązuje się względem bieżącego katalogu. Dla usługi Windows ten katalog to zwykle System32, więc 'bin\HotPDFCodecWorker.exe' działa z IDE i zawodzi po instalacji. Drugi szczegół to bitowość: skrypt budowania workera produkuje osobne binarki Win32 i Win64, a ta, którą wysyłasz, musi zgadzać się z architekturą procesu hosta
Automatyczny czy wymagany: co się dzieje, gdy workera brakuje
Trzy wartości THPDFCodecIsolationMode odpowiadają na jedno pytanie: co zrobić, gdy workera nie da się w ogóle użyć. cimDisabled nigdy nie próbuje i dekoduje wszystko w procesie. cimAutomatic, domyślne, używa workera, gdy HotPDFCodecWorker.exe istnieje, i spada do dekodowania w procesie, gdy pliku nie ma, z zapisaniem cwsUnavailable. cimRequired odmawia fallbacku; brakujący worker znaczy, że obraz nie jest dekodowany
Fallback jest węższy, niż wygląda na pierwszy rzut oka, i ta wąskość jest celowa. Tylko brakujący plik wykonywalny wyzwala fallback. Jeśli plik istnieje, ale CreateProcess zawodzi — zwykle dlatego, że blokuje go produkt security endpoint — wynikiem jest cwsLaunchFailed i obraz nie jest dekodowany, nawet pod cimAutomatic. Worker, który wystartował, a potem się wywalił, przekroczył limit albo odbił się od limitu, nigdy nie jest ponawiany w procesie w żadnym z trybów. Ponawianie pliku, który właśnie zabił workera, we własnym procesie oddałoby atakującemu drugą próbę na dokładnie ten cel, do ochrony którego worker tam był
Dla wszystkiego, co czyta uploady, załączniki mailowe albo dropy partnerów, ustaw cimRequired. Domyślny tryb ma pułapkę, która wychodzi dopiero po wdrożeniu: instalator, który zapomniał workera, produkuje serwer, który wyodrębnia każdy obraz poprawnie, przechodzi każdy test funkcjonalny i puszcza kodeki wewnątrz hosta przy każdym pojedynczym żądaniu. Nic nie wygląda na zepsute. cimAutomatic jest rozsądne dla desktopowej przeglądarki otwierającej pliki, które użytkownik już ma, gdzie brakujący worker powinien degradować, a nie zatrzymywać produkt. cimRequired wyłącza też ProgressiveJPEGScanDecoding, ścieżkę progresywnego JPEG-a skan po skanie, bo ta ścieżka dekoduje w hoście
Kontrola przy starcie zamienia zapomnianego workera w natychmiastową, głośną awarię. HPDFResolveCodecWorkerExecutable jest publiczny w HPDFCodecIsolation i stosuje tę samą regułę rozwiązywania co komponent:
// Kontrola startowa, którą dodajesz sam: odmów startu bez workera
procedure RequireCodecWorker(Pdf: THotPDF);
var
WorkerPath: string;
begin
WorkerPath := HPDFResolveCodecWorkerExecutable(Pdf.CodecWorkerExecutable);
if not FileExists(WorkerPath) then
raise Exception.CreateFmt(
'Codec worker missing at %s; refusing to accept PDF uploads',
[WorkerPath]);
end;
Czytanie THPDFCodecWorkerStatus
THPDFCodecWorkerInfo niesie Status, ProcessId, ExitCode, ElapsedMilliseconds i hostowy ErrorMessage. Wartości statusu to cwsNotRun, cwsSucceeded, cwsUnavailable, cwsLaunchFailed, cwsTimedOut, cwsCrashed, cwsDecodeFailed, cwsProtocolError i cwsOutputLimit, i układają się w trzy grupy operacyjne
- Wdrożenie:
cwsUnavailableicwsLaunchFailed. Worker nieobecny, zablokowany albo nie dał się wystartować wewnątrz zadania. Dzwoń do tego, kto ma serwer; sam dokument może być w porządku - Dokument:
cwsDecodeFailedicwsOutputLimit. Strumień kodowy jest zniekształcony albo większy, niż pozwala twoja polityka. Odrzucenie pliku to poprawna odpowiedź - Powstrzymanie:
cwsTimedOut,cwsCrashedicwsProtocolError. Zawieszenie, martwy worker albo odpowiedź, której nagłówek nie zgadza się z wersją protokołu albo której zadeklarowana geometria się nie spina. To są zdarzenia, dla których istnieje granica procesu, i plik zasługuje na kwarantannę zamiast zwykłego odrzucenia
Granica między cwsDecodeFailed a cwsCrashed jest warta poznania, gdy czytasz liczby. Delphi zamienia większość naruszeń dostępu w wyjątki, a worker łapie wyjątki wokół dekodera i zgłasza je jako nieudane dekodowanie. cwsCrashed znaczy, że proces workera zakończył się niezerowym kodem wyjścia, co zdarza się, gdy awaria była na tyle ciężka, że żaden handler wyjątków nie zdążył biec. ExitCode to Cardinal, więc formatuj go przez %u albo jako hex; $C0000005 wydrukowane przez %d zamienia się w ujemną liczbę, której nikt nie wyszuka poprawnie
procedure LogCodecOutcome(const FileName: string; ImageIndex: Integer;
const Info: THPDFCodecWorkerInfo);
begin
case Info.Status of
cwsSucceeded:
;
cwsUnavailable, cwsLaunchFailed:
AlertOps('Codec worker not usable: ' + Info.ErrorMessage); // twój własny kod
cwsTimedOut, cwsCrashed, cwsProtocolError:
Quarantine(FileName, Format('image %d: pid %u exit $%.8x after %u ms: %s',
[ImageIndex, Info.ProcessId, Info.ExitCode,
Info.ElapsedMilliseconds, Info.ErrorMessage])); // twój własny kod
else
RejectDocument(FileName, Info.ErrorMessage); // twój własny kod
end;
end;
Worker tłumi też dialog awarii Windows dla samego siebie, więc crash na bezobsługowym serwerze wychodzi w tym logu, a nie jako modalne okno czekające, aż ktoś kliknie OK na maszynie, na którą nikt nie patrzy
Trzy sufity na każdym izolowanym dekodowaniu
Każde izolowane dekodowanie biegnie pod limitem czasu, limitem pamięci i limitem wyjścia, a status mówi ci, który je zakończył. CodecWorkerTimeoutMilliseconds ma domyślnie 10 000 i przyjmuje od 1 do 600 000; cokolwiek poza tym zakresem rzuca ERangeError przy przypisaniu zamiast zostać przycięte. Przy timeoutcie host terminuje całe zadanie i zgłasza cwsTimedOut. CodecWorkerMemoryLimitBytes ma domyślnie 536 870 912 bajtów i musi być zerem, czyli bez limitu, albo co najmniej 67 108 864 bajtów; staje się limitem pamięci zaangażowanej per proces na Job Objectcie
Limit wyjścia jest wyliczany. HotPDF liczy bajty, jakich zdekodowany obraz powinien potrzebować, z żądanego rozmiaru docelowego, żądanego regionu albo geometrii obrazu zadeklarowanej w PDF, po trzy bajty na piksel, po czym zaciiska tę liczbę do DecodeBudgetBytes, gdy budżet jest ustawiony. Współdzielone odwzorowanie jest wymiarowane z tej liczby, więc worker nie ma miejsca, by pisać dalej. Załóżmy, że skan deklaruje 10 000 na 10 000 pikseli: to 300 000 000 bajtów wyjścia BGR, więcej niż domyślne DecodeBudgetBytes wynoszące 268 435 456 bajtów, więc limit staje się 256 MiB, a dekodowanie kończy się z cwsOutputLimit
Host nie ufa też rozmiarowi, który worker zgłasza z powrotem. Odpowiedź jest przyjmowana tylko, gdy jej szerokość razy wysokość razy trzy równa się deklarowanej liczbie bajtów i ta liczba mieści się zarówno w limit wyjścia hosta, jak i w odwzorowanie. Subwertowany worker może wpisać dowolną wartość do nagłówka; niedopasowanie jest zgłaszane jako cwsProtocolError i żadne piksele nie są kopiowane
Trzymaj limit pamięci wygodnie nad limitem wyjścia. Przy ustawieniach z pierwszego przykładu budżet wyjścia 128 MiB wewnątrz limitu procesu 256 MiB zostawia miejsce na skompresowane wejście i własny zestaw roboczy dekodera. Ustaw oba blisko siebie, a duże legalne skany zaczną zawodzić wewnątrz workera z powodów, które nie mają nic wspólnego z wrogim wejściem
Ile kosztuje granica procesu
Start procesu na każdy izolowany obraz kosztuje czas i dokument z kilkoma setkami zeskanowanych stron JPEG poczuje to. W bezobsługowym konwerterze wsadowym ten koszt znika w nocnym oknie, a powstrzymanie awarii to powód istnienia zadania. Interaktywna przeglądarka pokazująca pliki, którym użytkownik już ufa, to inny przypadek; tam cimAutomatic, albo cimDisabled dla znanego wewnętrznego archiwum, to uczciwy wybór. CodecIsolationMode to zwykła właściwość, więc jedna usługa może stosować cimRequired do uploadów i lżejszy tryb do dokumentów, które wygenerowała sama
Ryzyko zmienia też kodek w grze. Strumienie JPXDecode niosą liczby kafli i komponentów, które napędzają alokacje wprost, a obrazy JBIG2 często zależą od strumienia /JBIG2Globals współdzielonego przez kilka stron. Sandbox, który dostałby tylko strumień per obraz, dekodowałby te strony źle albo wcale, dlatego globalne segmenty podróżują do workera razem z każdym obrazem
Izolacja kodeków, budżety dekodowania i strukturalne limity parsera mieszkają w jednym natywnym komponencie VCL, a jedynym dodatkowym plikiem do wdrożenia jest plik wykonywalny workera. Notatki instalacyjne, build workera dla Win32 i Win64 oraz wersja próbna są na stronie komponentu HotPDF dla Delphi i C++Builder