Ein Delphi-Dienst, der Bildextraktion in try..except verpackt, kann in seinem Log völlig gesund aussehen: Eine EAccessViolation wird gefangen, der Upload als schlecht markiert, der nächste Job startet. Minuten später kann eine unbeteiligte Anfrage beim Freigeben einer String-Liste mit EInvalidPointer sterben. Die beiden Ereignisse hängen zusammen. Ein JPEG-2000- oder JBIG2-Decoder, der vor seinem Fehler über das Ende eines Puffers hinausgeschrieben hat, hat den Heap bereits beschädigt, und die Ausnahme zu fangen stellt den Kontrollfluss wieder her, während der Schaden genau dort bleibt, wo er ist. Speicher, dem man nicht trauen kann, lässt sich nur wegwerfen, und die Speichereinheit, die Windows sauber wegwerfen lässt, ist ein Prozess
Warum ein try..except um den Decoder nicht reicht
Ein Bild-Codec ist der Teil eines PDF-Readers, der die komplizierteste Zustandsmaschine über die am wenigsten geprüften Daten laufen lässt. Bis die Bytes einen JPEG-2000- oder JBIG2-Decoder erreichen, ist die Cross-Reference-Tabelle geparst, das Bildobjekt aufgelöst und die Filterkette abgewickelt. Übrig bleibt ein roher Codestream, der ankündigt, wie viele Tiles, wie viele Komponenten und wie viele Bits pro Sample er enthält. Eine falsche Zahl dort ist kein Syntaxfehler, den der Parser zurückweisen könnte. Sie wird zu einer Allokationsgröße, einer Schleifengrenze oder einem Array-Index innerhalb einer engen Dekodierschleife
Byte-Budgets decken einen Teil davon ab, und ein Aufnahmepfad sollte sie ohnehin haben. HotPDF begrenzt die Expansion mit DecodeBudgetBytes und DocumentDecodeBudgetBytes und Filterketten mit DecodeFilterLimit und DecodePipelineDepthLimit; die Begründung dieser Deckel steht in begrenzter Dekodierung für verschachtelte Filter und PDF-Bomben. Ein Budget beantwortet eine Frage: wie viel Ausgabe erlaubt ist. Zu einem Decoder, der nach ein paar Bytes am falschen Ort abstürzt, sagt es nichts
Der Fehler, der doch gefangen wird, ist in gewisser Weise das schlechtere Ergebnis. Ein unbehandelter Absturz stoppt zumindest den Prozess. Ein gefangener lässt ihn weiter Anfragen bedienen, oben auf einem korrupten Heap, und das spätere Versagen trägt einen Stacktrace, der nirgendwo in die Nähe des PDFs zeigt, das es verursacht hat
DCTDecode, JPXDecode und JBIG2Decode in einen Worker-Prozess verlagern
HotPDF kann die drei riskanten Bildfilter, DCTDecode, JPXDecode und JBIG2Decode, in einem kurzlebigen Worker-Prozess, HotPDFCodecWorker.exe, laufen lassen statt in Ihrer Anwendung. Die Unit HPDFCodecIsolation nennt sie hckDCT, hckJPX und hckJBIG2. Flate, LZW, RunLength, ASCII85 und CCITT bleiben im eigenen Prozess: Diese Decoder haben einen einfachen Zustand, und die Dekodierbudgets sind das richtige Werkzeug für sie
Jede Anfrage bekommt einen frischen Prozess. Der Host erzeugt eine zufällig benannte Shared-Memory-Zuordnung, schreibt einen festen THPDFCodecSharedHeader gefolgt vom komprimierten Codestream und bei JBIG2 den globalen Segmenten, startet den Worker dann angehalten, setzt ihn in ein Windows-Job-Object und lässt ihn erst danach laufen. Der Job erlaubt genau einen aktiven Prozess, ein kompromittierter Decoder kann also kein Kind erzeugen, und er wird mit Kill-on-close angelegt, sodass der Worker das Job-Handle nicht überleben kann. Dekodierte Pixel kommen als 24-Bit-BGR in derselben Zuordnung zurück, dazu ein Statuswort
Eingeschaltet wird es über vier Properties an THotPDF. Die Bildaufrufe bleiben dieselben, die Sie bereits benutzen:
uses
Vcl.Graphics, HPDFDoc, HPDFCodecIsolation;
procedure ExtractUntrustedImages(const FileName: string);
var
Pdf: THotPDF;
Info: THPDFCodecWorkerInfo;
Bmp: TBitmap;
I: Integer;
begin
Pdf := THotPDF.Create(nil);
try
Pdf.CodecIsolationMode := cimRequired; // niemals im eigenen Prozess dekodieren
Pdf.CodecWorkerExecutable := ''; // '' = neben der Host-EXE
Pdf.CodecWorkerTimeoutMilliseconds := 5000; // 1..600000, sonst ERangeError
Pdf.CodecWorkerMemoryLimitBytes := 256 * 1024 * 1024; // 0 oder >= 64 MiB
Pdf.DecodeBudgetBytes := 128 * 1024 * 1024;
if Pdf.LoadFromFile(FileName) > 0 then // liefert die Seitenzahl
for I := 0 to Pdf.GetLoadedImageCount - 1 do
begin
Bmp := Pdf.ExtractLoadedImage(I);
try
// Urteil sofort ablesen: es beschreibt nur die letzte Anfrage
if Pdf.GetLastCodecWorkerInfo(Info) then
LogCodecOutcome(FileName, I, Info);
if Bmp <> nil then
StoreImage(FileName, I, Bmp); // eigene Routine
finally
Bmp.Free;
end;
end;
finally
Pdf.Free;
end;
end;
Scheitert eine isolierte Dekodierung, gibt ExtractLoadedImage nil zurück, die Prüfung Bmp <> nil trägt hier also echtes Gewicht. GetLastCodecWorkerInfo gibt False zurück, wenn keine Worker-Anfrage aufgezeichnet wurde, was man bei einem Flate-komprimierten Bild oder mit cimDisabled sieht
Zwei Deployment-Details richten den meisten Schaden an. Ein leeres CodecWorkerExecutable löst zu HotPDFCodecWorker.exe im Verzeichnis von ParamStr(0) auf. Ein nicht leerer Wert läuft durch ExpandFileName, ein relativer Pfad löst sich also gegen das aktuelle Verzeichnis auf. Bei einem Windows-Dienst ist das Verzeichnis meist System32, 'bin\HotPDFCodecWorker.exe' funktioniert also aus der IDE und scheitert nach der Installation. Das andere Detail ist die Bitbreite: Das Worker-Build-Skript erzeugt getrennte Win32- und Win64-Binaries, und der ausgelieferte muss zur Architektur des Host-Prozesses passen
Automatisch oder erforderlich: was passiert, wenn der Worker fehlt?
Die drei Werte von THPDFCodecIsolationMode beantworten eine einzige Frage, nämlich was zu tun ist, wenn der Worker gar nicht benutzt werden kann. cimDisabled versucht es nie und dekodiert alles im eigenen Prozess. cimAutomatic, die Vorgabe, benutzt den Worker, wenn HotPDFCodecWorker.exe existiert, und fällt auf Dekodierung im eigenen Prozess zurück, wenn die Datei fehlt, vermerkt als cwsUnavailable. cimRequired verweigert den Rückfall; ein fehlender Worker bedeutet, das Bild wird nicht dekodiert
Der Rückfall ist enger, als er zuerst aussieht, und die Enge ist Absicht. Nur eine fehlende ausführbare Datei fällt zurück. Existiert die Datei, scheitert aber CreateProcess, typischerweise weil ein Endpoint-Security-Produkt sie blockiert, ist das Ergebnis cwsLaunchFailed, und das Bild wird nicht dekodiert, auch unter cimAutomatic nicht. Ein Worker, der startete und dann abstürzte, ein Timeout hatte oder ein Limit überstieg, wird in keinem der Modi im eigenen Prozess wiederholt. Eine Datei, die gerade den Worker getötet hat, im eigenen Prozess erneut zu versuchen, händigte dem Angreifer einen zweiten Versuch an genau dem Ziel aus, das der Worker zu schützen da war
Für alles, was Uploads, Mail-Anhänge oder Partner-Zulieferungen liest, setze man cimRequired. Der Standardmodus hat eine Falle, die erst nach dem Deployment auftaucht: Ein Installer, der den Worker vergisst, erzeugt einen Server, der jedes Bild korrekt extrahiert, jeden Funktionstest besteht und die Codecs bei jeder einzelnen Anfrage im Host laufen lässt. Nichts sieht kaputt aus. cimAutomatic ist vernünftig für einen Desktop-Viewer, der Dateien öffnet, die der Nutzer bereits hat, wo ein fehlender Worker degradieren statt das Produkt stoppen soll. cimRequired schaltet zudem ProgressiveJPEGScanDecoding ab, den Scan-für-Scan-Pfad für progressive JPEGs, weil dieser Pfad im Host dekodiert
Eine Startprüfung macht aus einem vergessenen Worker ein sofortiges, lautes Scheitern. HPDFResolveCodecWorkerExecutable ist öffentlich in HPDFCodecIsolation und wendet dieselbe Auflösungsregel an wie die Komponente:
// Eine Startprüfung zum Selbsteinbauen: ohne Worker nicht starten
procedure RequireCodecWorker(Pdf: THotPDF);
var
WorkerPath: string;
begin
WorkerPath := HPDFResolveCodecWorkerExecutable(Pdf.CodecWorkerExecutable);
if not FileExists(WorkerPath) then
raise Exception.CreateFmt(
'Codec worker missing at %s; refusing to accept PDF uploads',
[WorkerPath]);
end;
THPDFCodecWorkerStatus lesen
THPDFCodecWorkerInfo trägt Status, ProcessId, ExitCode, ElapsedMilliseconds und eine ErrorMessage von der Host-Seite. Die Statuswerte sind cwsNotRun, cwsSucceeded, cwsUnavailable, cwsLaunchFailed, cwsTimedOut, cwsCrashed, cwsDecodeFailed, cwsProtocolError und cwsOutputLimit, und sie sortieren sich in drei Betriebsgruppen
- Deployment:
cwsUnavailableundcwsLaunchFailed. Der Worker fehlt, wird blockiert oder ließ sich nicht in seinem Job starten. Rufen Sie denjenigen an, dem der Server gehört; das Dokument selbst kann in Ordnung sein - Dokument:
cwsDecodeFailedundcwsOutputLimit. Der Codestream ist verstümmelt oder größer, als Ihre Richtlinie erlaubt. Die Datei abzulehnen ist die richtige Antwort - Eindämmung:
cwsTimedOut,cwsCrashedundcwsProtocolError. Ein Hänger, ein toter Worker oder eine Antwort, deren Header nicht zur Protokollversion passt oder deren behauptete Geometrie nicht aufgeht. Das sind die Ereignisse, für die die Prozessgrenze existiert, und die Datei verdient Quarantäne statt einer schlichten Zurückweisung
Die Grenze zwischen cwsDecodeFailed und cwsCrashed zu kennen lohnt, wenn man die Zahlen liest. Delphi verwandelt die meisten Zugriffsverletzungen in Ausnahmen, und der Worker fängt Ausnahmen um den Decoder herum und meldet sie als fehlgeschlagene Dekodierung. cwsCrashed heißt, der Worker-Prozess endete mit einem Exit-Code ungleich null, was passiert, wenn der Fehler so schwer war, dass kein Ausnahmehandler mehr zum Laufen kam. ExitCode ist ein Cardinal, formatiere ihn also mit %u oder als Hex; $C0000005 mit %d gedruckt wird zu einer negativen Zahl, nach der niemand richtig sucht
procedure LogCodecOutcome(const FileName: string; ImageIndex: Integer;
const Info: THPDFCodecWorkerInfo);
begin
case Info.Status of
cwsSucceeded:
;
cwsUnavailable, cwsLaunchFailed:
AlertOps('Codec worker not usable: ' + Info.ErrorMessage); // eigene Routine
cwsTimedOut, cwsCrashed, cwsProtocolError:
Quarantine(FileName, Format('image %d: pid %u exit $%.8x after %u ms: %s',
[ImageIndex, Info.ProcessId, Info.ExitCode,
Info.ElapsedMilliseconds, Info.ErrorMessage])); // eigene Routine
else
RejectDocument(FileName, Info.ErrorMessage); // eigene Routine
end;
end;
Der Worker unterdrückt auch den Windows-Fehlerdialog für sich selbst, sodass ein Absturz auf einem unbemannten Server in diesem Log landet statt als modale Box, die darauf wartet, dass jemand auf einem Rechner, den niemand ansieht, OK klickt
Die drei Deckel über jeder isolierten Dekodierung
Jede isolierte Dekodierung läuft unter einem Zeitlimit, einem Speicherlimit und einem Ausgabelimit, und der Status verrät, welches davon sie beendet hat. CodecWorkerTimeoutMilliseconds steht standardmäßig auf 10.000 und akzeptiert 1 bis 600.000; alles außerhalb wirft bei der Zuweisung ERangeError, statt still gekappt zu werden. Bei Timeout beendet der Host den ganzen Job und meldet cwsTimedOut. CodecWorkerMemoryLimitBytes steht standardmäßig auf 536.870.912 Bytes und muss null sein, also kein Deckel, oder mindestens 67.108.864 Bytes; daraus wird ein Commit-Speicherlimit pro Prozess am Job Object
Das Ausgabelimit wird abgeleitet. HotPDF berechnet die Bytes, die das dekodierte Bild brauchen sollte, aus der angeforderten Zielgröße, der angeforderten Region oder der im PDF deklarierten Bildgeometrie, mit drei Bytes pro Pixel, und kappt diese Zahl dann auf DecodeBudgetBytes, wenn ein Budget gesetzt ist. Die Shared-Memory-Zuordnung wird mit genau dieser Zahl bemessen, der Worker hat also keinen Raum, darüber hinauszuschreiben. Angenommen, ein Scan deklariert 10.000 mal 10.000 Pixel: Das sind 300.000.000 Bytes BGR-Ausgabe, mehr als das voreingestellte DecodeBudgetBytes von 268.435.456 Bytes, also wird das Limit 256 MiB, und die Dekodierung endet mit cwsOutputLimit
Der Host traut auch der Größe nicht, die der Worker zurückmeldet. Eine Antwort wird nur akzeptiert, wenn ihre Breite mal Höhe mal drei der behaupteten Bytezahl entspricht und diese Zahl sowohl ins eigene Ausgabelimit des Hosts als auch in die Zuordnung passt. Ein unterwanderter Worker kann jeden Wert in den Header schreiben; eine Diskrepanz wird als cwsProtocolError gemeldet, und keine Pixel werden kopiert
Halten Sie das Speicherlimit locker über dem Ausgabelimit. Mit den Einstellungen aus dem ersten Beispiel lässt ein 128-MiB-Ausgabebudget innerhalb einer 256-MiB-Prozessgrenze Raum für die komprimierte Eingabe und den eigenen Working Set des Decoders. Setzt man beide eng zusammen, scheitern große legitime Scans im Worker aus Gründen, die mit feindseliger Eingabe nichts zu tun haben
Was die Prozessgrenze kostet
Ein Prozess pro isoliertem Bild kostet Zeit, und ein Dokument mit mehreren hundert gescannten JPEG-Seiten wird das spüren. Bei einem unbemannten Batch-Konverter verschwindet diese Kosten im Nachtfenster, und die Eindämmung ist der Grund, warum der Job existiert. Ein interaktiver Viewer, der Dateien zeigt, denen der Nutzer bereits vertraut, ist ein anderer Fall; dort ist cimAutomatic, oder cimDisabled für ein bekanntes internes Archiv, eine faire Wahl. CodecIsolationMode ist eine gewöhnliche Property, also kann ein Dienst cimRequired auf Uploads anwenden und einen leichteren Modus auf Dokumente, die er selbst erzeugt hat
Auch der betreffende Codec verändert das Risikobild. JPXDecode-Streams tragen Tile- und Komponentenzahlen, die Allokationen direkt steuern, während JBIG2-Bilder oft von einem /JBIG2Globals-Stream abhängen, den sich mehrere Seiten teilen. Eine Sandbox, die nur den Pro-Bild-Stream mitliefert, würde diese Seiten falsch oder gar nicht dekodieren, weshalb die globalen Segmente zusammen mit jedem Bild in den Worker reisen
Codec-Isolation, Dekodierbudgets und die strukturellen Grenzen des Parsers stecken alle in einer nativen VCL-Komponente, und die einzige zusätzliche Datei im Deployment ist die Worker-Programmdatei. Setup-Hinweise, der Worker-Build für Win32 und Win64 und ein Testdownload stehen auf der HotPDF-Komponentenseite für Delphi und C++Builder