Сервис на Delphi, обёртывающий извлечение изображений в try..except, может выглядеть в логе абсолютно здоровым: EAccessViolation пойман, загрузка помечена плохой, следующее задание стартует. Минуты спустя посторонний запрос умирает с EInvalidPointer при освобождении списка строк. Эти два события связаны. Декодер JPEG 2000 или JBIG2, записавший за конец буфера до того, как свалился, уже изувечил кучу, и перехват исключения возвращает поток управления, оставляя повреждение ровно там, где оно было. Памяти, которой нельзя доверять, место только в мусоре, а единица памяти, которую Windows позволяет выбросить чисто, — это процесс
Почему try..except вокруг декодера — этого недостаточно
Кодек изображения — та часть читателя PDF, которая гоняет самую сложную машину состояний по самым непроверенным данным. К моменту, когда байты добираются до декодера JPEG 2000 или JBIG2, таблица перекрёстных ссылок разобрана, объект изображения разрешён, цепочка фильтров распутана. Остаётся сырой кодовый поток, который объявляет, сколько в нём тайлов, компонент и бит на сэмпл. Неправильное число там — не синтаксическая ошибка, которую парсер может отвергнуть. Оно становится размером выделения, границей цикла или индексом массива внутри плотного цикла декодирования
Байтовые бюджеты закрывают часть этого, и у пути приёма они должны быть в любом случае. HotPDF ограничивает развёртывание через DecodeBudgetBytes и DocumentDecodeBudgetBytes, а цепочки фильтров — через DecodeFilterLimit и DecodePipelineDepthLimit; логика этих потолков разобрана в статье ограниченное декодирование для вложенных фильтров и PDF-бомб. Бюджет отвечает на один вопрос: сколько вывода дозволено. О декодере, свалившемся после записи горстки байтов не по адресу, он ничего сказать не может
Сбой, который всё же ловится, местами является худшим исходом. Необработанное падение хотя бы останавливает процесс. Пойманное позволяет ему продолжать обслуживать запросы поверх испорченной кучи, а конечный отказ несёт трассировку стека, указывающую очень далеко от PDF, который её вызвал
Перенос DCTDecode, JPXDecode и JBIG2Decode в рабочий процесс
HotPDF умеет гонять три рискованных фильтра изображений — DCTDecode, JPXDecode и JBIG2Decode — в короткоживущем рабочем процессе HotPDFCodecWorker.exe, а не внутри вашего приложения. Модуль HPDFCodecIsolation называет их hckDCT, hckJPX и hckJBIG2. Flate, LZW, RunLength, ASCII85 и CCITT остаются в процессе: у тех декодеров простое состояние, и бюджеты декодирования — их правильный инструмент
Каждый запрос получает свежий процесс. Хост создаёт одно отображение разделяемой памяти со случайным именем, пишет туда фиксированный THPDFCodecSharedHeader, за ним сжатый кодовый поток, а для JBIG2 — глобальные сегменты, затем стартует воркер приостановленным, устраивает его в Windows Job Object и только потом разрешает бежать. Задача разрешает ровно один активный процесс, так что скомпрометированный декодер не породит ребёнка, а создаётся она с kill-on-close, так что воркер не переживёт хэндл задачи. Декодированные пиксели возвращаются 24-битным BGR в том же отображении, вместе со словом статуса
Включение — четыре свойства на THotPDF. Вызовы изображений остаются теми же, которыми вы уже пользуетесь:
uses
Vcl.Graphics, HPDFDoc, HPDFCodecIsolation;
procedure ExtractUntrustedImages(const FileName: string);
var
Pdf: THotPDF;
Info: THPDFCodecWorkerInfo;
Bmp: TBitmap;
I: Integer;
begin
Pdf := THotPDF.Create(nil);
try
Pdf.CodecIsolationMode := cimRequired; // никогда не декодировать это в процессе
Pdf.CodecWorkerExecutable := ''; // '' = рядом с EXE хоста
Pdf.CodecWorkerTimeoutMilliseconds := 5000; // 1..600000, иначе ERangeError
Pdf.CodecWorkerMemoryLimitBytes := 256 * 1024 * 1024; // 0 или >= 64 МиБ
Pdf.DecodeBudgetBytes := 128 * 1024 * 1024;
if Pdf.LoadFromFile(FileName) > 0 then // возвращает число страниц
for I := 0 to Pdf.GetLoadedImageCount - 1 do
begin
Bmp := Pdf.ExtractLoadedImage(I);
try
// Вердикт читайте сразу: он описывает только последний запрос
if Pdf.GetLastCodecWorkerInfo(Info) then
LogCodecOutcome(FileName, I, Info);
if Bmp <> nil then
StoreImage(FileName, I, Bmp); // ваш собственный код
finally
Bmp.Free;
end;
end;
finally
Pdf.Free;
end;
end;
Когда изолированное декодирование срывается, ExtractLoadedImage возвращает nil, так что проверка Bmp <> nil здесь несёт реальную нагрузку. GetLastCodecWorkerInfo возвращает False, когда ни одного запроса воркеру не записано — то, что вы увидите для изображения, сжатого Flate, или при cimDisabled
Больше всего хлопот доставляют две детали развёртывания. Пустой CodecWorkerExecutable разрешается в HotPDFCodecWorker.exe в каталоге ParamStr(0). Непустое значение прогоняется через ExpandFileName, а значит, относительный путь разрешается от текущего каталога. Для службы Windows это обычно System32, так что 'bin\HotPDFCodecWorker.exe' работает из IDE и отказывает после установки. Вторая деталь — разрядность: сборочный скрипт воркера выдаёт отдельные бинарники Win32 и Win64, и тот, что вы поставляете, обязан совпадать по архитектуре с процессом хоста
Automatic или required: что бывает, когда воркера нет?
Три значения THPDFCodecIsolationMode отвечают на один вопрос: что делать, когда воркера вообще нельзя использовать. cimDisabled его вовсе не пробует и декодирует всё в процессе. cimAutomatic, значение по умолчанию, пользуется воркером, когда HotPDFCodecWorker.exe существует, и откатывается к внутрипроцессному декодированию, когда файла нет, записывая cwsUnavailable. cimRequired откат отвергает; нет воркера — изображение не декодируется
Откат уже, чем кажется сперва, и эта узость намеренная. Откатывается только отсутствие исполняемого файла. Если файл существует, но CreateProcess отказывает — обычно его блокирует продукт endpoint-безопасности, — итог cwsLaunchFailed, и изображение не декодируется даже под cimAutomatic. Воркер, который стартовал, а потом упал, вышел по таймауту или пробил лимит, ни в одном из режимов in-process не повторяется. Повторить в собственном процессе файл, который только что убил воркера, — значит вручить атакующему вторую попытку ровно по той цели, ради защиты которой воркер и существовал
Для всего, что читает загрузки, вложения писем или дропы партнёров, ставьте cimRequired. У режима по умолчанию есть ловушка, которая проявляется только после развёртывания: установщик, забывший воркера, даёт сервер, который извлекает каждое изображение правильно, проходит каждый функциональный тест и гоняет кодеки внутри хоста на каждом отдельном запросе. Сломанного ничего не видно. cimAutomatic разумен для настольного просмотрщика, открывающего файлы, которые у пользователя уже есть, — там отсутствие воркера должно понижать качество, а не останавливать продукт. cimRequired заодно выключает ProgressiveJPEGScanDecoding, прогрессивный JPEG-путь со сканированием по сканам, потому что тот путь декодирует в хосте
Проверка на старте превращает забытого воркера в немедленный громкий отказ. HPDFResolveCodecWorkerExecutable публичен в HPDFCodecIsolation и применяет то же правило разрешения, что и компонент:
// Проверка старта, которую вы добавляете сами: не стартовать без воркера
procedure RequireCodecWorker(Pdf: THotPDF);
var
WorkerPath: string;
begin
WorkerPath := HPDFResolveCodecWorkerExecutable(Pdf.CodecWorkerExecutable);
if not FileExists(WorkerPath) then
raise Exception.CreateFmt(
'Codec worker missing at %s; refusing to accept PDF uploads',
[WorkerPath]);
end;
Чтение THPDFCodecWorkerStatus
THPDFCodecWorkerInfo несёт Status, ProcessId, ExitCode, ElapsedMilliseconds и хостовый ErrorMessage. Значения статуса — cwsNotRun, cwsSucceeded, cwsUnavailable, cwsLaunchFailed, cwsTimedOut, cwsCrashed, cwsDecodeFailed, cwsProtocolError и cwsOutputLimit, и рассортировываются они в три операционные группы
- Развёртывание:
cwsUnavailableиcwsLaunchFailed. Воркер отсутствует, заблокирован или не смог стартовать внутри своей задачи. Будите того, кто владеет сервером; сам документ может быть вполне цел - Документ:
cwsDecodeFailedиcwsOutputLimit. Кодовый поток искажён или больше, чем позволяет ваша политика. Правильный ответ — отвергнуть файл - Сдерживание:
cwsTimedOut,cwsCrashedиcwsProtocolError. Зависание, мёртвый воркер или ответ, чей заголовок не совпадает с версией протокола либо чья заявленная геометрия не сходится. Это как раз события, ради которых существует граница процесса, и файл заслуживает карантина, а не простого отказа
Разницу между cwsDecodeFailed и cwsCrashed стоит знать, когда читаете числа. Delphi превращает большинство нарушений доступа в исключения, а воркер ловит исключения вокруг декодера и отчитывается ими как несостоявшимся декодированием. cwsCrashed значит, что процесс воркера закончился с ненулевым кодом выхода, — это когда сбой был настолько тяжёлым, что ни один обработчик исключений не успел запуститься. ExitCode — Cardinal, так что форматируйте его через %u или как hex; $C0000005, напечатанный через %d, превращается в отрицательное число, которое никто не ищет правильно
procedure LogCodecOutcome(const FileName: string; ImageIndex: Integer;
const Info: THPDFCodecWorkerInfo);
begin
case Info.Status of
cwsSucceeded:
;
cwsUnavailable, cwsLaunchFailed:
AlertOps('Codec worker not usable: ' + Info.ErrorMessage); // ваш собственный код
cwsTimedOut, cwsCrashed, cwsProtocolError:
Quarantine(FileName, Format('image %d: pid %u exit $%.8x after %u ms: %s',
[ImageIndex, Info.ProcessId, Info.ExitCode,
Info.ElapsedMilliseconds, Info.ErrorMessage])); // ваш собственный код
else
RejectDocument(FileName, Info.ErrorMessage); // ваш собственный код
end;
end;
Воркер заодно подавляет диалог сбоя Windows для себя самого, так что падение на безнадзорном сервере всплывает в этом логе, а не модальным окном, ждущим, пока кто-нибудь нажмёт OK на машине, на которую никто не смотрит
Три потолка на каждом изолированном декодировании
Каждое изолированное декодирование идёт под лимитом времени, лимитом памяти и лимитом вывода, и статус сообщает, какой из них его закончил. CodecWorkerTimeoutMilliseconds по умолчанию 10 000 и принимает от 1 до 600 000; всё вне диапазона поднимает ERangeError при присвоении, а не зажимается. По таймауту хост терминирует всю задачу и отчитывается cwsTimedOut. CodecWorkerMemoryLimitBytes по умолчанию 536 870 912 байтов и обязан быть нулём, то есть без потолка, либо не меньше 67 108 864 байтов; в Job Object он становится по-процессным лимитом выделенной памяти
Лимит вывода выводится. HotPDF вычисляет байты, которых декодированному изображению следует требовать, — из запрошенного целевого размера, запрошенной области или геометрии изображения, заявленной в PDF, — по три байта на пиксель, а затем зажимает эту цифру в DecodeBudgetBytes, если бюджет задан. Разделяемое отображение размеруется от этой цифры, так что воркеру некуда писать за её пределами. Положим, скан заявляет 10 000 на 10 000 пикселей: это 300 000 000 байтов BGR-вывода, больше дефолтных 268 435 456 байтов DecodeBudgetBytes, так что лимитом становится 256 МиБ, и декодирование заканчивается с cwsOutputLimit
Размер, которым воркер отчитывается назад, хост тоже не доверяет. Ответ принимается, только если ширина на высоту на три сходится с заявленным числом байтов и это число влезает и в собственный лимит вывода хоста, и в отображение. Подкрученный воркер может вписать в заголовок любое значение; расхождение отчитывается как cwsProtocolError, и ни один пиксель не копируется
Держите лимит памяти с комфортом выше лимита вывода. При настройках первого примера бюджет вывода 128 МиБ внутри потолка процесса 256 МиБ оставляет место сжатому входу и собственному рабочему набору декодера. Сдвиньте их друг к другу — и большие легитимные сканы начнут отваливаться внутри воркера по причинам, не имеющим ничего общего со враждебным вводом
Во что обходится граница процесса
Старт процесса на каждое изолированное изображение стоит времени, и документ с несколькими сотнями отсканированных JPEG-страниц это почувствует. У безнадзорного пакетного конвертера эта стоимость растворяется в ночном окне, а сдерживание — та причина, по которой задание вообще существует. Интерактивный просмотрщик, показывающий файлы, которым пользователь уже доверяет, — другой случай; там cimAutomatic, а для известного внутреннего архива cimDisabled — честный выбор. CodecIsolationMode — обычное свойство, так что один сервис может применять cimRequired к загрузкам и полегче режим к документам, которые сам породил
Конкретный кодек тоже меняет картину риска. Потоки JPXDecode несут числа тайлов и компонент, которые напрямую рулят выделениями памяти, а изображения JBIG2 часто зависят от потока /JBIG2Globals, разделяемого несколькими страницами. Песочница, поставляющая только поток конкретного изображения, декодировала бы такие страницы неверно или никак — вот почему глобальные сегменты едут в воркер вместе с каждым изображением
Изоляция кодеков, бюджеты декодирования и структурные лимиты парсера живут в одном нативном VCL-компоненте, и единственный лишний файл к развёртыванию — исполняемый файл воркера. Заметки по установке, сборка воркера для Win32 и Win64 и пробная загрузка — на странице компонента HotPDF для Delphi и C++Builder