Техническая статья

HotPDF CompressDocument: компактные сабсеты шрифтов в Delphi

Два китайских иероглифа, набранные SimSun и прогнанные через обычный TrueType-сабсеттер, всё равно оставляют в PDF около 25 КБ врезанных шрифтовых данных. Контуры тех двух иероглифов — крохотная доля этого. Остальное — бухгалтерия слотов: сабсет сохранил исходную нумерацию глифов, поэтому тащит запись местоположения и запись ширины для каждого glyph ID вплоть до наивысшего оставленного, а в CJK-начертании иероглифы сидят глубоко в очень большой таблице. Перенумеруйте выживших с нуля, поручите перевод потоку /CIDToGIDMap — и те же два символа укладываются примерно в 3 КБ

Куда уходят байты в разреженном сабсете шрифта

Разреженный сабсет остаётся тяжёлым, потому что отказывается двигать хоть один глиф. HotPDF пишет Unicode-текст шрифтом Type 0 над потомком CIDFontType2, и поток содержимого показывает каждый глиф его исходным glyph ID, использованным как CID. При /CIDToGIDMap /Identity ISO 32000-1 §9.7.4.2 велит зрителю считать этот CID прямо индексом глифа. Перенумеруйте глифы внутри шрифтовой программы, оставив всё прочее как было, — и каждый символ на странице укажет на чужой контур. Сохранение нумерации — дешёвый безопасный ответ. Цена в том, что loca и hmtx обязаны накрывать каждый слот вплоть до наивысшего оставленного GID, пустой он или нет

Положим, CJK-начертание объявляет 28 000 глифов, и один из ваших двух символов сидит ближе к концу. Таблица loca длинного формата тратит 4 байта на слот — около 112 КБ, — а полные горизонтальные метрики ещё 4 байта на слот. Это свыше 200 КБ таблиц до сжатия, почти сплошь нули и повторяющиеся смещения. Flate такие серии ужимает отлично, но исчезнуть им не даёт — отсюда и берётся большая часть тех 25 КБ. Латинское начертание с парой тысяч глифов несёт ту же структуру в десятую долю масштаба, так что цена по-настоящему ложится на документы, подмешивающие китайский, японский или корейский текст

Какие глифы выживают вовсе (компоненты составных глифов, альтернативы, подтянутые шейпингом), решается раньше — правилами замыкания сабсета шрифта для шейпленных глифов. Компакция меняет лишь то, во что выжившим обходится жизнь, когда этот набор уже зафиксирован

Компактные сабсеты шрифтов за потоком CIDToGIDMap

THotPDF.CompactFontSubsetting перенумеровывает оставленные глифы в плотный диапазон с нуля, отстраивает глифовые таблицы заново — только для этих глифов — и пишет на CIDFont явный поток /CIDToGIDMap. ISO 32000-1 §9.7.4.2 определяет этот поток как массив двухбайтовых big-endian glyph ID, индексируемых по CID: GID для CID n лежит на байтовом смещении 2n. Потоки содержимого, массив ширин /W и CMap ToUnicode хранят исходные числа как CID. В карту переезжает только шаг от CID к глифу, так что трогать уже записанное на страницу не требуется

Свойство работает само по себе. Остальной компрессионный механизм для уменьшения шрифтов не нужен, а для отчёта, состоящего по большей части из CJK-текста, эта пара настроек делает основную работу:

Pdf.EnableFontSubsetting := True;
Pdf.CompactFontSubsetting := True;   // работает без CompressDocument
Pdf.BeginDoc;
Pdf.CurrentPage.SetFont('SimSun', [], 12);
Pdf.CurrentPage.TextOut(40, 40, 0, WideString('Total: '#$4E2D#$6587));
Pdf.EndDoc;
Сравнение разреженного сабсета шрифта HotPDF, хранящего записи loca и hmtx для каждого исходного glyph ID вплоть до наивысшего оставленного GID, с выводом CompactFontSubsetting, который плотно перенумеровывает оставленные глифы с нуля и проецирует CIDs через поток CIDToGIDMap, тогда как потоки содержимого, /W и ToUnicode не меняются
Перенумерация выносит стоимость из шрифтовой программы в один маленький map-поток — два символа SimSun худеют примерно с 25 КБ до 3 КБ, не тронув ни байта уже написанного содержимого

Компакция касается конкретного сорта шрифтов. HotPDF строит компактные сабсеты для начертаний Type 0 TrueType: тех, что ставятся через SetFont при включённом EnableFontSubsetting, и начертания, зарегистрированного через RegisterUnicodeTTF. Простой TrueType-шрифт локализуется через cmap внутри собственной шрифтовой программы, и перенумерация оставила бы тот cmap указывающим на чужие глифы, поэтому простые шрифты сохраняют разреженный сабсет. OpenType-CFF тоже. Если компактная сборка для конкретного шрифта сорвалась, HotPDF пишет для него разреженный сабсет и продолжает документ. По умолчанию свойство выключено, так что существующий вывод остаётся байт в байт, пока вы не согласитесь; под PDF/A зарегистрированное Unicode-начертание всегда получает компактный сабсет

Одна ловушка ждёт на читающей стороне. Поток /CIDToGIDMap выглядит как сосед CMap-ов, но это сырой бинарник без блоков begincidchar, и скормить его токенизатору CMap — значит получить пустое отображение без малейшей ошибки. Если ваш собственный инструментарий извлекает из таких файлов текст или меряет глифы, читайте карту как простые 16-битные пары

Что CompressDocument меняет для одного документа?

THotPDF.CompressDocument берёт взаймы шесть настроек райтера плюс лимит object streams на BeginDoc и возвращает каждую на EndDoc. Прежде чем устоится версия PDF, HotPDF запоминает ваши значения и затем ставит:

  • Compression в cmFlateDecode и CompressionLevel в clMaximum
  • EnableFontSubsetting и CompactFontSubsetting в True
  • UseXRefStream и UseObjectStreams в True, по ISO 32000-1 §7.5.7 и §7.5.8
  • Лимит объектов на контейнер — 250 вместо обычных 100, если вы уже не поставили свой через ConfigureAdaptiveObjectStreamPacking

Object streams требуют PDF 1.5, так что более старая Version поднимается до 1.5, если версия не заперта. PDF/A-1 запрещает cross-reference и object streams начисто, поэтому PDF/A-1-документ сохраняет классическую таблицу перекрёстных ссылок и получает только Flate- и шрифтовую работу. Изображения пишутся ровно так, как вы их врезали; ничего не переносэмпливается и не пережимается с потерями

Схема жизненного цикла CompressDocument в HotPDF под Delphi: BeginDoc запоминает собственные значения писателя, перекрывает шесть настроек, включая Compression и UseObjectStreams, на один документ, а EndDoc возвращает каждое взятое значение в своём внешнем finally, тогда как само свойство CompressDocument остаётся True
Шесть настроек писателя и лимит object streams берутся взаймы ровно на один документ и возвращаются, когда отрабатывает EndDoc, так что упавший отчёт не оставит компонент залипшим на максимальном сжатии
var
  Pdf: THotPDF;
begin
  Pdf := THotPDF.Create(nil);
  try
    Pdf.AutoLaunch := False;
    Pdf.FileName := 'invoice-2026-1042.pdf';
    Pdf.CompressDocument := True;    // применяется BeginDoc, отменяется EndDoc
    Pdf.BeginDoc;
    Pdf.CurrentPage.SetFont('Arial', [], 12);
    Pdf.CurrentPage.TextOut(40, 40, 0, 'Invoice 2026-1042');
    Pdf.CurrentPage.SetFont('SimSun', [], 12);
    Pdf.CurrentPage.TextOut(40, 60, 0, WideString(#$5408#$8BA1));
    Pdf.EndDoc;
  finally
    Pdf.Free;
  end;
end;

Возврат идёт в самом внешнем finally у EndDoc. Для компонента, живущего в дата-модуле и пишущего сотни отчётов в день, это существенно: исключение на середине одного отчёта не оставит следующее задание бежать на максимальном сжатии с принудительным сабсеттингом. Само свойство CompressDocument остаётся True, так что следующий документ получит то же обращение, а назад уезжают только взятые взаймы настройки

С версией обращаются бережнее. HotPDF откатывает собственное поднятие до 1.5, только если документ всё ещё кончает на 1.5. Когда другая возможность задирает файл выше по ходу дела (врезанный OpenType-шрифт, требующий 1.6, скажем), более высокая версия остаётся — ровно тот результат, что вышел бы и без сжатия. Для долгоживущего компонента это безопаснее дизайна, чем ручная установка шести свойств однажды на старте: ручные значения липнут к каждому последующему заданию, включая редактируемые

Подрезка синтаксиса, смещений и упаковки object streams

Когда шрифты и потоки ужаты, словари и данные перекрёстных ссылок становятся крупнейшей оставшейся статьёй расходов, и райтер object streams, которым пользуется CompressDocument, подрезает и их. Сам формат контейнеров разобран в руководстве object streams и инкрементальные обновления. Поверх него компрессионный путь добавляет четыре уточнения:

  • Компактный синтаксис по ISO 32000-1 §7.2.2: пробел пишется только там, где два токена иначе слиплись бы в обычные символы, так что /Type /Page становится /Type/Page
  • Поля cross-reference stream используют любую ширину, какую позволяет §7.5.8.2, так что файл до 16 МБ хранит каждое смещение в 3 байтах вместо 4
  • До 250 объектов заезжает в каждый object stream; меньше, более крупные контейнеры дают Flate больше повторов для работы
  • В незашифрованном файле Catalog и словарь Info тоже пакуются в object streams, тогда как зашифрованный вывод держит их на верхнем уровне

Компактный синтаксис сталкивается со всем, что латает файл поиском по его тексту. Подписание — очевидный случай. Значение подписи вписывается уже после записи файла — поиском литеральных заглушек /ByteRange ( и /Contents < в выходных байтах. Написанные компактно, они становятся /ByteRange( и /Contents<, и буквальный поиск их вовек не найдёт. Потому HotPDF пишет словари подписи (Type Sig или DocTimeStamp, либо FT Sig) и словарь шифрования в разреженном layout. Любой ваш послесохранный скрипт, грепающий /Type /Page и подобные токены с пробелами, требует шаблона, терпящего пропавший пробел

Можно ли сжать уже загруженный PDF?

Да. Перегрузка с опциями CompressLoadedDocument(Options, AInfo) прогоняет те же шаги без потерь по уже существующему файлу. С THPDFLoadedDocumentCompressionOptions.Default она вычищает неиспользуемые ресурсы страниц, сливает одинаковые шрифты и form XObjects, режет сабсеты врезанных шрифтов с включёнными компактными сабсетами, пересжимает потоки без фильтра, Flate, LZW, ASCII85, ASCIIHex и RunLength через Flate, когда результат выходит меньше, и переключает следующее сохранение на object streams. HighRatioFlate по умолчанию выключен, а object streams пропускаются для PDF/A-1 и инкрементальных сохранений. Беспараметрическая перегрузка CompressLoadedDocument — вызов поуже: она лишь Flate-сжимает потоки, хранящиеся несжатыми

var
  Doc: THotPDF;
  Options: THPDFLoadedDocumentCompressionOptions;
  Info: THPDFLoadedDocumentCompressionInfo;
begin
  Doc := THotPDF.Create(nil);
  try
    Doc.AutoLaunch := False;
    Doc.LoadFromFile('quarterly-report.pdf');
    Options := THPDFLoadedDocumentCompressionOptions.Default;
    // Options.AllowSignatureInvalidation := True;  // только если потеря подписей приемлема
    Doc.CompressLoadedDocument(Options, Info);
    if Info.RefusedBySignaturePolicy then
      Writeln(Format('Left untouched: %d signature fields', [Info.SignatureCount]))
    else
    begin
      Writeln(Format('Compact fonts: %d, bytes saved before object streams: %d',
        [Info.Fonts.CompactSubsetFontCount, Info.BytesSaved]));
      Doc.SaveLoadedDocument('quarterly-report-compact.pdf');
    end;
  finally
    Doc.Free;
  end;
end;

Подписанные файлы обрабатываются одним решением. Каждый шаг переписывает байты, накрытые подписью, поэтому документ с полями подписей отвергается целиком: вызов возвращает 0, ставит RefusedBySignaturePolicy и не меняет ничего. AllowSignatureInvalidation разрешает работу продолжиться, и Info.SignaturesInvalidated затем отмечает, что подписи больше не верифицируются. В батчах держите эту опцию выключенной. Папка договоров, ужатая за ночь, — скверное место обнаружить, что половина несла подписи

Схема CompressLoadedDocument в HotPDF под Delphi: вызов вычищает неиспользуемые ресурсы страниц, сливает одинаковые шрифты и формы, режет сабсеты врезанных шрифтов компактными сабсетами, пересжимает потоки через Flate, только когда результат меньше, и включает object streams для следующего сохранения, тогда как поля подписей триггерят RefusedBySignaturePolicy и оставляют файл нетронутым
Каждый шаг переписывает байты, накрытые подписью, поэтому весь документ отвергается, пока вы явно не разрешите инвалидацию — Info.BytesSaved тогда суммирует только работу с ресурсами, шрифтами и потоками

Компакция на загруженном пути строже, чем на пути создания, и причина идёт прямо из формата файла. К моменту сабсеттинга шрифтов декодер уже прогнал каждый CID в GID через ту /CIDToGIDMap, что была у файла, а новая компактная карта обязана индексироваться по CID. Совпадают эти две вещи, только когда CID равен GID. Потому HotPDF ужинает шрифтовую программу, лишь когда каждый шрифт, ею пользующийся, — CIDFontType2 с Identity-/CIDToGIDMap. Программы, у которых карта-поток уже есть, простые TrueType-шрифты и шрифты с /CIDSet получают разреженный сабсет. Как и начертания с таблицами цветных глифов (COLR, sbix, CBDT или SVG): компактная пересборка хранит одни контурные таблицы и потеряла бы цветовые слои

Читайте Info.BytesSaved как есть. Он суммирует шаги по ресурсам, шрифтам и потокам, тогда как выигрыш object streams появляется лишь при записи файла через SaveLoadedDocument, так что полную цифру сравнивайте по размерам файлов на диске

Финальные копии против документов, которые ещё меняются

Выигрыш следует за тем, какая доля файла — несжатая структура и раздутые шрифтовые данные, а число страниц ни при чём. Трёхстраничный документ со смесью английского и китайского текста в Arial и SimSun, оба шрифта врезаны целиком: несжатый файл выходит около 10 МБ; порождённый с CompressDocument — примерно 20 КБ, большая часть падения от сабсеттинга шрифтов, а CompressLoadedDocument приземляется в том же диапазоне для несжатого оригинала. Уже компактный PDF едва шевелится. Файлам, перегруженным фотографиями, выигрыша мало: ни один из путей данных изображений не касается

Цена — редактируемость. Шрифт-сабсет способен показать только те символы, что документ уже использует, так что AcroForm, который кто-то заполнит позже, или инкрементальная правка, добавляющая новый текст тем же шрифтом, могут упереться в отсутствующие глифы. Упакованные object streams к тому же перестают читаться в текстовом редакторе, что притормозит любую отладочную сессию, начинающуюся с открытия PDF в Блокноте. Включайте CompressDocument для финальных копий: архивных счетов, выписок, всего, что порождается однажды и после только читается. Для шаблонов и форм, которые кто-то вниз по течению будет заполнять, оставляйте выключенным и держите полные шрифты

Если каждую ночь порождаете одни и те же CJK-отчёты, спарьте компактные сабсеты с постоянным кэшем сабсетов шрифтов на диске, чтобы работа сабсеттинга не переделывалась на каждом прогоне. А сравнивая два ночных вывода, диффите их по содержимому объектов. Одно изменённое поле пере-Flate-ит весь свой object stream целиком, так что байтовый дифф покажет куда больше изменений, чем случилось на самом деле

Детали свойств, записей и опций для всего вышеописанного — в справке на странице продукта HotPDF Delphi PDF component