技術記事

HotPDF CompressDocumentのコンパクトフォントサブセット

SimSunで組まれた漢字2文字を、普通のTrueTypeサブセッターに通しても、PDFには約25 KBの埋め込みフォントデータが残ります。その2つの漢字のアウトラインはその一部にすぎません。残りはスロットの簿記です。サブセットは元のグリフ番号を保持したため、保持した最高のグリフIDまでのすべてのグリフIDについて、位置エントリと幅エントリをまだ運んでおり、CJK書体では漢字は非常に大きなテーブルの深い場所に座っています。生き残ったものをゼロから再番号付けし、/CIDToGIDMapストリームに翻訳させれば、同じ2文字が約3 KBに収まります

スパースなフォントサブセットのバイトの行き先

スパースなサブセットが重いままなのは、どのグリフも動かすことを拒むからです。HotPDFはUnicodeテキストを、CIDFontType2の子孫の上にType 0フォントとして書き、コンテンツストリームは各グリフをCIDとして使われる元のグリフIDで示します。/CIDToGIDMap /Identityでは、ISO 32000-1 §9.7.4.2が、そのCIDを直接グリフインデックスとして扱うようビューアーに告げます。フォントプログラム内のグリフを再番号付けして他をそのままにすると、ページ上のすべての文字が間違ったアウトラインを指します。番号付けを保つのが安くて安全な答えです。その代償は、locaとhmtxが、保持された最高GIDまでのすべてのスロットを、空であってもカバーしなければならないことです

CJK書体が28,000グリフを宣言していて、2文字のうちの1文字がその末尾近くにいるとしましょう。ロングフォーマットのlocaテーブルはスロットあたり4バイト、約112 KBを使い、完全な水平メトリクスはさらにスロットあたり4バイトを使います。圧縮前で200 KB超のテーブルで、ほとんどがゼロと繰り返されるオフセットです。Flateはそういう連なりをよく縮めますが、消すことはできず、25 KBの大半はここから来ます。数千グリフのラテン書体は同じ構造を1/10の規模で運ぶため、コストが本当に着地するのは、中国語・日本語・韓国語テキストを混ぜる文書です

そもそもどのグリフが生き残るか(複合グリフのコンポーネント、シェーピングが引き込んだ代替グリフ)は、もっと早い段階で、シェープドグリフのためのフォントサブセット閉包ルールが決めます。コンパクションが変えるのは、そのセットが確定した後で生き残りがいくらかかるかだけです

CIDToGIDMapストリームの背後のコンパクトフォントサブセット

THotPDF.CompactFontSubsettingは、保持グリフをゼロから始まる密な範囲へ再番号付けし、それらのグリフのためだけにグリフテーブルを組み立て直し、CIDFontに明示的な/CIDToGIDMapストリームを書きます。ISO 32000-1 §9.7.4.2は、そのストリームを、CIDでインデックスされた2バイトのビッグエンディアンのグリフID配列と定義します。CID nのためのGIDはバイトオフセット2nに座っています。コンテンツストリーム、/W幅配列、ToUnicode CMapは、すべて元の番号をCIDとして保ちます。CIDからグリフへのステップだけがマップへ移るため、すでにページへ書かれたものには何も触れる必要がありません

このプロパティは単独で動きます。より小さいフォントのために圧縮機構の残りは必要なく、主にCJKテキストのレポートには、この2つの設定ペアが仕事の大半をします:

Pdf.EnableFontSubsetting := True;
Pdf.CompactFontSubsetting := True;   // CompressDocumentなしで使える
Pdf.BeginDoc;
Pdf.CurrentPage.SetFont('SimSun', [], 12);
Pdf.CurrentPage.TextOut(40, 40, 0, WideString('Total: '#$4E2D#$6587));
Pdf.EndDoc;
疎なHotPDFフォントサブセットとコンパクト出力の比較。疎な方は保持する最高GIDまでのすべての元グリフIDについてlocaとhmtxのエントリーを保持します。CompactFontSubsettingの出力は保持グリフをゼロから密に再番号付けし、コンテンツストリーム、/W、ToUnicodeを変えないまま、CIDをCIDToGIDMapストリーム経由で割り当てます
再番号付けはコストをフォントプログラムから1つの小さなマップストリームへ移します。SimSunの2文字は、すでに書かれたコンテンツの1バイトにも触れずに、24.8 KBから3.1 KBへ落ちました

コンパクションは特定の種類のフォントに適用されます。HotPDFがコンパクトサブセットを組み立てるのはType 0のTrueType書体です。EnableFontSubsettingがオンの状態でSetFontを通して設定されたものと、RegisterUnicodeTTFで登録された書体です。単純TrueTypeフォントは自分のフォントプログラム内のcmapで位置が決まるため、再番号付けするとそのcmapが間違ったグリフを指すことになり、単純フォントはスパースサブセットを保ちます。OpenType-CFF書体も同様です。特定のフォントでコンパクトビルドが失敗した場合、HotPDFはそのフォントにスパースサブセットを書き、ドキュメントを続けます。プロパティは既定オフのため、オプトインするまで既存の出力はバイト単位で同一のままです。PDF/Aでは、登録されたUnicode書体は常にコンパクトサブセットを受け取ります

罠が1つ、読み手の側にあります。/CIDToGIDMapストリームは、CMapの隣に置かれるべきものに見えますが、begincidcharブロックを持たない生のバイナリであり、CMapトークナイザーに渡すと、エラーを一切出さずに空のマッピングを返します。自分のツールがこれらのファイルからテキストを抽出したりグリフを測ったりするなら、マップは素の16ビットペアとして読んでください

CompressDocumentは1つの文書に何を変えるか

THotPDF.CompressDocumentは、BeginDocで6つのライター設定とオブジェクトストリーム上限を借り、EndDocで全部返します。PDFバージョンが確定する前に、HotPDFはあなたの値を記録してから、次を設定します:

  • CompressionをcmFlateDecodeへ、CompressionLevelをclMaximumへ
  • EnableFontSubsettingとCompactFontSubsettingをTrueへ
  • UseXRefStreamとUseObjectStreamsをTrueへ(ISO 32000-1 §7.5.7と§7.5.8)
  • コンテナあたりオブジェクト上限を、通常の100の代わりに250へ。ConfigureAdaptiveObjectStreamPackingで自分の値を設定済みの場合を除く

オブジェクトストリームにはPDF 1.5が必要なため、バージョンが固定されていなければ、古いVersionは1.5へ引き上げられます。PDF/A-1はクロスリファレンスストリームとオブジェクトストリームを丸ごと禁止するため、PDF/A-1の文書はクラシックなクロスリファレンステーブルを保ち、Flateとフォントの仕事だけを受け取ります。画像は埋め込んだ通りのままで書かれます。再サンプリングも非可逆の再圧縮もありません

DelphiにおけるHotPDF CompressDocumentのライフサイクル図。BeginDocはライター自身の値を記録し、CompressionとUseObjectStreamsを含む6つの設定を1つの文書の間だけ上書きし、EndDocはCompressDocumentプロパティ自体をTrueのままにしながら、最も外側のfinallyで借りた値をすべて復元します
6つのライター設定とオブジェクトストリーム上限は、正確に1つの文書の間だけ借りられ、EndDocの実行時に返されます。失敗したレポートが、コンポーネントを最大圧縮のまま貼り付けておくことはありません
var
  Pdf: THotPDF;
begin
  Pdf := THotPDF.Create(nil);
  try
    Pdf.AutoLaunch := False;
    Pdf.FileName := 'invoice-2026-1042.pdf';
    Pdf.CompressDocument := True;    // BeginDocで適用され、EndDocで元に戻る
    Pdf.BeginDoc;
    Pdf.CurrentPage.SetFont('Arial', [], 12);
    Pdf.CurrentPage.TextOut(40, 40, 0, 'Invoice 2026-1042');
    Pdf.CurrentPage.SetFont('SimSun', [], 12);
    Pdf.CurrentPage.TextOut(40, 60, 0, WideString(#$5408#$8BA1));
    Pdf.EndDoc;
  finally
    Pdf.Free;
  end;
end;

復元はEndDocの最も外側のfinallyで走ります。データモジュールに住み、1日に数百のレポートを書くコンポーネントにとって、これは重要です。あるレポートの途中の例外が、次のジョブを最大圧縮とサブセット強制のまま走らせたままにはしません。CompressDocumentプロパティ自体はTrueのままなので、次の文書は同じ扱いを受け、借りられた設定だけが戻ります

バージョンはより慎重な扱いを受けます。HotPDFは自分の1.5への引き上げを、文書がまだ1.5で終わっているときだけ元に戻します。別の機能が実行中にファイルを高く押し上げた場合(1.6を必要とする埋め込みOpenTypeフォントなど)、高いバージョンが残ります。これは圧縮なしで得られる結果とまったく同じです。長生きするコンポーネントにとっては、起動時に6つのプロパティを手で設定するより安全な設計です。手で設定した値は、編集可能なジョブを含むすべての後続ジョブに居座り続けます

構文、オフセット、オブジェクトストリーム詰め込みの切り詰め

フォントとストリームが小さくなると、辞書とクロスリファレンスデータが残る最大のコストになり、CompressDocumentが使うオブジェクトストリームライターはそれらも切り詰めます。コンテナフォーマット自体はオブジェクトストリームと増分更新のガイドで扱っています。その上に、圧縮経路は4つの洗練を足します:

  • ISO 32000-1 §7.2.2に沿ったコンパクト構文。スペースは、2つのトークンがさもなければ通常文字として連なってしまう場所にだけ書かれます。つまり/Type /Pageは/Type/Pageになります
  • クロスリファレンスストリームのフィールドは§7.5.8.2が許す任意の幅を使うため、16 MB未満のファイルは各オフセットを4バイトでなく3バイトで格納します
  • 各オブジェクトストリームには最大250オブジェクトが入ります。より少なくより大きいコンテナが、Flateに扱える繰り返しを多く与えます
  • 暗号化されていないファイルでは、CatalogとInfo辞書もオブジェクトストリームへ詰め込まれます。暗号化された出力では最上位レベルに保たれます

コンパクト構文は、テキストを検索してファイルにパッチを当てるあらゆるものと衝突します。署名が明白なケースです。署名値は、ファイルが書かれた後に、出力バイトの中のリテラルのプレースホルダー/ByteRange (と/Contents <を探すことで満たされます。コンパクトに綴られると、これらは/ByteRange(と/Contents<になり、リテラル検索は決して見つけられません。したがってHotPDFは、署名辞書(TypeがSigかDocTimeStamp、またはFTがSig)と暗号化辞書を、スペース付きのレイアウトで書きます。/Type /Pageやそれに類するスペース付きトークンをgrepする保存後のスクリプトは、欠けたスペースを許容するパターンが必要です

すでにロードされたPDFは圧縮できるか

できます。オプションオーバーロードのCompressLoadedDocument(Options, AInfo)は、既存のファイルに同じ可逆ステップを実行します。THPDFLoadedDocumentCompressionOptions.Defaultでは、未使用のページリソースを削除し、同一のフォントとフォームXObjectsをマージし、コンパクトサブセットをオンにして埋め込みフォントをサブセット化し、結果が小さくなるときだけ非フィルター、Flate、LZW、ASCII85、ASCIIHex、RunLengthのストリームをFlateで再圧縮し、次の保存をオブジェクトストリームへ切り替えます。HighRatioFlateは既定オフで、PDF/A-1と増分保存ではオブジェクトストリームはスキップされます。引数なしのCompressLoadedDocumentオーバーロードはより狭い呼び出しです。非圧縮で保存されているストリームだけをFlate圧縮します

var
  Doc: THotPDF;
  Options: THPDFLoadedDocumentCompressionOptions;
  Info: THPDFLoadedDocumentCompressionInfo;
begin
  Doc := THotPDF.Create(nil);
  try
    Doc.AutoLaunch := False;
    Doc.LoadFromFile('quarterly-report.pdf');
    Options := THPDFLoadedDocumentCompressionOptions.Default;
    // Options.AllowSignatureInvalidation := True;  // 署名を失って構わない場合だけ
    Doc.CompressLoadedDocument(Options, Info);
    if Info.RefusedBySignaturePolicy then
      Writeln(Format('Left untouched: %d signature fields', [Info.SignatureCount]))
    else
    begin
      Writeln(Format('Compact fonts: %d, bytes saved before object streams: %d',
        [Info.Fonts.CompactSubsetFontCount, Info.BytesSaved]));
      Doc.SaveLoadedDocument('quarterly-report-compact.pdf');
    end;
  finally
    Doc.Free;
  end;
end;

署名付きファイルは単一の決定として扱われます。すべてのステップは署名が覆うバイトを書き直すため、署名フィールドを持つ文書は丸ごと拒否されます。呼び出しは0を返し、RefusedBySignaturePolicyを設定し、何も変えません。AllowSignatureInvalidationを設定すると作業が進み、Info.SignaturesInvalidatedが、署名がもう検証しないことを記録します。バッチジョブではこのオプションをオフのままにしてください。夜間に圧縮された契約書フォルダーは、その半分が署名付きだったと発見するのに最悪の場所です

DelphiにおけるHotPDF CompressLoadedDocumentのフロー。呼び出しは未使用のページリソースを削除し、同一のフォントとフォームをマージし、埋め込みフォントをコンパクトサブセットでサブセット化し、結果が小さくなるときだけストリームをFlateで再圧縮し、次の保存のためにオブジェクトストリームをオンにします。署名フィールドはRefusedBySignaturePolicyを引き起こし、ファイルを無傷のまま残します
すべてのステップは署名が覆うバイトを書き直します。だから明示的に無効化を許さない限り、文書全体が拒否されます。Info.BytesSavedが合計するのは、リソース、フォント、ストリームの作業だけです

ロード済み経路でのコンパクションは、作成経路より厳格です。理由はファイル形式からまっすぐ来ています。フォントがサブセット化される頃には、デコーダーはすでにすべてのCIDを、そのファイルが運んでいた/CIDToGIDMapを通じてGIDへ変換していますが、新しいコンパクトマップはCIDでインデックスされなければなりません。2つが揃うのは、CIDがGIDと等しいときだけです。したがってHotPDFは、そのフォントプログラムを使うすべてのフォントが、Identityの/CIDToGIDMapを持つCIDFontType2であるときに限り、フォントプログラムをコンパクト化します。すでにマップストリームを持つプログラム、単純TrueTypeフォント、/CIDSetを持つフォントはスパースサブセットを受け取ります。カラーグリフテーブル(COLR、sbix、CBDT、SVG)を持つ書体もそうです。コンパクトな再構築はアウトラインテーブルしか保持せず、カラーレイヤーを落とすことになるからです

Info.BytesSavedは、それが何であるかを読んでください。リソース、フォント、ストリームのステップを合計します。オブジェクトストリームの利得は、SaveLoadedDocumentがファイルを書くときに初めて現れるため、全体の数字はディスク上のファイルサイズで比較してください

最終コピーと、まだ変わる文書

利得は、ファイルのどれだけが非圧縮の構造と過大なフォントデータかで決まり、ページ数とはほとんど関係ありません。ArialとSimSunで英語と中国語が混ざる3ページの文書を、両フォント完全埋め込みで作ると、非圧縮のファイルは約10 MBになります。CompressDocumentで生成すると約20 KBになり、その下落の大半はフォントサブセット化からです。CompressLoadedDocumentは、非圧縮の元ファイルに対して同じ範囲に着地します。すでにコンパクトなPDFはほとんど動きません。写真中心のファイルの利得は小さく、どちらの経路も画像データには触れないからです

コストは編集可能性です。サブセットフォントが見せられるのは、文書がすでに使っている文字だけです。したがって、後から誰かが記入するAcroFormや、同じフォントで新しいテキストを足す増分編集は、欠落グリフに突き当たることがあります。詰め込まれたオブジェクトストリームはテキストエディターでもう読めず、PDFをNotepadで開くところから始まるデバッグセッションは遅くなります。最終コピーにはCompressDocumentをオンにしてください。アーカイブされた請求書、明細書、1度生成して後は読まれるだけのものです。下流の誰かが記入するテンプレートとフォームには、オフのまま完全なフォントを保ってください

同じCJKレポートを毎晩生成するなら、コンパクトサブセットをディスク上の永続フォントサブセットキャッシュと組み合わせて、サブセット化の仕事が実行ごとにやり直されないようにしてください。そして2つの夜間出力を比較するときは、オブジェクトコンテンツでdiffしてください。1つの変わったフィールドがオブジェクトストリーム全体を再Flateするため、バイトdiffは実際よりはるかに多くの変更を示します

上記すべてのプロパティ、レコード、オプションの詳細は、HotPDF Delphi PDF component製品ページのリファレンスにあります