Article technique

HotPDF CompressDocument : sous-ensembles de polices compacts

Deux caractères chinois composés en SimSun et passés dans un sous-ensembliste TrueType ordinaire laissent quand même environ 25 KB de données de police embarquées dans le PDF. Les contours de ces deux idéogrammes sont une miche de cela. Le reste est de la comptabilité d'emplacements : le sous-ensemble a gardé la numérotation d'origine des glyphes, donc il porte toujours une entrée de localisation et une entrée de largeur pour chaque glyph ID jusqu'au plus haut qu'il a retenu, et dans une police CJK les idéogrammes logent au fond d'une très grande table. Renumérotez les survivants depuis zéro, laissez un flux /CIDToGIDMap traduire, et les mêmes deux caractères tiennent en environ 3 KB

Où partent les octets dans un sous-ensemble de police épars

Un sous-ensemble épars reste lourd parce qu'il refuse de déplacer le moindre glyphe. HotPDF écrit du texte Unicode comme une police Type 0 par-dessus un descendant CIDFontType2, et le flux de contenu montre chaque glyphe par son glyph ID d'origine utilisé comme CID. Avec /CIDToGIDMap /Identity, ISO 32000-1 §9.7.4.2 dit au viewer de traiter ce CID directement comme l'index de glyphe. Renumérotez les glyphes à l'intérieur du programme de police en laissant tout le reste tranquille, et chaque caractère de la page pointe le mauvais contour. Garder la numérotation est la réponse bon marché et sûre. Son prix est que loca et hmtx doivent couvrir chaque emplacement jusqu'au plus haut GID gardé, vide ou pas

Supposez qu'une police CJK déclare 28 000 glyphes et que l'un de vos deux caractères se trouve près de la fin. Une table loca au format long dépense 4 octets par emplacement, environ 112 KB, et les métriques horizontales complètes dépensent 4 autres octets par emplacement. Cela fait plus de 200 KB de tables avant compression, presque tout en zéros et décalages répétés. Flate rétrécit très bien des séries pareilles, mais il ne peut pas les faire disparaître, et c'est de là que viennent la plupart de ces 25 KB. Une police latine à quelques milliers de glyphes porte la même structure à un dixième de l'échelle, donc le coût tombe vraiment sur les documents qui mélangent du texte chinois, japonais ou coréen

Quels glyphes survivent en premier lieu (composantes composites, alternatives tirées par le shaping) est décidé plus tôt, par les règles de clôture de sous-ensemble de polices pour les glyphes façonnés. La compaction ne change que ce que coûtent les survivants une fois cet ensemble fixé

Sous-ensembles de polices compacts derrière un flux CIDToGIDMap

THotPDF.CompactFontSubsetting renumérote les glyphes gardés dans une plage dense commençant à zéro, reconstruit les tables de glyphes pour ces glyphes seulement, et écrit un flux /CIDToGIDMap explicite sur le CIDFont. ISO 32000-1 §9.7.4.2 définit ce flux comme un tableau de glyph IDs de deux octets, gros-boutiste, indexé par CID : le GID du CID n se trouve au décalage d'octet 2n. Les flux de contenu, le tableau de largeurs /W et la CMap ToUnicode gardent tous les numéros d'origine comme CIDs. Seule l'étape de CID vers glyphe déménage dans la map, donc rien de ce qui est déjà écrit sur une page n'a à être touché

La propriété fonctionne toute seule. Vous n'avez pas besoin du reste de la machinerie de compression pour obtenir des polices plus petites, et pour un rapport surtout en texte CJK cette paire de réglages fait l'essentiel du travail :

Pdf.EnableFontSubsetting := True;
Pdf.CompactFontSubsetting := True;   // utilisable sans CompressDocument
Pdf.BeginDoc;
Pdf.CurrentPage.SetFont('SimSun', [], 12);
Pdf.CurrentPage.TextOut(40, 40, 0, WideString('Total: '#$4E2D#$6587));
Pdf.EndDoc;
Comparaison d'un sous-ensemble de police HotPDF épars, qui retient des entrées loca et hmtx pour chaque glyph ID d'origine jusqu'au GID retenu le plus haut, contre la sortie de CompactFontSubsetting qui renumérote densément les glyphes gardés depuis zéro et mappe les CIDs via un flux CIDToGIDMap tandis que les flux de contenu, /W et ToUnicode restent inchangés
La renumérotation sort le coût du programme de police pour le ranger dans un petit flux de map — deux caractères SimSun tombent d'environ 25 KB à environ 3 KB sans toucher un octet du contenu déjà écrit

La compaction s'applique à un type précis de police. HotPDF bâtit des sous-ensembles compacts pour les polices Type 0 TrueType : celles réglées via SetFont pendant que EnableFontSubsetting est actif, et la police enregistrée via RegisterUnicodeTTF. Une police TrueType simple se localise par la cmap à l'intérieur de son propre programme de police, et la renumérotation laisserait cette cmap pointer les mauvais glyphes, donc les polices simples gardent le sous-ensemble épars. Les polices OpenType-CFF le gardent aussi. Si la construction compacte échoue pour une police donnée, HotPDF écrit le sous-ensemble épars pour cette police et continue avec le document. La propriété est désactivée par défaut, donc la sortie existante reste identique octet pour octet jusqu'à ce que vous vous y inscriviez ; sous PDF/A la police Unicode enregistrée reçoit toujours un sous-ensemble compact

Un piège se trouve côté lecture. Un flux /CIDToGIDMap semble appartenir à côté des CMaps, mais c'est du binaire brut sans blocs begincidchar, et le donner à un analyseur de CMap produit un mapping vide sans aucune erreur. Si vos propres outils extraient du texte ou mesurent des glyphes depuis ces fichiers, lisez la map comme de simples paires 16 bits

Que change CompressDocument pour un document ?

THotPDF.CompressDocument emprunte six réglages de l'écrivain plus le plafond des object streams au BeginDoc et rend chacun d'eux au EndDoc. Avant que la version PDF ne se fige, HotPDF enregistre vos valeurs puis règle :

  • Compression sur cmFlateDecode et CompressionLevel sur clMaximum
  • EnableFontSubsetting et CompactFontSubsetting sur True
  • UseXRefStream et UseObjectStreams sur True, selon ISO 32000-1 §7.5.7 et §7.5.8
  • Le plafond d'objets par conteneur à 250 au lieu des 100 habituels, sauf si vous avez déjà réglé le vôtre via ConfigureAdaptiveObjectStreamPacking

Les object streams exigent PDF 1.5, donc une Version plus ancienne est montée à 1.5 quand la version n'est pas verrouillée. PDF/A-1 interdit les flux de références croisées et d'objets, donc un document PDF/A-1 garde sa table de références croisées classique et n'obtient que le travail Flate et polices. Les images sont écrites exactement comme vous les avez embarquées ; rien n'est rééchantillonné ni recomprimé avec perte

Schéma du cycle de vie de HotPDF CompressDocument en Delphi : BeginDoc enregistre les valeurs propres de l'écrivain, passe outre six réglages dont Compression et UseObjectStreams pour un seul document, et EndDoc rend chaque valeur empruntée dans son finally le plus externe tandis que la propriété CompressDocument elle-même reste True
Six réglages de l'écrivain et le plafond des object streams sont empruntés pour exactement un document et rendus quand EndDoc tourne, si bien qu'un rapport en échec ne laisse jamais le composant coincé en compression maximum
var
  Pdf: THotPDF;
begin
  Pdf := THotPDF.Create(nil);
  try
    Pdf.AutoLaunch := False;
    Pdf.FileName := 'invoice-2026-1042.pdf';
    Pdf.CompressDocument := True;    // appliqué par BeginDoc, annulé par EndDoc
    Pdf.BeginDoc;
    Pdf.CurrentPage.SetFont('Arial', [], 12);
    Pdf.CurrentPage.TextOut(40, 40, 0, 'Invoice 2026-1042');
    Pdf.CurrentPage.SetFont('SimSun', [], 12);
    Pdf.CurrentPage.TextOut(40, 60, 0, WideString(#$5408#$8BA1));
    Pdf.EndDoc;
  finally
    Pdf.Free;
  end;
end;

La restauration tourne dans le finally le plus externe de EndDoc. Cela compte pour un composant qui vit dans un module de données et écrit des centaines de rapports par jour : une exception à mi-chemin d'un rapport ne laisse pas la tâche suivante tourner en compression maximum avec subsetting forcé. La propriété CompressDocument elle-même reste True, si bien que le document suivant reçoit le même traitement, et seuls les réglages empruntés rentrent chez eux

La version reçoit une gestion plus soigneuse. HotPDF annule sa propre montée à 1.5 seulement si le document finit encore à 1.5. Quand une autre fonctionnalité pousse le fichier plus haut pendant l'exécution (une police OpenType embarquée qui exige 1.6, disons), la version supérieure reste, ce qui est exactement le résultat que vous obtiendriez sans compression. Pour un composant de longue vie, c'est une conception plus sûre que de régler les six propriétés à la main une fois au démarrage, car des valeurs posées à la main collent à chaque tâche suivante, y compris les modifiables

Rogner syntaxe, décalages et remplissage des object streams

Une fois polices et flux petits, les dictionnaires et les données de références croisées deviennent le plus gros coût restant, et le rédacteur d'object streams employé par CompressDocument rogne ceux-là aussi. Le format de conteneur lui-même est couvert dans le guide des object streams et mises à jour incrémentales. Par-dessus, le chemin de compression ajoute quatre raffinements :

  • Syntaxe compacte selon ISO 32000-1 §7.2.2 : une espace n'est écrite que là où deux jetons sinon se colleraient comme caractères ordinaires, si bien que /Type /Page devient /Type/Page
  • Les champs du flux de références croisées utilisent toute largeur que le §7.5.8.2 permet, si bien qu'un fichier sous 16 MB stocke chaque décalage en 3 octets au lieu de 4
  • Jusqu'à 250 objets entrent dans chaque object stream ; des conteneurs moins nombreux et plus grands donnent plus de répétition à Flate
  • Dans un fichier non chiffré, le Catalog et le dictionnaire Info sont aussi empaquetés dans des object streams, tandis que la sortie chiffrée les garde au niveau supérieur

La syntaxe compacte se heurte à tout ce qui corrige un fichier en cherchant dans son texte. La signature est le cas évident. La valeur de signature est remplie après l'écriture du fichier, en localisant les espaces réservés littéraux /ByteRange ( et /Contents < dans les octets de sortie. Épelée en compact, ceux-ci deviennent /ByteRange( et /Contents<, et une recherche littérale ne les trouve jamais. HotPDF écrit donc les dictionnaires de signature (Type Sig ou DocTimeStamp, ou FT Sig) et le dictionnaire de chiffrement avec la disposition espacée. Tout script d'après-sauvegarde qui greppe /Type /Page ou des jetons espacés similaires a besoin d'un motif qui tolère l'espace manquante

Peut-on compresser un PDF déjà chargé ?

Oui. La surcharge à options CompressLoadedDocument(Options, AInfo) fait tourner les mêmes étapes sans perte sur un fichier existant. Avec THPDFLoadedDocumentCompressionOptions.Default, elle retire les ressources de pages inutilisées, fusionne polices et Form XObjects identiques, fait des sous-ensembles des polices embarquées avec sous-ensembles compacts actifs, recomprime en Flate les flux non filtrés, Flate, LZW, ASCII85, ASCIIHex et RunLength chaque fois que le résultat est plus petit, et bascule la prochaine sauvegarde sur les object streams. HighRatioFlate est désactivé par défaut, et les object streams sont sautés pour PDF/A-1 et les sauvegardes incrémentales. La surcharge CompressLoadedDocument sans paramètre est l'appel plus étroit : elle ne compresse en Flate que les flux stockés non compressés

var
  Doc: THotPDF;
  Options: THPDFLoadedDocumentCompressionOptions;
  Info: THPDFLoadedDocumentCompressionInfo;
begin
  Doc := THotPDF.Create(nil);
  try
    Doc.AutoLaunch := False;
    Doc.LoadFromFile('quarterly-report.pdf');
    Options := THPDFLoadedDocumentCompressionOptions.Default;
    // Options.AllowSignatureInvalidation := True;  // seulement si perdre les signatures est acceptable
    Doc.CompressLoadedDocument(Options, Info);
    if Info.RefusedBySignaturePolicy then
      Writeln(Format('Left untouched: %d signature fields', [Info.SignatureCount]))
    else
    begin
      Writeln(Format('Compact fonts: %d, bytes saved before object streams: %d',
        [Info.Fonts.CompactSubsetFontCount, Info.BytesSaved]));
      Doc.SaveLoadedDocument('quarterly-report-compact.pdf');
    end;
  finally
    Doc.Free;
  end;
end;

Les fichiers signés sont traités comme une seule décision. Chaque étape réécrit des octets qu'une signature couvre, donc un document porteur de champs de signature est refusé en bloc : l'appel renvoie 0, pose RefusedBySignaturePolicy et ne change rien. Poser AllowSignatureInvalidation laisse le travail avancer, et Info.SignaturesInvalidated enregistre alors que les signatures ne se vérifient plus. Laissez cette option éteinte dans les tâches par lots. Un dossier de contrats compressé pendant la nuit est un bien mauvais endroit pour découvrir que la moitié portait des signatures

Flux de HotPDF CompressLoadedDocument en Delphi : l'appel retire les ressources de pages inutilisées, fusionne polices et formulaires identiques, fait des sous-ensembles des polices embarquées avec sous-ensembles compacts, recomprime les flux en Flate seulement quand le résultat est plus petit, et allume les object streams pour la prochaine sauvegarde, tandis que des champs de signature déclenchent RefusedBySignaturePolicy et laissent le fichier intact
Chaque étape réécrit des octets qu'une signature couvre, donc tout le document est refusé sauf si vous autorisez explicitement l'invalidation — Info.BytesSaved ne fait alors la somme que du travail sur ressources, polices et flux

La compaction sur la voie chargée est plus stricte que sur la voie de création, pour une raison qui vient droit du format de fichier. Au moment où les polices sont sous-ensemblées, le décodeur a déjà transformé chaque CID en GID via le /CIDToGIDMap que portait le fichier, mais une nouvelle map compacte doit être indexée par CID. Les deux ne s'alignent que quand CID égale GID. HotPDF ne compacte donc un programme de police que lorsque chaque police qui l'emploie est une CIDFontType2 avec une /CIDToGIDMap Identity. Les programmes qui ont déjà un flux de map, les polices TrueType simples et les polices avec un /CIDSet obtiennent le sous-ensemble épars. De même pour les polices à tables de glyphes couleur (COLR, sbix, CBDT ou SVG), car la reconstruction compacte ne garde que les tables de contours et perdrait les couches couleur

Lisez Info.BytesSaved pour ce qu'il est. Il somme les étapes ressources, polices et flux, tandis que le gain des object streams n'apparaît que quand SaveLoadedDocument écrit le fichier, donc comparez les tailles de fichiers sur disque pour le chiffre complet

Copies finales contre documents qui changent encore

Les gains suivent la part du fichier qui est structure non compressée et données de police surdimensionnées, et le nombre de pages n'y est pour presque rien. Pour un document de trois pages de texte mixte anglais et chinois en Arial et SimSun avec les deux polices entièrement embarquées, le fichier non compressé tourne autour de 10 MB ; généré avec CompressDocument il tombe à environ 20 KB, l'essentiel de la chute venant du subsetting de polices, et CompressLoadedDocument se place dans la même fourchette pour l'original non compressé. Un PDF déjà compact bouge à peine. Les fichiers chargés en photos gagnent peu, car aucune des deux voies ne touche aux données d'image

Le coût, c'est la modifiabilité. Une police en sous-ensemble ne peut montrer que les caractères que le document utilise déjà, si bien qu'un AcroForm que quelqu'un remplit plus tard, ou une édition incrémentale qui ajoute du texte nouveau dans la même police, peuvent tomber sur des glyphes manquants. Les object streams empaquetés cessent aussi d'être lisibles dans un éditeur de texte, ce qui ralentit toute session de débogage qui commence par ouvrir le PDF dans le Notepad. Activez CompressDocument pour les copies finales : factures archivées, relevés, tout ce qui est généré une fois et seulement lu ensuite. Pour les gabarits et formulaires que quelqu'un en aval remplira, laissez-le éteint et gardez les polices complètes

Si vous générez les mêmes rapports CJK chaque nuit, mariez les sous-ensembles compacts au cache persistant de sous-ensembles de polices sur disque pour que le travail de subsetting ne soit pas refait à chaque exécution. Et quand vous comparez deux sorties nocturnes, diffz-les par contenu d'objet. Un seul champ changé re-Flate tout son object stream, si bien qu'un diff par octets montre bien plus de changement qu'il ne s'en est produit

Les détails de propriétés, records et options de tout ce qui précède sont dans la référence de la page produit du HotPDF Delphi PDF component