Article technique

PDF/UA rejette .notdef et les noms Differences hors liste

veraPDF fait échouer un rapport trimestriel balisé sur l'ISO 14289-1 §7.21.8 parce qu'un unique opérateur Tj montre les octets <0000>, ce qui sous Identity-H signifie CID 0, le glyphe .notdef. Cette clause et sa voisine §7.21.6, qui limite les noms de glyphes qu'un tableau /Differences TrueType peut employer, remontent en Delphi comme des fanions séparés dans le résultat du TPdf.ValidatePdfUa de PDFium Component

Quels opérateurs de texte référencent le glyphe .notdef ?

Tout opérateur d'affichage de texte dont l'opérande mappe vers le glyphe 0. Dans une police simple, .notdef est un nom de glyphe. Dans une police indexée par CID, le même rôle revient au CID 0, et l'ISO 32000-2 §9.7.4.2 exige que chaque CIDFont contienne une description de glyphe pour le CID 0 "analogue au nom de caractère .notdef des polices simples". Avec l'encodage Identity-H habituel, code de caractère et CID sont les mêmes deux octets, si bien qu'un flux de contenu qui montre <0000> avec Tj, ou dans un tableau TJ, dessine le CID 0. L'ISO 14289-1 §7.21.8 interdit à tout opérateur d'affichage de texte de faire cela, et PDF/UA-2 énonce la même exigence en §8.4.5.9. Le mode de rendu du texte est sans importance. Le texte invisible en mode 3, comme la couche OCR par-dessus une page scannée, compte aussi. À l'écran, le résultat est habituellement une boîte vide de quelques points, ou aucune marque du tout, et rien de tout cela ne dit à un correcteur voyant qu'un caractère a disparu

La source habituelle est un générateur qui a rencontré un caractère absent de sa police sous-ensemblisée et a écrit le code 0 là où il aurait dû basculer vers une police de repli. Cela rend le contrôle au niveau des octets agréablement précis. Décodez uniquement les flux référencés par le /Contents de chaque page, cherchez <0000> passé à Tj ou TJ dans un document qui emploie des polices Type 0, et laissez images, profils ICC et CMaps compressés. Un détail d'analyse décide si vous trouvez les pages du tout. L'ISO 32000-1 §7.3.5 termine un jeton de nom au délimiteur suivant, si bien que /Type/Page sans espace est un dictionnaire de page valide, et une recherche de la forme espacée /Type /Page le saute. Nommer /.notdef dans un tableau Differences ne déclenche pas cette règle à elle seule ; seul le fait de montrer un code qui atterrit sur ce créneau le fait

Flux montrant un opérande 0000 sous Identity-H atteignant le CID 0 et le glyphe .notdef, avec la clause ISO 14289 que PDFium Component rapporte en Delphi
tout opérateur d'affichage de texte qui passe le code 0 à une police Identity-H dessine le CID 0, si bien que le test d'octets le rapporte même quand le texte est invisible

Quels noms de glyphes /Differences comptent comme conformes Unicode ?

Les noms qui figurent dans l'Adobe Glyph List, à condition que le programme de police embarqué contienne aussi une sous-table cmap (3,1). Le fond est l'ISO 32000-2 §9.6.5.4, qui recommande qu'une police TrueType non symbolique emploie MacRomanEncoding ou WinAnsiEncoding sans tableau Differences ; PDF/UA change ce conseil en exigence avec une échappatoire. Les deux parties de PDF/UA énoncent le test sous la même forme qu'applique veraPDF : la police est symbolique, ou son encodage est MacRoman ou WinAnsi et soit elle n'a aucun tableau /Differences soit chaque nom de ce tableau est conforme Unicode. La condition (3,1) découle de l'ordre de sélection des glyphes que le §9.6.5.4 prescrit quand cette sous-table (plateforme Microsoft, BMP Unicode) est présente. Le code de caractère va au nom de glyphe par l'encodage, le nom de glyphe va à l'Unicode par l'Adobe Glyph List, et l'Unicode va au glyphe par la sous-table (3,1). Un nom hors de la liste casse l'étape du milieu, et une police sans la sous-table n'emprunte jamais ce chemin. La règle de la police symbolique pointe dans l'autre sens : une police TrueType symbolique ne doit pas porter du tout d'entrée /Encoding

Chaîne de sélection de glyphe du code de caractère via l'Adobe Glyph List jusqu'à une sous-table cmap (3,1), le test TrueType que PDFium Component applique en Delphi
un nom Differences n'atteint un glyphe que quand la chaîne encodage, Adobe Glyph List et sous-table cmap (3,1) tient, ce qui est là où le test de noms PDF/UA dans PDFium Component pour Delphi échoue
Dictionnaire de policeRésultat
Non symbolique, /Encoding /WinAnsiEncoding, sans DifferencesPasse
Non symbolique, base WinAnsi, Differences avec /Euro /bullet /.notdef, police avec un cmap (3,1)Passe
Non symbolique, Differences contenant /g123 ou /glyph57Échoue : noms hors de la liste de glyphes
Non symbolique, Differences valides, police embarquée avec seulement un cmap Mac (1,0)Échoue : pas de sous-table (3,1)
Non symbolique, base WinAnsi avec Differences, aucun FontFile2 embarquéNon tranché par cette règle ; la règle d'embarquement (§7.21.4) la fait échouer
Non symbolique, sans entrée /EncodingÉchoue
Symbolique, toute entrée /EncodingÉchoue à la règle symbolique

La deuxième ligne est l'endroit où les listes de glyphes faites maison se trompent. La liste que veraPDF expédie avec son code de polices, font/AdobeGlyphList.txt, compte 4 282 entrées, et sa première ligne est .notdef 0000. Les tables assemblées à la main ou prises ailleurs manquent souvent de cette entrée, parce que .notdef ne représente aucun vrai caractère. Un contrôleur bâti sur une telle table rapporte toute police dont le tableau Differences mentionne /.notdef, un nom qui revient régulièrement dans des polices sous-ensemblisées qui remplissent les créneaux inutilisés avec lui. La correspondance se fait par nom entier. Une recherche de sous-chaîne accepterait /grav juste parce que /grave est dans la liste. Remplissez les créneaux Differences inutilisés avec .notdef librement ; un contrôleur qui suit veraPDF l'accepte

Les règles de polices se jugent sur les octets écrits par le producteur

Le raccourci naturel est d'enregistrer une copie normalisée du document et de scanner celle-ci, puisque un fichier réécrit se parse plus facilement. Pour les règles de polices, cela échoue. Tout outil qui re-sérialise un PDF est libre de reconstruire les dictionnaires de polices : fondre un tableau Differences dans un encodage neuf, renommer des glyphes, renuméroter des objets. Une règle d'encodage doit donc être contrôlée contre les octets écrits par le producteur. TPdf.ValidatePdfUa fait tourner ses tests de polices sur le fichier ou le tampon mémoire qu'il a chargé et décode les flux FontFile2 directement pour atteindre le répertoire de tables TrueType. Le test au niveau caractère (un caractère dessiné mappe-t-il vers l'Unicode 0 ?) emploie le texte que la page rend et saute le contenu marqué comme Artifact ou couvert par /ActualText ; le test d'octets du CID 0 ne fait aucune telle exception. Les constats arrivent comme des valeurs séparées dans le jeu d'issues, si bien qu'un rapport peut dire quelle règle a tiré :

uses
  SysUtils, PDFium, FPdfPdfua;

procedure ReportFontFindings(const FileName: string);
const
  FontIssues: TPdfUaValidationIssues = [pvuaiPdfiumNotDefGlyph,
    pvuaiTrueTypeEncodingInvalid, pvuaiSymbolicTrueTypeEncoding,
    pvuaiFontNotEmbedded, pvuaiFontMissingToUnicode];
var
  Pdf: TPdf;
  Report: TPdfUaValidationResult;
  Found: TPdfUaValidationIssues;
  Coverage: TPdfUaUnicodeCoverageReport;
  I: Integer;
begin
  Pdf := TPdf.Create(nil);
  try
    Pdf.FileName := FileName;
    Pdf.Active := True;
    if not Pdf.Active then
      raise Exception.CreateFmt('Cannot open %s', [FileName]);
    Report := Pdf.ValidatePdfUa;
    Found := Report.Issues * FontIssues;
    if pvuaiPdfiumNotDefGlyph in Found then
    begin
      Writeln('Text references .notdef / CID 0 (7.21.8, 8.4.5.9)');
      // Localise les caractères rendus qui ne mappent vers aucune valeur Unicode
      Coverage := Pdf.InspectPdfUaUnicodeCoverage;
      for I := 0 to High(Coverage.Objects) do
        if Coverage.Objects[I].MissingUnicodeCharacterCount > 0 then
          Writeln(Format('  page %d, object %d: %d character(s)',
            [Coverage.Objects[I].PageNumber,
             Coverage.Objects[I].PageObjectIndex,
             Coverage.Objects[I].MissingUnicodeCharacterCount]));
    end;
    if pvuaiTrueTypeEncodingInvalid in Found then
      Writeln('Non-symbolic TrueType encoding or Differences (7.21.6, 8.4.5.7)');
    if pvuaiSymbolicTrueTypeEncoding in Found then
      Writeln('Symbolic TrueType font carries an /Encoding entry');
    if pvuaiFontNotEmbedded in Found then
      Writeln('A font program is not embedded (7.21.4)');
    if pvuaiFontMissingToUnicode in Found then
      Writeln('A font has no usable Unicode mapping (7.21.7)');
    if Found = [] then
      Writeln('No font findings');
    // Attendu pour un fichier dont la seule faute est /g123 dans un tableau Differences :
    // l'unique ligne 7.21.6
  finally
    Pdf.Free;
  end;
end;

Les réparations appartiennent au programme qui a écrit le fichier

Aucun des deux constats ne se répare sans risque après coup en éditant un dictionnaire. Une référence CID 0 signifie qu'un caractère n'avait pas de glyphe dans la police employée, si bien que le générateur réclame une police de repli pour ce caractère. Réécrire <0000> vers un autre code dessinerait un glyphe arbitraire et lui accrocherait la mauvaise valeur Unicode. Un tableau Differences avec des noms comme /g123 vient d'habitude du sous-ensemblisage d'une police dont les glyphes ne portent aucun nom standard. La réparation propre est d'embarquer cette face comme police TrueType indexée par CID, la configuration employée pour l'embarquement de police CID Type 2, avec Identity-H et une CMap /ToUnicode. Cela retire la règle d'encodage des polices simples du jeu

Poser le fanion Symbolic pour faire disparaître le §7.21.6 est le mauvais geste. Une police TrueType symbolique ne peut pas porter de /Encoding du tout. Les noms Differences qui disaient à un lecteur d'écran quel caractère chaque code représente disparaissent avec lui, et chaque visionneuse choisit alors les glyphes par code brut via la sous-table (3,0) ou (1,0). Le fanion se lève. La signification du texte s'en va avec

Le programme de police embarqué a-t-il un cmap (3,1) ?

Interrogez le programme de police directement, car le fanion d'encodage couvre les deux moitiés du test et ne peut pas dire laquelle a échoué. Quand il tire et que chaque nom Differences est dans la liste, le programme est le suspect suivant. Un fichier TrueType commence par un header de 12 octets dont les octets 4–5 portent le nombre de tables, suivi d'enregistrements de table de 16 octets (tag, checksum, offset, longueur). La table cmap commence par une version et un compte de sous-tables, suivis d'enregistrements de 8 octets d'ID de plateforme, ID d'encodage et offset, tout en big-endian. Aucune bibliothèque de polices requise. TPdf.GetFontData renvoie le programme embarqué de la police employée par un objet de page, si bien que l'utilitaire peut courir sur chaque objet de texte d'une page :

Promenade d'octets dans un programme TrueType embarqué : header, enregistrements de tables et enregistrements cmap qui décident de la sous-table (3,1), lus par PDFium Component en Delphi
la réponse (3,1) vient du programme de police lui-même : les enregistrements de tables localisent le cmap, et ses enregistrements de 8 octets de plateforme et d'encodage décident si le chemin Unicode existe
function BE16(const B: TBytes; P: Integer): Integer;
begin
  Result := (B[P] shl 8) or B[P + 1];
end;

function BE32(const B: TBytes; P: Integer): Cardinal;
begin
  Result := (Cardinal(B[P]) shl 24) or (Cardinal(B[P + 1]) shl 16) or
    (Cardinal(B[P + 2]) shl 8) or B[P + 3];
end;

// Vrai quand un programme TrueType a une sous-table cmap pour (Platform, Encoding)
function HasCmapSubtable(const Font: TBytes; Platform, Encoding: Integer): Boolean;
var
  Tables, I, Rec, CmapOfs, Count: Integer;
begin
  Result := False;
  if Length(Font) < 12 then
    Exit;
  Tables := BE16(Font, 4);
  CmapOfs := -1;
  for I := 0 to Tables - 1 do
  begin
    Rec := 12 + I * 16;
    if Rec + 16 > Length(Font) then
      Exit;
    if (Font[Rec] = Ord('c')) and (Font[Rec + 1] = Ord('m')) and
       (Font[Rec + 2] = Ord('a')) and (Font[Rec + 3] = Ord('p')) then
      CmapOfs := Integer(BE32(Font, Rec + 8));
  end;
  if (CmapOfs < 0) or (CmapOfs + 4 > Length(Font)) then
    Exit;
  Count := BE16(Font, CmapOfs + 2);
  for I := 0 to Count - 1 do
  begin
    Rec := CmapOfs + 4 + I * 8;
    if Rec + 8 > Length(Font) then
      Exit;
    if (BE16(Font, Rec) = Platform) and (BE16(Font, Rec + 2) = Encoding) then
      Exit(True);
  end;
end;

// Une face avec seulement un cmap Mac Roman (1,0) imprime cmap(3,1)=False
procedure ListTextFonts(Pdf: TPdf; PageNo: Integer);
var
  I: Integer;
begin
  Pdf.PageNumber := PageNo;
  for I := 0 to Pdf.ObjectCount - 1 do
    if Pdf.ObjectType[I] = otText then
      Writeln(Format('%-32s embedded=%-5s cmap(3,1)=%s', [
        string(Pdf.GetFontBaseName(I)),
        BoolToStr(Pdf.GetFontIsEmbedded(I), True),
        BoolToStr(HasCmapSubtable(Pdf.GetFontData(I), 3, 1), True)]));
end;

Les objets de texte qui partagent une police impriment la même ligne en répétition. C'est sans conséquence ici. Un programme CFF nu (FontFile3 avec /Type1C ou /CIDFontType0C) n'a aucun répertoire de tables, si bien que l'utilitaire répond False pour lui, et puisque la règle concerne les polices TrueType, cette réponse ne tranche jamais rien ici. Les polices OpenType à contours CFF diffèrent : elles transportent un répertoire sfnt sous le tag OTTO et peuvent inclure un cmap, que la même boucle trouve. Pendant que le programme est en mémoire, ses avances hmtx valent la peine d'être comparées aux /Widths du dictionnaire de police aussi, car PDF/UA a une règle de cohérence des largeurs séparée, et l'audit des largeurs de glyphes, CharSet et CIDSet l'applique du côté PDFlibPas

Si HasCmapSubtable renvoie False pour la face derrière un fanion §7.21.6, aucune édition de son tableau Differences ne nettoiera le constat, et le générateur doit embarquer cette face comme police Type 0 avec une CMap ToUnicode. Refaites tourner la validation du PDFium Component pour Delphi sur le fichier régénéré et attendez-vous à voir pvuaiTrueTypeEncodingInvalid absent de Report.Issues