veraPDF faalt een gelabeld kwartaalrapport op ISO 14289-1 §7.21.8 omdat één enkele Tj-operator de bytes <0000> toont, wat onder Identity-H CID 0 betekent, de .notdef-glyph. Die bepaling en zijn buur §7.21.6, die de glyphnamen beperkt die een TrueType-/Differences-array mag gebruiken, komen in Delphi naar boven als aparte vlaggen in het resultaat van TPdf.ValidatePdfUa van PDFium Component
Welke tekstoperatoren refereren aan de .notdef-glyph?
Elke tekst-tonende operator waarvan de operand naar glyph 0 mapt. In een simple font is .notdef een glyphnaam. In een CID-keyed font hoort dezelfde rol bij CID 0, en ISO 32000-2 §9.7.4.2 eist dat elke CIDFont een glyphbeschrijving voor CID 0 bevat "analogous to the .notdef character name in simple fonts". Met de gebruikelijke Identity-H-encoding zijn tekencode en CID dezelfde twee bytes, dus een content stream die <0000> toont met Tj, of binnen een TJ-array, tekent CID 0. ISO 14289-1 §7.21.8 verbiedt elke tekst-tonende operator dat, en PDF/UA-2 stelt dezelfde eis in §8.4.5.9. De text rendering mode doet er niet toe. Onzichtbare tekst in modus 3, zoals de OCR-laag over een gescande pagina, telt ook mee. Op het scherm is het resultaat meestal een leeg kader van een paar punten breed, of helemaal geen teken, en geen van beide zegt een ziende proeflezer dat er een teken zoek is
De gebruikelijke bron is een generator die een teken tegenkwam dat in zijn subsetfont ontbrak en code 0 wegschreef waar hij naar een fallback-face had moeten overschakelen. Daarmee is de byte-controle prettig precies. Decodeer alleen de streams waarnaar de /Contents van elke pagina verwijst, zoek naar <0000> dat aan Tj of TJ wordt gevoerd in een document dat Type 0-fonts gebruikt, en laat afbeeldingen, ICC-profielen en CMaps gecomprimeerd. Eén parsedetail bepaalt of u de pagina's überhaupt vindt. ISO 32000-1 §7.3.5 beëindigt een naamtoken bij het volgende scheidingsteken, dus /Type/Page zonder spatie is een geldig paginawoordenboek, en een zoektocht naar de gespatieerde vorm /Type /Page slaat hem over. Het noemen van /.notdef binnen een Differences-array triggert deze regel niet van zichzelf; pas het tonen van een code die op die plek landt doet dat
Welke /Differences-glyphnamen gelden als Unicode-compliant?
Namen die in de Adobe Glyph List staan, mits het ingesloten fontprogramma ook een (3,1)-cmap-subtabel bevat. De achtergrond is ISO 32000-2 §9.6.5.4, dat aanraadt dat een niet-symbolisch TrueType-font MacRomanEncoding of WinAnsiEncoding gebruikt zonder Differences-array; PDF/UA maakt van dat advies een eis met één uitweg. Beide PDF/UA-delen formuleren de toets in dezelfde vorm als veraPDF toepast: het font is symbolisch, of zijn encoding is MacRoman of WinAnsi en het heeft ofwel geen /Differences-array ofwel is elke naam in die array Unicode-compliant. De (3,1)-voorwaarde volgt uit de glyphselectievolgorde die §9.6.5.4 voorschrijft als die subtabel (Microsoft-platform, Unicode BMP) aanwezig is. Tekencode gaat via de encoding naar de glyphnaam, de glyphnaam via de Adobe Glyph List naar Unicode, en Unicode via de (3,1)-subtabel naar de glyph. Een naam buiten de lijst breekt de middelste stap, en een font zonder die subtabel neemt dat pad nooit. De symbolische-fontregel wijst de andere kant op: een symbolisch TrueType-font mag helemaal geen /Encoding-entry dragen
| Fontwoordenboek | Resultaat |
|---|---|
Niet-symbolisch, /Encoding /WinAnsiEncoding, geen Differences | Komt erdoor |
Niet-symbolisch, WinAnsi-basis, Differences met /Euro /bullet /.notdef, font heeft een (3,1)-cmap | Komt erdoor |
Niet-symbolisch, Differences met /g123 of /glyph57 | Valt af: namen niet in de glyphlijst |
| Niet-symbolisch, geldige Differences, ingesloten font heeft alleen een (1,0)-Mac-cmap | Valt af: geen (3,1)-subtabel |
Niet-symbolisch, WinAnsi-basis met Differences, geen FontFile2 ingesloten | Wordt niet door deze regel beslist; de embeddingregel (§7.21.4) laat hem vallen |
Niet-symbolisch, geen /Encoding-entry | Valt af |
Symbolisch, welke /Encoding-entry dan ook | Valt af op de symbolische regel |
De tweede rij is waar zelfgebouwde glyphlijsten de fout ingaan. De lijst die veraPDF met zijn fontcode meelevert, font/AdobeGlyphList.txt, heeft 4.282 entries, en zijn eerste regel is .notdef 0000. Tabellen die met de hand zijn samengesteld of uit andere bronnen komen, missen die entry vaak, omdat .notdef voor geen echt teken staat. Een checker op zo'n tabel meldt elk font waarvan de Differences-array /.notdef noemt, een naam die regelmatig opduikt in subsetfonts die ongebruikte plekken ermee vullen. De match is op hele naam. Een substring-zoektocht zou /grav accepteren alleen omdat /grave in de lijst staat. Vul ongebruikte Differences-plekken gerust met .notdef; een checker die veraPDF volgt accepteert hem
Fontregels worden beoordeeld op de bytes die de producent schreef
Een logische shortcut is een genormaliseerde kopie van het document opslaan en die scannen, want een herschreven bestand is makkelijker te parsen. Voor fontregels faalt dat. Elke tool die een PDF opnieuw serialiseert mag fontwoordenboeken herbouwen: een Differences-array in een frisse encoding vouwen, glyphs hernoemen, objecten hernummeren. Een encodingregel moet dus worden gecontroleerd tegen de bytes die de producent schreef. TPdf.ValidatePdfUa draait zijn fonttests op het bestand of geheugenbuffer dat hij laadde en decodeert FontFile2-streams rechtstreeks om bij de TrueType-tabledirectory te komen. De toets op tekenniveau (mapt een getekend teken naar Unicode 0?) gebruikt de tekst die de pagina rendert en slaat content over die als Artifact is gemarkeerd of onder /ActualText valt; de CID-0-bytetest kent zo'n uitzondering niet. De findings komen als aparte waarden binnen in de issueset, dus een rapport kan melden welke regel heeft aangeslagen:
uses
SysUtils, PDFium, FPdfPdfua;
procedure ReportFontFindings(const FileName: string);
const
FontIssues: TPdfUaValidationIssues = [pvuaiPdfiumNotDefGlyph,
pvuaiTrueTypeEncodingInvalid, pvuaiSymbolicTrueTypeEncoding,
pvuaiFontNotEmbedded, pvuaiFontMissingToUnicode];
var
Pdf: TPdf;
Report: TPdfUaValidationResult;
Found: TPdfUaValidationIssues;
Coverage: TPdfUaUnicodeCoverageReport;
I: Integer;
begin
Pdf := TPdf.Create(nil);
try
Pdf.FileName := FileName;
Pdf.Active := True;
if not Pdf.Active then
raise Exception.CreateFmt('Cannot open %s', [FileName]);
Report := Pdf.ValidatePdfUa;
Found := Report.Issues * FontIssues;
if pvuaiPdfiumNotDefGlyph in Found then
begin
Writeln('Text references .notdef / CID 0 (7.21.8, 8.4.5.9)');
// Localiseer gerenderde tekens die naar geen enkele Unicode-waarde mappen
Coverage := Pdf.InspectPdfUaUnicodeCoverage;
for I := 0 to High(Coverage.Objects) do
if Coverage.Objects[I].MissingUnicodeCharacterCount > 0 then
Writeln(Format(' page %d, object %d: %d character(s)',
[Coverage.Objects[I].PageNumber,
Coverage.Objects[I].PageObjectIndex,
Coverage.Objects[I].MissingUnicodeCharacterCount]));
end;
if pvuaiTrueTypeEncodingInvalid in Found then
Writeln('Non-symbolic TrueType encoding or Differences (7.21.6, 8.4.5.7)');
if pvuaiSymbolicTrueTypeEncoding in Found then
Writeln('Symbolic TrueType font carries an /Encoding entry');
if pvuaiFontNotEmbedded in Found then
Writeln('A font program is not embedded (7.21.4)');
if pvuaiFontMissingToUnicode in Found then
Writeln('A font has no usable Unicode mapping (7.21.7)');
if Found = [] then
Writeln('No font findings');
// Verwacht voor een bestand waarvan de enige fout /g123 in een Differences-array is:
// de enige 7.21.6-regel
finally
Pdf.Free;
end;
end;
Reparaties horen thuis in het programma dat het bestand schreef
Geen van beide findings laat zich achteraf veilig repareren door een woordenboek te bewerken. Een CID-0-referentie betekent dat een teken geen glyph had in het gebruikte font, dus de generator heeft een fallback-font voor dat teken nodig. <0000> naar een andere code herschrijven zou een willekeurige glyph tekenen en er de verkeerde Unicode-waarde aan hangen. Een Differences-array met namen als /g123 komt meestal uit het subsetten van een font waarvan de glyphs geen standaardnamen dragen. De schone reparatie is dat face als CID-keyed TrueType-font insluiten, de opzet die bij CID Type 2 font embedding wordt gebruikt, met Identity-H en een /ToUnicode-CMap. Dat haalt de simple-font-encodingregel uit het spel
De Symbolic-vlag zetten om §7.21.6 te laten verdwijnen is de verkeerde zet. Een symbolisch TrueType-font mag helemaal geen /Encoding dragen. De Differences-namen die een screen reader vertelden welk teken elke code betekent, verdwijnen mee, en elke viewer kiest er daarna glyphs op rauwe code via de (3,0)- of (1,0)-subtabel. De vlag is weg. De betekenis van de tekst gaat mee
Heeft het ingesloten fontprogramma een (3,1)-cmap?
Vraag het fontprogramma zelf, want de encoding-vlag dekt beide helften van de toets en kan niet zeggen welke faalde. Als hij aanslaat en elke Differences-naam in de lijst staat, is het programma de volgende verdachte. Een TrueType-bestand begint met een header van 12 bytes waarvan de bytes 4-5 het aantal tabellen bevatten, gevolgd door tabelrecords van 16 bytes (tag, checksum, offset, lengte). De cmap-tabel begint met een versie en een subtelaantal, gevolgd door records van 8 bytes met platform-ID, encoding-ID en offset, allemaal big-endian. Geen fontbibliotheek nodig. TPdf.GetFontData geeft het ingesloten programma van het font dat een paginaobject gebruikt, dus de helper kan over elk tekstobject op een pagina draaien:
function BE16(const B: TBytes; P: Integer): Integer;
begin
Result := (B[P] shl 8) or B[P + 1];
end;
function BE32(const B: TBytes; P: Integer): Cardinal;
begin
Result := (Cardinal(B[P]) shl 24) or (Cardinal(B[P + 1]) shl 16) or
(Cardinal(B[P + 2]) shl 8) or B[P + 3];
end;
// True als een TrueType-programma een cmap-subtabel heeft voor (Platform, Encoding)
function HasCmapSubtable(const Font: TBytes; Platform, Encoding: Integer): Boolean;
var
Tables, I, Rec, CmapOfs, Count: Integer;
begin
Result := False;
if Length(Font) < 12 then
Exit;
Tables := BE16(Font, 4);
CmapOfs := -1;
for I := 0 to Tables - 1 do
begin
Rec := 12 + I * 16;
if Rec + 16 > Length(Font) then
Exit;
if (Font[Rec] = Ord('c')) and (Font[Rec + 1] = Ord('m')) and
(Font[Rec + 2] = Ord('a')) and (Font[Rec + 3] = Ord('p')) then
CmapOfs := Integer(BE32(Font, Rec + 8));
end;
if (CmapOfs < 0) or (CmapOfs + 4 > Length(Font)) then
Exit;
Count := BE16(Font, CmapOfs + 2);
for I := 0 to Count - 1 do
begin
Rec := CmapOfs + 4 + I * 8;
if Rec + 8 > Length(Font) then
Exit;
if (BE16(Font, Rec) = Platform) and (BE16(Font, Rec + 2) = Encoding) then
Exit(True);
end;
end;
// Een face met alleen een Mac Roman (1,0)-cmap print cmap(3,1)=False
procedure ListTextFonts(Pdf: TPdf; PageNo: Integer);
var
I: Integer;
begin
Pdf.PageNumber := PageNo;
for I := 0 to Pdf.ObjectCount - 1 do
if Pdf.ObjectType[I] = otText then
Writeln(Format('%-32s embedded=%-5s cmap(3,1)=%s', [
string(Pdf.GetFontBaseName(I)),
BoolToStr(Pdf.GetFontIsEmbedded(I), True),
BoolToStr(HasCmapSubtable(Pdf.GetFontData(I), 3, 1), True)]));
end;
Tekstobjecten die een font delen printen dezelfde regel telkens opnieuw. Dat is hier ongevaarlijk. Een kaal CFF-programma (FontFile3 met /Type1C of /CIDFontType0C) heeft geen taledirectory, dus de helper antwoordt False, en omdat de regel over TrueType-fonts gaat beslist dat antwoord hier nooit iets. OpenType-fonts met CFF-outlines zijn anders: ze dragen een sfnt-directory onder de OTTO-tag en kunnen een cmap bevatten, die dezelfde lus vindt. Zolang het programma in het geheugen staat, is het de moeite waard ook zijn hmtx-voetbreedtes te vergelijken met de /Widths van het fontwoordenboek, want PDF/UA heeft een aparte breedteconsistentieregel, en glyphbreedtes, CharSet en CIDSet auditen past die toe vanaf de PDFlibPas-kant
Geeft HasCmapSubtable False terug voor het face achter een §7.21.6-vlag, dan ruimt geen enkele bewerking van zijn Differences-array de finding op, en moet de generator dat face als Type 0-font met een ToUnicode-CMap insluiten. Draai de validatie van de PDFium Component for Delphi opnieuw op het geregenereerde bestand en verwacht dat pvuaiTrueTypeEncodingInvalid ontbreekt in Report.Issues