Artigo Técnico

PDF/UA reprova .notdef e nomes Differences fora da lista

O veraPDF reprova um relatório trimestral taggado na ISO 14289-1 §7.21.8 porque um único operador Tj mostra os bytes <0000>, que sob Identity-H significam CID 0, o glifo .notdef. Essa cláusula e a vizinha §7.21.6, que limita os nomes de glifo que um array TrueType /Differences pode usar, aparecem em Delphi como flags separadas no resultado do TPdf.ValidatePdfUa do PDFium Component

Quais operadores de texto referenciam o glifo .notdef?

Todo operador de exibição de texto cujo operando mapeia para o glifo 0 faz isso. Numa fonte simple, .notdef é um nome de glifo. Numa fonte CID-keyed o mesmo papel pertence ao CID 0, e a ISO 32000-2 §9.7.4.2 exige que todo CIDFont contenha uma descrição de glifo para o CID 0 "análoga ao nome de caractere .notdef das fontes simples". Com a codificação usual Identity-H, código de caractere e CID são os mesmos dois bytes, então um content stream que mostra <0000> com Tj, ou dentro de um array TJ, está desenhando CID 0. A ISO 14289-1 §7.21.8 proíbe qualquer operador de exibição de texto de fazer isso, e o PDF/UA-2 afirma o mesmo requisito na §8.4.5.9. O modo de renderização de texto é irrelevante. Texto invisível no modo 3, como a camada OCR sobre uma página digitalizada, também conta. Na tela o resultado costuma ser uma caixa vazia de uns pontos de largura, ou nenhuma marca, e nenhum dos dois diz a um revisor vidente que um caractere se perdeu

A origem usual é um gerador que encontrou um caractere ausente da fonte subset dele e escreveu código 0 onde deveria ter mudado para uma face fallback. Isso torna a checagem em nível de byte agradavelmente precisa. Decodifique só os streams referenciados pelo /Contents de cada página, procure <0000> alimentando Tj ou TJ num documento que usa fontes Type 0, e deixe imagens, perfis ICC e CMaps comprimidos. Um detalhe de parsing decide se você acha as páginas. A ISO 32000-1 §7.3.5 termina um token de nome no próximo delimitador, então /Type/Page sem espaço é um dicionário de página válido, e uma busca pela forma espaçada /Type /Page o pula. Nomear /.notdef dentro de um array Differences não aciona essa regra por si; só mostrar um código que cai nesse slot aciona

Fluxo mostrando um operando 0000 sob Identity-H chegando ao CID 0 e ao glifo .notdef, com a cláusula ISO 14289 que o PDFium Component relata em Delphi
qualquer operador de exibição de texto que alimenta código 0 a uma fonte Identity-H desenha CID 0, então o teste de bytes o relata mesmo quando o texto é invisível

Quais nomes de glifo de /Differences contam como Unicode compliant?

Nomes que aparecem na Adobe Glyph List contam, desde que o programa de fonte embutido também contenha uma subtable cmap (3,1). O contexto é a ISO 32000-2 §9.6.5.4, que recomenda que uma fonte TrueType não simbólica use MacRomanEncoding ou WinAnsiEncoding sem array Differences; o PDF/UA transforma esse conselho em requisito com uma válvula de escape. As duas partes do PDF/UA afirmam o teste na mesma forma que o veraPDF aplica: a fonte é simbólica, ou a codificação dela é MacRoman ou WinAnsi e ou não tem array /Differences ou todo nome nesse array é Unicode compliant. A condição (3,1) decorre da ordem de seleção de glifo que a §9.6.5.4 prescreve quando essa subtable (plataforma Microsoft, Unicode BMP) está presente. Código de caractere vai para nome de glifo pela codificação, nome de glifo vai para Unicode pela Adobe Glyph List, e Unicode vai para glifo pela subtable (3,1). Um nome fora da lista quebra o passo do meio, e uma fonte sem a subtable nunca segue esse caminho. A regra da fonte simbólica aponta para o outro lado: uma fonte TrueType simbólica não deve carregar entrada /Encoding de forma alguma

Cadeia de seleção de glifo do código de caractere pela Adobe Glyph List até uma subtable cmap (3,1), o teste TrueType que o PDFium Component aplica em Delphi
um nome Differences só chega a um glifo quando a cadeia de codificação, Adobe Glyph List e subtable cmap (3,1) se sustenta, e é aí que o teste de nomes PDF/UA no PDFium Component para Delphi reprova
Dicionário de fonteResultado
Não simbólica, /Encoding /WinAnsiEncoding, sem DifferencesPassa
Não simbólica, base WinAnsi, Differences com /Euro /bullet /.notdef, fonte tem cmap (3,1)Passa
Não simbólica, Differences contendo /g123 ou /glyph57Reprova: nomes fora da lista de glifos
Não simbólica, Differences válida, fonte embutida só tem cmap Mac (1,0)Reprova: sem subtable (3,1)
Não simbólica, base WinAnsi com Differences, sem FontFile2 embutidoNão decidido por essa regra; a regra de embutimento (§7.21.4) reprova
Não simbólica, sem entrada /EncodingReprova
Simbólica, qualquer entrada /EncodingReprova na regra simbólica

A segunda linha é onde listas de glifos construídas à mão erram. A lista que o veraPDF distribui com o código de fonte dele, a font/AdobeGlyphList.txt, tem 4.282 entradas, e a primeira linha dela é .notdef 0000. Tabelas montadas à mão ou tiradas de outras fontes costumam não ter essa entrada, porque .notdef não representa caractere real nenhum. Um checador construído sobre essa tabela relata toda fonte cujo array Differences menciona /.notdef, um nome que aparece com regularidade em fontes subset que preenchem slots não usados com ele. O casamento é pelo nome inteiro. Uma busca por substring aceitaria /grav só porque /grave está na lista. Preencha slots não usados de Differences com .notdef à vontade; um checador que segue o veraPDF aceita

Regras de fonte são julgadas pelos bytes que o produtor gravou

Um atalho natural é salvar uma cópia normalizada do documento e escanear essa, já que um arquivo reescrito é mais fácil de parsear. Para regras de fonte, isso falha. Toda ferramenta que re-serializa um PDF está livre para reconstruir dicionários de fonte: fundir um array Differences numa codificação nova, renomear glifos, renumerar objetos. Uma regra de codificação portanto precisa ser checada contra os bytes que o produtor gravou. O TPdf.ValidatePdfUa roda os testes de fonte dele no arquivo ou buffer de memória que carregou e decodifica streams FontFile2 direto para alcançar o diretório de tabelas TrueType. O teste em nível de caractere (um caractere desenhado mapeia para Unicode 0?) usa o texto que a página renderiza e pula conteúdo marcado como Artifact ou coberto por /ActualText; o teste de bytes CID 0 não faz tal exceção. Os findings chegam como valores separados no conjunto de issues, então um relatório pode dizer qual regra disparou:

uses
  SysUtils, PDFium, FPdfPdfua;

procedure ReportFontFindings(const FileName: string);
const
  FontIssues: TPdfUaValidationIssues = [pvuaiPdfiumNotDefGlyph,
    pvuaiTrueTypeEncodingInvalid, pvuaiSymbolicTrueTypeEncoding,
    pvuaiFontNotEmbedded, pvuaiFontMissingToUnicode];
var
  Pdf: TPdf;
  Report: TPdfUaValidationResult;
  Found: TPdfUaValidationIssues;
  Coverage: TPdfUaUnicodeCoverageReport;
  I: Integer;
begin
  Pdf := TPdf.Create(nil);
  try
    Pdf.FileName := FileName;
    Pdf.Active := True;
    if not Pdf.Active then
      raise Exception.CreateFmt('Cannot open %s', [FileName]);
    Report := Pdf.ValidatePdfUa;
    Found := Report.Issues * FontIssues;
    if pvuaiPdfiumNotDefGlyph in Found then
    begin
      Writeln('Text references .notdef / CID 0 (7.21.8, 8.4.5.9)');
      // Localiza caracteres renderizados que mapeiam para nenhum valor Unicode
      Coverage := Pdf.InspectPdfUaUnicodeCoverage;
      for I := 0 to High(Coverage.Objects) do
        if Coverage.Objects[I].MissingUnicodeCharacterCount > 0 then
          Writeln(Format('  page %d, object %d: %d character(s)',
            [Coverage.Objects[I].PageNumber,
             Coverage.Objects[I].PageObjectIndex,
             Coverage.Objects[I].MissingUnicodeCharacterCount]));
    end;
    if pvuaiTrueTypeEncodingInvalid in Found then
      Writeln('Non-symbolic TrueType encoding or Differences (7.21.6, 8.4.5.7)');
    if pvuaiSymbolicTrueTypeEncoding in Found then
      Writeln('Symbolic TrueType font carries an /Encoding entry');
    if pvuaiFontNotEmbedded in Found then
      Writeln('A font program is not embedded (7.21.4)');
    if pvuaiFontMissingToUnicode in Found then
      Writeln('A font has no usable Unicode mapping (7.21.7)');
    if Found = [] then
      Writeln('No font findings');
    // Esperado para um arquivo cuja única falta é /g123 num array Differences:
    // a única linha da 7.21.6
  finally
    Pdf.Free;
  end;
end;

Os reparos pertencem ao programa que escreveu o arquivo

Nenhum dos findings pode ser reparado com segurança depois, editando um dicionário. Uma referência CID 0 significa que um caractere não tinha glifo na fonte usada, então o gerador precisa de uma fonte fallback para aquele caractere. Reescrever <0000> para outro código desenharia um glifo arbitrário e atribuiria a ele o valor Unicode errado. Um array Differences com nomes como /g123 costuma vir de subsetting de uma fonte cujos glifos não carregam nomes padrão. O reparo limpo é embutir essa face como uma fonte TrueType CID-keyed, o setup usado no embutimento de fonte CID Type 2, com Identity-H e um CMap /ToUnicode. Isso tira a regra de codificação de fonte simples de jogo

Ativar a flag Symbolic para fazer a §7.21.6 sumir é o movimento errado. Uma fonte TrueType simbólica não pode carregar /Encoding de forma alguma. Os nomes Differences que diziam a um screen reader qual caractere cada código representa desaparecem junto, e todo viewer passa a escolher glifos por código bruto pela subtable (3,0) ou (1,0). A flag limpa. O significado do texto vai junto

O programa de fonte embutido tem um cmap (3,1)?

Pergunte direto ao programa de fonte, porque a flag de codificação cobre as duas metades do teste e não pode dizer qual falhou. Quando ela dispara e todo nome Differences está na lista, o programa é o próximo suspeito. Um arquivo TrueType começa com um header de 12 bytes cujos bytes 4–5 guardam o número de tabelas, seguido por records de tabela de 16 bytes (tag, checksum, offset, comprimento). A tabela cmap começa com uma versão e uma contagem de subtables, seguida por records de 8 bytes de platform ID, encoding ID e offset, tudo big-endian. Nenhuma biblioteca de fontes é necessária. O TPdf.GetFontData retorna o programa embutido da fonte usada por um objeto de página, então o helper pode rodar sobre todo objeto de texto numa página:

Caminhada de bytes por um programa TrueType embutido: header, records de tabela e records de cmap que decidem a subtable (3,1), lidos pelo PDFium Component em Delphi
a resposta (3,1) vem do próprio programa de fonte: os records de tabela localizam o cmap, e os records de 8 bytes de platform e encoding dele decidem se o caminho Unicode existe
function BE16(const B: TBytes; P: Integer): Integer;
begin
  Result := (B[P] shl 8) or B[P + 1];
end;

function BE32(const B: TBytes; P: Integer): Cardinal;
begin
  Result := (Cardinal(B[P]) shl 24) or (Cardinal(B[P + 1]) shl 16) or
    (Cardinal(B[P + 2]) shl 8) or B[P + 3];
end;

// True quando um programa TrueType tem uma subtable cmap para (Platform, Encoding)
function HasCmapSubtable(const Font: TBytes; Platform, Encoding: Integer): Boolean;
var
  Tables, I, Rec, CmapOfs, Count: Integer;
begin
  Result := False;
  if Length(Font) < 12 then
    Exit;
  Tables := BE16(Font, 4);
  CmapOfs := -1;
  for I := 0 to Tables - 1 do
  begin
    Rec := 12 + I * 16;
    if Rec + 16 > Length(Font) then
      Exit;
    if (Font[Rec] = Ord('c')) and (Font[Rec + 1] = Ord('m')) and
       (Font[Rec + 2] = Ord('a')) and (Font[Rec + 3] = Ord('p')) then
      CmapOfs := Integer(BE32(Font, Rec + 8));
  end;
  if (CmapOfs < 0) or (CmapOfs + 4 > Length(Font)) then
    Exit;
  Count := BE16(Font, CmapOfs + 2);
  for I := 0 to Count - 1 do
  begin
    Rec := CmapOfs + 4 + I * 8;
    if Rec + 8 > Length(Font) then
      Exit;
    if (BE16(Font, Rec) = Platform) and (BE16(Font, Rec + 2) = Encoding) then
      Exit(True);
  end;
end;

// Uma face com só um cmap Mac Roman (1,0) imprime cmap(3,1)=False
procedure ListTextFonts(Pdf: TPdf; PageNo: Integer);
var
  I: Integer;
begin
  Pdf.PageNumber := PageNo;
  for I := 0 to Pdf.ObjectCount - 1 do
    if Pdf.ObjectType[I] = otText then
      Writeln(Format('%-32s embedded=%-5s cmap(3,1)=%s', [
        string(Pdf.GetFontBaseName(I)),
        BoolToStr(Pdf.GetFontIsEmbedded(I), True),
        BoolToStr(HasCmapSubtable(Pdf.GetFontData(I), 3, 1), True)]));
end;

Objetos de texto que compartilham uma fonte imprimem a mesma linha repetidamente. Isso é inofensivo aqui. Um programa CFF puro (FontFile3 com /Type1C ou /CIDFontType0C) não tem diretório de tabelas, então o helper responde False para ele, e como a regra concerne fontes TrueType, essa resposta nunca decide nada aqui. Fontes OpenType com outlines CFF são diferentes: carregam um diretório sfnt sob a tag OTTO e podem incluir um cmap, que o mesmo loop acha. Enquanto o programa está em memória, as larguras de avanço hmtx dele valem comparação com o /Widths do dicionário de fonte também, porque o PDF/UA tem uma regra separada de consistência de larguras, e o audite de larguras de glifo, CharSet e CIDSet a aplica do lado do PDFlibPas

Se o HasCmapSubtable retorna False para a face atrás de uma flag da §7.21.6, nenhuma edição no array Differences dela vai limpar o finding, e o gerador precisa embutir essa face como uma fonte Type 0 com um CMap ToUnicode. Rode a validação do PDFium Component para Delphi de novo no arquivo regenerado e espere que pvuaiTrueTypeEncodingInvalid esteja ausente do Report.Issues