Техническая статья

PDF/UA бракует глифы .notdef и имена Differences вне списка

veraPDF проваливает тегированный квартальный отчёт по ISO 14289-1 §7.21.8, потому что один оператор Tj показывает байты <0000>, что под Identity-H означает CID 0 — глиф .notdef. Тот пункт и соседний §7.21.6, ограничивающий имена глифов, которые может использовать массив TrueType /Differences, всплывают в Delphi отдельными флагами в результате TPdf.ValidatePdfUa PDFium Component

Какие текстовые операторы ссылаются на глиф .notdef?

Каждый оператор показа текста, чей операнд отображается в глиф 0. В простом шрифте .notdef — имя глифа. В CID-keyed шрифте та же роль у CID 0, и ISO 32000-2 §9.7.4.2 требует, чтобы каждый CIDFont содержал описание глифа для CID 0 «аналогично имени символа .notdef в простых шрифтах». При обычной кодировке Identity-H код символа и CID — одни и те же два байта, поэтому поток содержимого, показывающий <0000> через Tj или внутри массива TJ, рисует CID 0. ISO 14289-1 §7.21.8 запрещает это любому оператору показа текста, и PDF/UA-2 формулирует то же требование в §8.4.5.9. Режим рендеринга текста безразличен. Невидимый текст режима 3, вроде OCR-слоя поверх отсканированной страницы, тоже считается. На экране результат — обычно пустой бокс шириной в несколько пунктов или вовсе никакой метки, и ни то ни другое не скажет зрячему корректору, что символ пропал

Обычный источник — генератор, встретивший символ, которого нет в его сабсетном шрифте, и записавший код 0 там, где следовало переключиться на запасную гарнитуру. Оттого байтовая проверка приятно точна. Декодируйте только потоки, на которые ссылается /Contents каждой страницы, ищите <0000>, подаваемый в Tj или TJ, в документе с шрифтами Type 0, а картинки, ICC-профили и CMap держите сжатыми. Одна деталь разбора решает, найдёте ли вы страницы вообще. ISO 32000-1 §7.3.5 заканчивает токен имени на ближайшем разделителе, поэтому /Type/Page без пробела — валидный словарь страницы, а поиск разнесённой формы /Type /Page его пропустит. Именование /.notdef внутри массива Differences само по себе это правило не будит; будит только показ кода, попадающего в тот слот

Схема: операнд 0000 под Identity-H добирается до CID 0 и глифа .notdef, с пунктом ISO 14289, который сообщает PDFium Component в Delphi
любой оператор показа текста, скармливающий код 0 шрифту Identity-H, рисует CID 0, поэтому байтовый тест сообщит об этом, даже когда текст невидим

Какие имена глифов в /Differences считаются соответствующими Unicode?

Те, что есть в Adobe Glyph List, — при условии, что встроенная программа шрифта содержит и под-таблицу cmap (3,1). Фон — ISO 32000-2 §9.6.5.4, рекомендующая несимвольному TrueType шрифту MacRomanEncoding или WinAnsiEncoding без массива Differences; PDF/UA превращает тот совет в требование с одной лазейкой. Обе части PDF/UA формулируют тест в той же форме, что применяет veraPDF: шрифт символьный, или его кодировка MacRoman или WinAnsi и либо массива /Differences нет, либо каждое имя в том массиве соответствует Unicode. Условие (3,1) следует из порядка выбора глифов, который §9.6.5.4 предписывает при наличии той под-таблицы (платформа Microsoft, Unicode BMP). Код символа идёт в имя глифа через кодировку, имя глифа — в Unicode через Adobe Glyph List, а Unicode — в глиф через под-таблицу (3,1). Имя вне списка ломает средний шаг, а шрифт без под-таблицы тем путём не ходит никогда. Правило символьных шрифтов указывает в другую сторону: символьный TrueType шрифт не должен нести запись /Encoding вовсе

Цепочка выбора глифа от кода символа через Adobe Glyph List к под-таблице cmap (3,1) — TrueType-тест, который применяет PDFium Component в Delphi
имя Differences добирается до глифа, только когда держится цепочка кодировка — Adobe Glyph List — под-таблица cmap (3,1), и именно там падает тест имён PDF/UA в PDFium Component для Delphi
Словарь шрифтаРезультат
Несимвольный, /Encoding /WinAnsiEncoding, без DifferencesПроходит
Несимвольный, база WinAnsi, Differences с /Euro /bullet /.notdef, у шрифта есть cmap (3,1)Проходит
Несимвольный, Differences с /g123 или /glyph57Провал: имена не из списка глифов
Несимвольный, валидный Differences, у встроенного шрифта только Mac cmap (1,0)Провал: нет под-таблицы (3,1)
Несимвольный, база WinAnsi с Differences, FontFile2 не встроенЭто правило не решает; проваливает правило встраивания (§7.21.4)
Несимвольный, без записи /EncodingПровал
Символьный, любая запись /EncodingПровал по правилу символьных

Вторая строка — то место, где ломаются самосборные списки глифов. Список, который veraPDF возит со своим шрифтовым кодом, font/AdobeGlyphList.txt, держит 4 282 записи, и первая его строка — .notdef 0000. Таблицы, собранные руками или взятые из других источников, той записи часто не имеют, потому что .notdef не означает никакого настоящего символа. Проверялщик на такой таблице заметит каждый шрифт, чей массив Differences упоминает /.notdef — имя, регулярно всплывающее в сабсетных шрифтах, заполняющих им неиспользуемые слоты. Совпадение — по целому имени. Поиск подстроки принял бы /grav на том лишь основании, что /grave в списке есть. Заполняйте пустые слоты Differences значением .notdef свободно; проверялщик, следующий veraPDF, его принимает

Шрифтовые правила судят по байтам, записанным продюсером

Естественный упрощённый ход — сохранить нормализованную копию документа и сканировать её, ведь переписанный файл парсить проще. Для шрифтовых правил это не работает. Любой инструмент, пересериализующий PDF, волен пересобрать шрифтовые словари: свернуть массив Differences в свежую кодировку, переименовать глифы, перенумеровать объекты. Поэтому правило кодировки обязано проверяться по байтам, записанным продюсером. TPdf.ValidatePdfUa гоняет шрифтовые тесты по файлу или буферу памяти, который загрузил, и декодирует потоки FontFile2 напрямую, добираясь до каталога таблиц TrueType. Посимвольный тест (отображается ли нарисованный символ в Unicode 0?) использует текст, который рендерит страница, и пропускает содержимое, помеченное как Artifact или накрытое /ActualText; байтовый тест CID 0 таких исключений не делает. Замечания приходят отдельными значениями в наборе issues, поэтому отчёт может сказать, какое правило сработало:

uses
  SysUtils, PDFium, FPdfPdfua;

procedure ReportFontFindings(const FileName: string);
const
  FontIssues: TPdfUaValidationIssues = [pvuaiPdfiumNotDefGlyph,
    pvuaiTrueTypeEncodingInvalid, pvuaiSymbolicTrueTypeEncoding,
    pvuaiFontNotEmbedded, pvuaiFontMissingToUnicode];
var
  Pdf: TPdf;
  Report: TPdfUaValidationResult;
  Found: TPdfUaValidationIssues;
  Coverage: TPdfUaUnicodeCoverageReport;
  I: Integer;
begin
  Pdf := TPdf.Create(nil);
  try
    Pdf.FileName := FileName;
    Pdf.Active := True;
    if not Pdf.Active then
      raise Exception.CreateFmt('Cannot open %s', [FileName]);
    Report := Pdf.ValidatePdfUa;
    Found := Report.Issues * FontIssues;
    if pvuaiPdfiumNotDefGlyph in Found then
    begin
      Writeln('Text references .notdef / CID 0 (7.21.8, 8.4.5.9)');
      // Находим отрисованные символы, не отображающиеся ни в какое значение Unicode
      Coverage := Pdf.InspectPdfUaUnicodeCoverage;
      for I := 0 to High(Coverage.Objects) do
        if Coverage.Objects[I].MissingUnicodeCharacterCount > 0 then
          Writeln(Format('  page %d, object %d: %d character(s)',
            [Coverage.Objects[I].PageNumber,
             Coverage.Objects[I].PageObjectIndex,
             Coverage.Objects[I].MissingUnicodeCharacterCount]));
    end;
    if pvuaiTrueTypeEncodingInvalid in Found then
      Writeln('Non-symbolic TrueType encoding or Differences (7.21.6, 8.4.5.7)');
    if pvuaiSymbolicTrueTypeEncoding in Found then
      Writeln('Symbolic TrueType font carries an /Encoding entry');
    if pvuaiFontNotEmbedded in Found then
      Writeln('A font program is not embedded (7.21.4)');
    if pvuaiFontMissingToUnicode in Found then
      Writeln('A font has no usable Unicode mapping (7.21.7)');
    if Found = [] then
      Writeln('No font findings');
    // Ожидается для файла, чей единственный fault — /g123 в массиве Differences:
    // единственная строка 7.21.6
  finally
    Pdf.Free;
  end;
end;

Ремонт принадлежит программе, записавшей файл

Ни одно из двух замечаний нельзя безопасно залатать потом правкой словаря. Ссылка на CID 0 означает, что у символа не нашлось глифа в использованном шрифте, поэтому генератору нужна запасная гарнитура для этого символа. Переписать <0000> на какой-то другой код — значит нарисовать случайный глиф и прилепить к нему неверное значение Unicode. Массив Differences с именами вроде /g123 обычно вылезает из сабсета шрифта, чьи глифы не несут стандартных имён. Чистый ремонт — встроить ту гарнитуру как CID-keyed TrueType шрифт, установка, применяемая в статье о встраивании шрифтов CID Type 2, с Identity-H и CMap /ToUnicode. Это выводит правило кодировки простых шрифтов из игры

Выставить флаг Symbolic, чтобы §7.21.6 исчез, — неверный ход. Символьный TrueType шрифт не может нести /Encoding вообще. Имена Differences, рассказывавшие экранному диктору, какой символ стоит за каждым кодом, исчезают вместе с ними, и каждый вьюер выбирает глифы по сырому коду через под-таблицу (3,0) или (1,0). Флаг снимается. Смысл текста уходит вместе с ним

Есть ли у встроенной программы шрифта cmap (3,1)?

Спросите саму программу шрифта: флаг кодировки накрывает обе половины теста и не скажет, какая именно провалилась. Когда он срабатывает, а каждое имя Differences есть в списке, следующий подозреваемый — программа. Файл TrueType начинается с 12-байтового заголовка, чьи байты 4–5 держат число таблиц, за которым идут 16-байтовые записи таблиц (tag, checksum, offset, length). Таблица cmap открывается версией и числом под-таблиц, за которыми идут 8-байтовые записи ID платформы, ID кодировки и смещения — всё big-endian. Шрифтовой библиотеки не нужно. TPdf.GetFontData возвращает встроенную программу шрифта, которым пользуется объект страницы, поэтому помощник может пройти по каждому текстовому объекту страницы:

Байтовый проход по встроенной программе TrueType: заголовок, записи таблиц и записи cmap, решающие судьбу под-таблицы (3,1), читает PDFium Component в Delphi
ответ (3,1) даёт сама программа шрифта: записи таблиц находят cmap, а её 8-байтовые записи платформы и кодировки решают, существует ли Unicode-путь
function BE16(const B: TBytes; P: Integer): Integer;
begin
  Result := (B[P] shl 8) or B[P + 1];
end;

function BE32(const B: TBytes; P: Integer): Cardinal;
begin
  Result := (Cardinal(B[P]) shl 24) or (Cardinal(B[P + 1]) shl 16) or
    (Cardinal(B[P + 2]) shl 8) or B[P + 3];
end;

// Истинно, когда программа TrueType имеет под-таблицу cmap для (Platform, Encoding)
function HasCmapSubtable(const Font: TBytes; Platform, Encoding: Integer): Boolean;
var
  Tables, I, Rec, CmapOfs, Count: Integer;
begin
  Result := False;
  if Length(Font) < 12 then
    Exit;
  Tables := BE16(Font, 4);
  CmapOfs := -1;
  for I := 0 to Tables - 1 do
  begin
    Rec := 12 + I * 16;
    if Rec + 16 > Length(Font) then
      Exit;
    if (Font[Rec] = Ord('c')) and (Font[Rec + 1] = Ord('m')) and
       (Font[Rec + 2] = Ord('a')) and (Font[Rec + 3] = Ord('p')) then
      CmapOfs := Integer(BE32(Font, Rec + 8));
  end;
  if (CmapOfs < 0) or (CmapOfs + 4 > Length(Font)) then
    Exit;
  Count := BE16(Font, CmapOfs + 2);
  for I := 0 to Count - 1 do
  begin
    Rec := CmapOfs + 4 + I * 8;
    if Rec + 8 > Length(Font) then
      Exit;
    if (BE16(Font, Rec) = Platform) and (BE16(Font, Rec + 2) = Encoding) then
      Exit(True);
  end;
end;

// Гарнитура только с Mac Roman cmap (1,0) печатает cmap(3,1)=False
procedure ListTextFonts(Pdf: TPdf; PageNo: Integer);
var
  I: Integer;
begin
  Pdf.PageNumber := PageNo;
  for I := 0 to Pdf.ObjectCount - 1 do
    if Pdf.ObjectType[I] = otText then
      Writeln(Format('%-32s embedded=%-5s cmap(3,1)=%s', [
        string(Pdf.GetFontBaseName(I)),
        BoolToStr(Pdf.GetFontIsEmbedded(I), True),
        BoolToStr(HasCmapSubtable(Pdf.GetFontData(I), 3, 1), True)]));
end;

Текстовые объекты, делящие один шрифт, напечатают одну и ту же строку несколько раз. Здесь это безвредно. Голая программа CFF (FontFile3 с /Type1C или /CIDFontType0C) не имеет каталога таблиц, поэтому помощник отвечает для неё False, и раз правило касается TrueType шрифтов, тот ответ здесь никогда ничего не решает. OpenType шрифты с контурами CFF другие: они несут sfnt-каталог под тегом OTTO и могут включать cmap, который тот же цикл найдёт. Пока программа в памяти, стоит заодно сверить её ширины из hmtx со /Widths шрифтового словаря: у PDF/UA есть отдельное правило согласованности ширин, и статья об аудите ширин глифов, CharSet и CIDSet применяет его со стороны PDFlibPas

Если HasCmapSubtable отвечает False о гарнитуре за флагом §7.21.6, никакая правка её массива Differences замечание не снимет, и генератору нужно встроить ту гарнитуру как шрифт Type 0 с CMap ToUnicode. Прогоните валидацию PDFium Component для Delphi заново на перегенерированном файле и ждите, что pvuaiTrueTypeEncodingInvalid в Report.Issues отсутствует