veraPDF проваливает тегированный квартальный отчёт по ISO 14289-1 §7.21.8, потому что один оператор Tj показывает байты <0000>, что под Identity-H означает CID 0 — глиф .notdef. Тот пункт и соседний §7.21.6, ограничивающий имена глифов, которые может использовать массив TrueType /Differences, всплывают в Delphi отдельными флагами в результате TPdf.ValidatePdfUa PDFium Component
Какие текстовые операторы ссылаются на глиф .notdef?
Каждый оператор показа текста, чей операнд отображается в глиф 0. В простом шрифте .notdef — имя глифа. В CID-keyed шрифте та же роль у CID 0, и ISO 32000-2 §9.7.4.2 требует, чтобы каждый CIDFont содержал описание глифа для CID 0 «аналогично имени символа .notdef в простых шрифтах». При обычной кодировке Identity-H код символа и CID — одни и те же два байта, поэтому поток содержимого, показывающий <0000> через Tj или внутри массива TJ, рисует CID 0. ISO 14289-1 §7.21.8 запрещает это любому оператору показа текста, и PDF/UA-2 формулирует то же требование в §8.4.5.9. Режим рендеринга текста безразличен. Невидимый текст режима 3, вроде OCR-слоя поверх отсканированной страницы, тоже считается. На экране результат — обычно пустой бокс шириной в несколько пунктов или вовсе никакой метки, и ни то ни другое не скажет зрячему корректору, что символ пропал
Обычный источник — генератор, встретивший символ, которого нет в его сабсетном шрифте, и записавший код 0 там, где следовало переключиться на запасную гарнитуру. Оттого байтовая проверка приятно точна. Декодируйте только потоки, на которые ссылается /Contents каждой страницы, ищите <0000>, подаваемый в Tj или TJ, в документе с шрифтами Type 0, а картинки, ICC-профили и CMap держите сжатыми. Одна деталь разбора решает, найдёте ли вы страницы вообще. ISO 32000-1 §7.3.5 заканчивает токен имени на ближайшем разделителе, поэтому /Type/Page без пробела — валидный словарь страницы, а поиск разнесённой формы /Type /Page его пропустит. Именование /.notdef внутри массива Differences само по себе это правило не будит; будит только показ кода, попадающего в тот слот
Какие имена глифов в /Differences считаются соответствующими Unicode?
Те, что есть в Adobe Glyph List, — при условии, что встроенная программа шрифта содержит и под-таблицу cmap (3,1). Фон — ISO 32000-2 §9.6.5.4, рекомендующая несимвольному TrueType шрифту MacRomanEncoding или WinAnsiEncoding без массива Differences; PDF/UA превращает тот совет в требование с одной лазейкой. Обе части PDF/UA формулируют тест в той же форме, что применяет veraPDF: шрифт символьный, или его кодировка MacRoman или WinAnsi и либо массива /Differences нет, либо каждое имя в том массиве соответствует Unicode. Условие (3,1) следует из порядка выбора глифов, который §9.6.5.4 предписывает при наличии той под-таблицы (платформа Microsoft, Unicode BMP). Код символа идёт в имя глифа через кодировку, имя глифа — в Unicode через Adobe Glyph List, а Unicode — в глиф через под-таблицу (3,1). Имя вне списка ломает средний шаг, а шрифт без под-таблицы тем путём не ходит никогда. Правило символьных шрифтов указывает в другую сторону: символьный TrueType шрифт не должен нести запись /Encoding вовсе
| Словарь шрифта | Результат |
|---|---|
Несимвольный, /Encoding /WinAnsiEncoding, без Differences | Проходит |
Несимвольный, база WinAnsi, Differences с /Euro /bullet /.notdef, у шрифта есть cmap (3,1) | Проходит |
Несимвольный, Differences с /g123 или /glyph57 | Провал: имена не из списка глифов |
| Несимвольный, валидный Differences, у встроенного шрифта только Mac cmap (1,0) | Провал: нет под-таблицы (3,1) |
Несимвольный, база WinAnsi с Differences, FontFile2 не встроен | Это правило не решает; проваливает правило встраивания (§7.21.4) |
Несимвольный, без записи /Encoding | Провал |
Символьный, любая запись /Encoding | Провал по правилу символьных |
Вторая строка — то место, где ломаются самосборные списки глифов. Список, который veraPDF возит со своим шрифтовым кодом, font/AdobeGlyphList.txt, держит 4 282 записи, и первая его строка — .notdef 0000. Таблицы, собранные руками или взятые из других источников, той записи часто не имеют, потому что .notdef не означает никакого настоящего символа. Проверялщик на такой таблице заметит каждый шрифт, чей массив Differences упоминает /.notdef — имя, регулярно всплывающее в сабсетных шрифтах, заполняющих им неиспользуемые слоты. Совпадение — по целому имени. Поиск подстроки принял бы /grav на том лишь основании, что /grave в списке есть. Заполняйте пустые слоты Differences значением .notdef свободно; проверялщик, следующий veraPDF, его принимает
Шрифтовые правила судят по байтам, записанным продюсером
Естественный упрощённый ход — сохранить нормализованную копию документа и сканировать её, ведь переписанный файл парсить проще. Для шрифтовых правил это не работает. Любой инструмент, пересериализующий PDF, волен пересобрать шрифтовые словари: свернуть массив Differences в свежую кодировку, переименовать глифы, перенумеровать объекты. Поэтому правило кодировки обязано проверяться по байтам, записанным продюсером. TPdf.ValidatePdfUa гоняет шрифтовые тесты по файлу или буферу памяти, который загрузил, и декодирует потоки FontFile2 напрямую, добираясь до каталога таблиц TrueType. Посимвольный тест (отображается ли нарисованный символ в Unicode 0?) использует текст, который рендерит страница, и пропускает содержимое, помеченное как Artifact или накрытое /ActualText; байтовый тест CID 0 таких исключений не делает. Замечания приходят отдельными значениями в наборе issues, поэтому отчёт может сказать, какое правило сработало:
uses
SysUtils, PDFium, FPdfPdfua;
procedure ReportFontFindings(const FileName: string);
const
FontIssues: TPdfUaValidationIssues = [pvuaiPdfiumNotDefGlyph,
pvuaiTrueTypeEncodingInvalid, pvuaiSymbolicTrueTypeEncoding,
pvuaiFontNotEmbedded, pvuaiFontMissingToUnicode];
var
Pdf: TPdf;
Report: TPdfUaValidationResult;
Found: TPdfUaValidationIssues;
Coverage: TPdfUaUnicodeCoverageReport;
I: Integer;
begin
Pdf := TPdf.Create(nil);
try
Pdf.FileName := FileName;
Pdf.Active := True;
if not Pdf.Active then
raise Exception.CreateFmt('Cannot open %s', [FileName]);
Report := Pdf.ValidatePdfUa;
Found := Report.Issues * FontIssues;
if pvuaiPdfiumNotDefGlyph in Found then
begin
Writeln('Text references .notdef / CID 0 (7.21.8, 8.4.5.9)');
// Находим отрисованные символы, не отображающиеся ни в какое значение Unicode
Coverage := Pdf.InspectPdfUaUnicodeCoverage;
for I := 0 to High(Coverage.Objects) do
if Coverage.Objects[I].MissingUnicodeCharacterCount > 0 then
Writeln(Format(' page %d, object %d: %d character(s)',
[Coverage.Objects[I].PageNumber,
Coverage.Objects[I].PageObjectIndex,
Coverage.Objects[I].MissingUnicodeCharacterCount]));
end;
if pvuaiTrueTypeEncodingInvalid in Found then
Writeln('Non-symbolic TrueType encoding or Differences (7.21.6, 8.4.5.7)');
if pvuaiSymbolicTrueTypeEncoding in Found then
Writeln('Symbolic TrueType font carries an /Encoding entry');
if pvuaiFontNotEmbedded in Found then
Writeln('A font program is not embedded (7.21.4)');
if pvuaiFontMissingToUnicode in Found then
Writeln('A font has no usable Unicode mapping (7.21.7)');
if Found = [] then
Writeln('No font findings');
// Ожидается для файла, чей единственный fault — /g123 в массиве Differences:
// единственная строка 7.21.6
finally
Pdf.Free;
end;
end;
Ремонт принадлежит программе, записавшей файл
Ни одно из двух замечаний нельзя безопасно залатать потом правкой словаря. Ссылка на CID 0 означает, что у символа не нашлось глифа в использованном шрифте, поэтому генератору нужна запасная гарнитура для этого символа. Переписать <0000> на какой-то другой код — значит нарисовать случайный глиф и прилепить к нему неверное значение Unicode. Массив Differences с именами вроде /g123 обычно вылезает из сабсета шрифта, чьи глифы не несут стандартных имён. Чистый ремонт — встроить ту гарнитуру как CID-keyed TrueType шрифт, установка, применяемая в статье о встраивании шрифтов CID Type 2, с Identity-H и CMap /ToUnicode. Это выводит правило кодировки простых шрифтов из игры
Выставить флаг Symbolic, чтобы §7.21.6 исчез, — неверный ход. Символьный TrueType шрифт не может нести /Encoding вообще. Имена Differences, рассказывавшие экранному диктору, какой символ стоит за каждым кодом, исчезают вместе с ними, и каждый вьюер выбирает глифы по сырому коду через под-таблицу (3,0) или (1,0). Флаг снимается. Смысл текста уходит вместе с ним
Есть ли у встроенной программы шрифта cmap (3,1)?
Спросите саму программу шрифта: флаг кодировки накрывает обе половины теста и не скажет, какая именно провалилась. Когда он срабатывает, а каждое имя Differences есть в списке, следующий подозреваемый — программа. Файл TrueType начинается с 12-байтового заголовка, чьи байты 4–5 держат число таблиц, за которым идут 16-байтовые записи таблиц (tag, checksum, offset, length). Таблица cmap открывается версией и числом под-таблиц, за которыми идут 8-байтовые записи ID платформы, ID кодировки и смещения — всё big-endian. Шрифтовой библиотеки не нужно. TPdf.GetFontData возвращает встроенную программу шрифта, которым пользуется объект страницы, поэтому помощник может пройти по каждому текстовому объекту страницы:
function BE16(const B: TBytes; P: Integer): Integer;
begin
Result := (B[P] shl 8) or B[P + 1];
end;
function BE32(const B: TBytes; P: Integer): Cardinal;
begin
Result := (Cardinal(B[P]) shl 24) or (Cardinal(B[P + 1]) shl 16) or
(Cardinal(B[P + 2]) shl 8) or B[P + 3];
end;
// Истинно, когда программа TrueType имеет под-таблицу cmap для (Platform, Encoding)
function HasCmapSubtable(const Font: TBytes; Platform, Encoding: Integer): Boolean;
var
Tables, I, Rec, CmapOfs, Count: Integer;
begin
Result := False;
if Length(Font) < 12 then
Exit;
Tables := BE16(Font, 4);
CmapOfs := -1;
for I := 0 to Tables - 1 do
begin
Rec := 12 + I * 16;
if Rec + 16 > Length(Font) then
Exit;
if (Font[Rec] = Ord('c')) and (Font[Rec + 1] = Ord('m')) and
(Font[Rec + 2] = Ord('a')) and (Font[Rec + 3] = Ord('p')) then
CmapOfs := Integer(BE32(Font, Rec + 8));
end;
if (CmapOfs < 0) or (CmapOfs + 4 > Length(Font)) then
Exit;
Count := BE16(Font, CmapOfs + 2);
for I := 0 to Count - 1 do
begin
Rec := CmapOfs + 4 + I * 8;
if Rec + 8 > Length(Font) then
Exit;
if (BE16(Font, Rec) = Platform) and (BE16(Font, Rec + 2) = Encoding) then
Exit(True);
end;
end;
// Гарнитура только с Mac Roman cmap (1,0) печатает cmap(3,1)=False
procedure ListTextFonts(Pdf: TPdf; PageNo: Integer);
var
I: Integer;
begin
Pdf.PageNumber := PageNo;
for I := 0 to Pdf.ObjectCount - 1 do
if Pdf.ObjectType[I] = otText then
Writeln(Format('%-32s embedded=%-5s cmap(3,1)=%s', [
string(Pdf.GetFontBaseName(I)),
BoolToStr(Pdf.GetFontIsEmbedded(I), True),
BoolToStr(HasCmapSubtable(Pdf.GetFontData(I), 3, 1), True)]));
end;
Текстовые объекты, делящие один шрифт, напечатают одну и ту же строку несколько раз. Здесь это безвредно. Голая программа CFF (FontFile3 с /Type1C или /CIDFontType0C) не имеет каталога таблиц, поэтому помощник отвечает для неё False, и раз правило касается TrueType шрифтов, тот ответ здесь никогда ничего не решает. OpenType шрифты с контурами CFF другие: они несут sfnt-каталог под тегом OTTO и могут включать cmap, который тот же цикл найдёт. Пока программа в памяти, стоит заодно сверить её ширины из hmtx со /Widths шрифтового словаря: у PDF/UA есть отдельное правило согласованности ширин, и статья об аудите ширин глифов, CharSet и CIDSet применяет его со стороны PDFlibPas
Если HasCmapSubtable отвечает False о гарнитуре за флагом §7.21.6, никакая правка её массива Differences замечание не снимет, и генератору нужно встроить ту гарнитуру как шрифт Type 0 с CMap ToUnicode. Прогоните валидацию PDFium Component для Delphi заново на перегенерированном файле и ждите, что pvuaiTrueTypeEncodingInvalid в Report.Issues отсутствует