技術文章

PDF/UA 拒收 .notdef 字形與清單外的 Differences 名稱

veraPDF 依 ISO 14289-1 §7.21.8 判一份加標籤的季報不合格,原因只是單一個 Tj 運算子顯示了 <0000>——在 Identity-H 之下就是 CID 0,即 .notdef 字形。這條款與隔壁限制 TrueType /Differences 陣列可用字形名稱的 §7.21.6,在 Delphi 中分別以獨立旗標出現在 PDFium Component 的 TPdf.ValidatePdfUa 結果裡

哪些文字運算子會參照 .notdef 字形?

凡是運算元映射到 0 號字形的顯示文字運算子都算。簡單字型裡,.notdef 是一個字形名稱;CID 字型裡同樣的角色歸 CID 0,ISO 32000-2 §9.7.4.2 要求每個 CIDFont 都得為 CID 0 收錄一段字形描述,「類比簡單字型裡的 .notdef 字元名稱」。用常見的 Identity-H 編碼時,字元碼與 CID 是同兩個位元組,內容流用 Tj 或在 TJ 陣列裡顯示 <0000>,就是在畫 CID 0。ISO 14289-1 §7.21.8 禁止任何顯示文字運算子這麼做,PDF/UA-2 在 §8.4.5.9 講同一件事。文字渲染模式無關緊要:模式 3 的隱形文字——掃描頁面上的 OCR 層之類——照樣算數。螢幕上通常只見一個幾點寬的空框,或什麼都沒有,明眼的校對者看不出有字元丟了

常見的來源是產生器碰到子集字型裡缺的字元,本該改用後備字型,卻寫了 0 號碼。這讓位元組層級的檢查意外地精確:只解碼每頁 /Contents 引用的流,在使用 Type 0 字型的文件裡找餵給 Tj 或 TJ 的 <0000>,圖像、ICC profile 與 CMap 保持壓縮不動。一個解析細節決定您找不找得到那些頁面:ISO 32000-1 §7.3.5 在下一個分隔符處終止名稱記號,不帶空格的 /Type/Page 是合法的頁面字典,搜帶空格的 /Type /Page 會跳過它。在 Differences 陣列裡命名 /.notdef 本身不觸發這條規則,顯示落在那個槽位上的碼才會

流程圖:Identity-H 下的 0000 運算元抵達 CID 0 與 .notdef 字形,並標出 PDFium Component 在 Delphi 中回報的 ISO 14289 條款
任何把 0 號碼餵給 Identity-H 字型的顯示文字運算子都在畫 CID 0,所以就算文字是隱形的,位元組測試也會回報

哪些 /Differences 字形名稱算 Unicode 合規?

出現在 Adobe Glyph List 裡的名稱都算,前提是內嵌的字型程式還得有一張 (3,1) cmap 子表。背景在 ISO 32000-2 §9.6.5.4:它建議非符號 TrueType 字型使用 MacRomanEncoding 或 WinAnsiEncoding 且不帶 Differences 陣列;PDF/UA 把這建議升成要求,留一個出口。兩代 PDF/UA 都以 veraPDF 套用的同一形式陳述測試:字型是符號字型,或其編碼為 MacRoman 或 WinAnsi,且要嘛沒有 /Differences 陣列、要嘛陣列裡每個名稱都 Unicode 合規。(3,1) 條件源自 §9.6.5.4 在該子表(Microsoft 平台、Unicode BMP)存在時規定的字形選取順序:字元碼經編碼得到字形名,字形名經 Adobe Glyph List 得到 Unicode,Unicode 再經 (3,1) 子表得到字形。清單外的名稱弄斷中間一步;沒有那張子表的字型根本走不上這條路。符號字型規則指向另一側:符號 TrueType 字型完全不得帶 /Encoding 項目

從字元碼經 Adobe Glyph List 到 (3,1) cmap 子表的字形選取鏈,即 PDFium Component 在 Delphi 中套用的 TrueType 測試
Differences 名稱只有在編碼、Adobe Glyph List 與 (3,1) cmap 子表三環相扣時才抵達字形,PDFium Component for Delphi 的 PDF/UA 名稱測試就是在這裡失手
字型字典結果
非符號,/Encoding /WinAnsiEncoding,無 Differences通過
非符號,WinAnsi 基底,Differences 含 /Euro /bullet /.notdef,字型有 (3,1) cmap通過
非符號,Differences 含 /g123 或 /glyph57不通過:名稱不在字形清單中
非符號,Differences 合規,內嵌字型只有 (1,0) Mac cmap不通過:無 (3,1) 子表
非符號,WinAnsi 基底帶 Differences,未內嵌 FontFile2本規則不裁決;由內嵌規則(§7.21.4)判不通過
非符號,無 /Encoding 項目不通過
符號,帶任何 /Encoding 項目違反符號字型規則

第二列正是自製字形清單翻車的地方。veraPDF 隨其字型程式碼附帶的清單 font/AdobeGlyphList.txt 有 4,282 個條目,第一行是 .notdef 0000。手工拼湊或取自其他來源的表常常缺這一條,因為 .notdef 不代表任何真實字元。建立在這種表上的檢查器,會回報每一個 Differences 陣列提到 /.notdef 的字型——子集字型拿它填閒置槽位時這個名字很常出現。比對按整個名稱進行:子字串搜尋會因為清單裡有 /grave 而放過 /grav。閒置的 Differences 槽位請放心拿 .notdef 填;跟著 veraPDF 走的檢查器接受它

字型規則按產生器寫下的位元組裁決

想抄近路,自然是把文件存一份正規化副本再掃它——重寫過的檔案好解析。字型規則上這招失靈:任何重新序列化 PDF 的工具都有權重建字型字典,把 Differences 陣列併進新編碼、改字形名、重編物件號。編碼規則因此必須對著產生器寫下的那些位元組檢查。TPdf.ValidatePdfUa 在它載入的檔案或記憶體緩衝上跑字型測試,並直接解碼 FontFile2 流以抵達 TrueType 表目錄。字元層級測試(畫出的字元是否映射到 Unicode 0?)用頁面渲染的文字,跳過標為 Artifact 或被 /ActualText 覆蓋的內容;CID 0 位元組測試不做這種例外。各 finding 以獨立值進入 issue 集合,報告因此能說清是哪條規則觸發:

uses
  SysUtils, PDFium, FPdfPdfua;

procedure ReportFontFindings(const FileName: string);
const
  FontIssues: TPdfUaValidationIssues = [pvuaiPdfiumNotDefGlyph,
    pvuaiTrueTypeEncodingInvalid, pvuaiSymbolicTrueTypeEncoding,
    pvuaiFontNotEmbedded, pvuaiFontMissingToUnicode];
var
  Pdf: TPdf;
  Report: TPdfUaValidationResult;
  Found: TPdfUaValidationIssues;
  Coverage: TPdfUaUnicodeCoverageReport;
  I: Integer;
begin
  Pdf := TPdf.Create(nil);
  try
    Pdf.FileName := FileName;
    Pdf.Active := True;
    if not Pdf.Active then
      raise Exception.CreateFmt('Cannot open %s', [FileName]);
    Report := Pdf.ValidatePdfUa;
    Found := Report.Issues * FontIssues;
    if pvuaiPdfiumNotDefGlyph in Found then
    begin
      Writeln('Text references .notdef / CID 0 (7.21.8, 8.4.5.9)');
      // 找出映射不到 Unicode 值的已渲染字元
      Coverage := Pdf.InspectPdfUaUnicodeCoverage;
      for I := 0 to High(Coverage.Objects) do
        if Coverage.Objects[I].MissingUnicodeCharacterCount > 0 then
          Writeln(Format('  page %d, object %d: %d character(s)',
            [Coverage.Objects[I].PageNumber,
             Coverage.Objects[I].PageObjectIndex,
             Coverage.Objects[I].MissingUnicodeCharacterCount]));
    end;
    if pvuaiTrueTypeEncodingInvalid in Found then
      Writeln('Non-symbolic TrueType encoding or Differences (7.21.6, 8.4.5.7)');
    if pvuaiSymbolicTrueTypeEncoding in Found then
      Writeln('Symbolic TrueType font carries an /Encoding entry');
    if pvuaiFontNotEmbedded in Found then
      Writeln('A font program is not embedded (7.21.4)');
    if pvuaiFontMissingToUnicode in Found then
      Writeln('A font has no usable Unicode mapping (7.21.7)');
    if Found = [] then
      Writeln('No font findings');
    // 預期:檔案唯一的過失是 Differences 陣列裡的 /g123 時,
    // 只印 7.21.6 那一行
  finally
    Pdf.Free;
  end;
end;

修復該回到產生檔案的那支程式裡

兩種 finding 都無法事後改字典安全修掉。CID 0 參照代表某字元在所用字型裡沒有字形,產生器得為它準備後備字型;把 <0000> 改寫成別的碼,只會畫出一個任意字形並給它掛上錯的 Unicode 值。帶 /g123 這類名稱的 Differences 陣列,通常來自子集一個字形沒有標準名稱的字型。乾淨的修法是把那個字型以 CID-keyed TrueType 內嵌——即 CID Type 2 字型內嵌採用的配置——配 Identity-H 與 /ToUnicode CMap,簡單字型的編碼規則便無從插手

為了讓 §7.21.6 消失而設 Symbolic 旗標是錯招。符號 TrueType 字型根本不得帶 /Encoding;原本告訴螢幕閱讀器每個碼代表哪個字元的 Differences 名稱會跟著消失,所有檢視器改為按原始碼經 (3,0) 或 (1,0) 子表挑字形。旗標是清掉了,文字的語意也一起清掉了

內嵌的字型程式有 (3,1) cmap 嗎?

直接問字型程式,因為編碼旗標涵蓋測試的兩半,說不出敗在哪一半。旗標觸發而 Differences 名稱個個在清單裡時,下一個嫌疑犯就是字型程式。TrueType 檔以 12 位元組檔頭開場,位元組 4–5 放表格數量,其後是 16 位元組的表格記錄(tag、checksum、offset、length)。cmap 表開頭是版本與子表數量,其後是 8 位元組記錄:platform ID、encoding ID、offset,全 big-endian。不需要任何字型庫。TPdf.GetFontData 回傳頁面物件所用字型的內嵌程式,輔助函式得以跑遍一頁上的每個文字物件:

逐位元組走過內嵌 TrueType 程式:檔頭、表格記錄與決定 (3,1) 子表的 cmap 記錄,由 PDFium Component 在 Delphi 中讀取
(3,1) 的答案出自字型程式本身:表格記錄定位 cmap,其 8 位元組的 platform 與 encoding 記錄決定 Unicode 這條路存不存在
function BE16(const B: TBytes; P: Integer): Integer;
begin
  Result := (B[P] shl 8) or B[P + 1];
end;

function BE32(const B: TBytes; P: Integer): Cardinal;
begin
  Result := (Cardinal(B[P]) shl 24) or (Cardinal(B[P + 1]) shl 16) or
    (Cardinal(B[P + 2]) shl 8) or B[P + 3];
end;

// TrueType 程式擁有 (Platform, Encoding) 的 cmap 子表時回傳 True
function HasCmapSubtable(const Font: TBytes; Platform, Encoding: Integer): Boolean;
var
  Tables, I, Rec, CmapOfs, Count: Integer;
begin
  Result := False;
  if Length(Font) < 12 then
    Exit;
  Tables := BE16(Font, 4);
  CmapOfs := -1;
  for I := 0 to Tables - 1 do
  begin
    Rec := 12 + I * 16;
    if Rec + 16 > Length(Font) then
      Exit;
    if (Font[Rec] = Ord('c')) and (Font[Rec + 1] = Ord('m')) and
       (Font[Rec + 2] = Ord('a')) and (Font[Rec + 3] = Ord('p')) then
      CmapOfs := Integer(BE32(Font, Rec + 8));
  end;
  if (CmapOfs < 0) or (CmapOfs + 4 > Length(Font)) then
    Exit;
  Count := BE16(Font, CmapOfs + 2);
  for I := 0 to Count - 1 do
  begin
    Rec := CmapOfs + 4 + I * 8;
    if Rec + 8 > Length(Font) then
      Exit;
    if (BE16(Font, Rec) = Platform) and (BE16(Font, Rec + 2) = Encoding) then
      Exit(True);
  end;
end;

// 只有 Mac Roman (1,0) cmap 的字型會印出 cmap(3,1)=False
procedure ListTextFonts(Pdf: TPdf; PageNo: Integer);
var
  I: Integer;
begin
  Pdf.PageNumber := PageNo;
  for I := 0 to Pdf.ObjectCount - 1 do
    if Pdf.ObjectType[I] = otText then
      Writeln(Format('%-32s embedded=%-5s cmap(3,1)=%s', [
        string(Pdf.GetFontBaseName(I)),
        BoolToStr(Pdf.GetFontIsEmbedded(I), True),
        BoolToStr(HasCmapSubtable(Pdf.GetFontData(I), 3, 1), True)]));
end;

共用字型的文字物件會重複印出同一行,這裡無妨。裸 CFF 程式(FontFile3 帶 /Type1C 或 /CIDFontType0C)沒有表目錄,輔助函式對它回傳 False;規則針對的是 TrueType 字型,這個 False 在此不裁決任何事。帶 CFF 外框的 OpenType 字型不同:它們帶 OTTO 標籤的 sfnt 目錄,可能含 cmap,同一個迴圈找得到。程式已在記憶體裡,順手比一下 hmtx 前進寬度與字型字典的 /Widths 也值得——PDF/UA 另有一條寬度一致性規則,稽核字形寬度、CharSet 與 CIDSet 從 PDFlibPas 那側執行它

若 §7.21.6 旗標背後那個字型的 HasCmapSubtable 回傳 False,改它的 Differences 陣列永遠清不掉這筆 finding,產生器得把該字型以 Type 0 加 ToUnicode CMap 內嵌。在重新產生的檔案上再跑一次 PDFium Component for Delphi 驗證,預期 Report.Issues 裡不再出現 pvuaiTrueTypeEncodingInvalid