Техническая статья

Каким частям PDF/A нужна XMP extension schema?

Номер счёта из ERP, добавленный в XMP файла PDF/A-2b, притягивает замечание о необъявленном свойстве, но тот же пакет в файле PDF/A-4 соответствует. Части 1–3 требуют описание pdfaExtension:schemas для каждого пользовательского свойства, часть 4 — нет, поэтому валидатор PDF/A в PDFium Component для Delphi читает pdfaid:part, прежде чем выбрать набор правил

Схема решений PDFium Component для Delphi: чтение pdfaid:part для выбора проверок extension-схем в частях PDF/A 1–3 и правил уровня пакета в PDF/A-4
валидатор читает pdfaid:part первым, поэтому пакет, объявляющий часть 4, минует четыре замечания об extension-схемах, которые поднимают части 1–3 в PDFium Component для Delphi

Что части PDF/A 1–3 требуют от пользовательского свойства?

Описание его пространства имён плюс строка в том описании, называющая свойство. ISO 19005-1 §6.7.2 разрешает свойства XMP только из предопределённых схем или из схем расширения, соответствующих §6.7.8, где требуется каждое описание в том же потоке метаданных; ISO 19005-2 §6.6.2.3.1 несёт правило в части 2 и 3. Описание — не индульгенция на всё. Оно называет свойства по одному через pdfaProperty:name, поэтому пакет, описывающий inv:InvoiceNumber и попутно пишущий inv:DueDate, проваливается на втором. PDFium Component сообщает такие случаи четырьмя значениями TPdfAValidationIssue, по одному замечанию на fault: переименованный префикс, например, даёт лишь замечание о префиксе

Значение issueКогда сообщаетсяПункт
pvaiMissingExtensionSchemaИспользуется непредопределённое пространство имён, а контейнера pdfaExtension:schemas в пакете нет19005-1 §6.7.8, 19005-2 §6.6.2.3.1
pvaiXmpPropertyUndeclaredКонтейнер есть, но ни одно описание в нём не называет свойство19005-1 §6.7.2, 19005-2 §6.6.2.3.1
pvaiExtensionSchemaPrefixПространство имён описания привязано к префиксу, отличному от требуемого19005-1 §6.7.8, 19005-2 §6.6.2.3.2
pvaiExtensionSchemaEntryMissingОписание пропускает поле, которое перечисляет его таблица19005-1 §6.7.8, 19005-2 §6.6.2.3.3

Какое из первых двух получите — зависит от продюсера. Многие писатели PDF/A уже описывают идентификационную схему pdfaid в контейнере, включая SaveAsPdfA в PDFium Component, поэтому поле, добавленное позже, ложится рядом с контейнером, у которого записи для него нет. Рутина ниже печатает только замечания об extension-схемах. Ожидается: файл PDF/A-2b, записанный SaveAsPdfA, печатает pac2b и pvaiXmpPropertyUndeclared, пакет части 1 или 2 без контейнера печатает pvaiMissingExtensionSchema, а файл PDF/A-4 печатает одну лишь строку соответствия

uses
  System.SysUtils, System.Classes, System.TypInfo,
  PDFium, FPdfPdfa, FPdfXmp;

const
  InvoiceNs = 'http://ns.example.com/invoice/1.0/';
  ExtensionIssues: TPdfAValidationIssues = [pvaiMissingExtensionSchema,
    pvaiXmpPropertyUndeclared, pvaiExtensionSchemaPrefix,
    pvaiExtensionSchemaEntryMissing];

procedure PrintExtensionIssues(Source: TStream);
var
  Res: TPdfAValidationResult;
  Issue: TPdfAValidationIssue;
begin
  Res := ValidatePdfAComplianceEx(Source, TPdfAValidationOptions.Default);
  Writeln(GetEnumName(TypeInfo(TPdfAConformance), Ord(Res.Conformance)));
  for Issue in Res.Issues * ExtensionIssues do
    Writeln('  ', GetEnumName(TypeInfo(TPdfAValidationIssue), Ord(Issue)));
end;

procedure ProbeCustomProperty(const FileName: string);
var
  Pdf: TPdf;
  Packet: TPdfXmpPacket;
  Output: TMemoryStream;
begin
  Output := TMemoryStream.Create;
  try
    Pdf := TPdf.Create(nil);
    try
      Pdf.FileName := FileName;
      Pdf.Active := True;
      Packet := Pdf.ReadXmpPacket;
      if Packet = nil then
        raise Exception.CreateFmt('%s has no XMP packet', [FileName]);
      try
        Packet.SetSimpleValue(InvoiceNs, 'inv', 'InvoiceNumber', 'INV-2026-0412');
        if not Pdf.SaveAsWithXmpPacket(Output, Packet) then
          raise Exception.Create('Saving the edited packet failed');
      finally
        Packet.Free;
      end;
    finally
      Pdf.Free;
    end;
    Output.Position := 0;
    PrintExtensionIssues(Output);
  finally
    Output.Free;
  end;
end;

Предопределённый набор сдвинулся между XMP 2004 и ISO 16684-1

Часть 1 и часть 2 расходятся в том, что значит предопределённый. ISO 19005-1 §6.7.2 указывает на XMP Specification января 2004, ISO 19005-2 §6.6.2.3.1 — на ISO 16684-1, чей список длиннее. Разрыв вылезает в повседневных файлах через crs (настройки Camera Raw), aux (дополнительные данные EXIF) и xmpDM (динамические медиа), которые TechNote 0008 PDF/A Competence Center оговаривает сноской как новое в спецификации XMP 2005. Свойство crs:AutoBrightness или xmpDM:videoColorSpace в части 1 требует описания и предопределено начиная с части 2. В публичном корпусе veraPDF есть проваливающие PDF/A-1b файлы, добавляющие одно такое свойство и больше ничего, а собственный строитель тестовых файлов veraPDF вписывает намёк на camera-raw или динамические медиа в свои PDF/A-2b файлы, поэтому проверялщик, слепой к номеру части, ошибётся на одной стороне. Объявления тоже съехали: photoshop:SupplementalCategories в 2004 — Text, а в ISO 16684-1 — bag из Text, поэтому bag-форма проваливает PDF/A-1 и верна в PDF/A-2

Обратный упрощённый ход тоже проваливается. Обозвать extension-схемой всё вне десяти таблиц схем TechNote 0008 — значит пометить структуры sType и пространство имён квалификатора Identifier, которыми пользуются обычные записи xmpMM:History, а TechNote 0008 разрешает те URI в PDF/A-1. PDFium Component читает часть из pdfaid:part: пакет части 1 без блока описаний, использующий crs, aux или xmpDM, получает pvaiMissingExtensionSchema, пакет части 2 не получает замечания об extension-схемах. Для вывода PDF/A-1 вычистите свойства camera-raw и динамических медиа, которые никто ниже по конвейеру не читает. Полное описание crs растягивается на десятки записей, и каждая — шанс словить замечание о пропущенной записи

Обязательные префиксы и замыкающий # в URI схем

Пространства имён XML обычно позволяют писателю выбрать любой префикс. §6.7.8 отнимает эту свободу у словаря описаний, назначая каждой структуре URI и обязательный префикс: pdfaSchema, pdfaProperty, pdfaType для типа значения и pdfaField для поля одного; ISO 19005-2 §6.6.2.3.2 повторяет все четыре. Привязка http://www.aiim.org/pdfa/ns/property# к nonpdfaProperty — эквивалентный XML и всё равно провал, а файлы корпуса veraPDF для этого пункта держат все URI верными и переименовывают один префикс. Ваша собственная схема — другое дело: pdfaSchema:prefix фиксирует предпочтительный префикс, так что inv — рекомендация. Всё равно держите его равным префиксу, который привязывает пакет

Анатомия четырёх словарей extension-схем PDF/A с обязательными префиксами, URI схем и обязательными полями, плюс нормализация замыкающего решётки, которую применяет PDFium Component в Delphi
каждый словарь описаний несёт URI и обязательный префикс, а компонент срезает замыкающий # с обеих сторон перед сравнением URI пространств имён

У URI есть причуда. Проза ISO 19005-1 §6.7.8 печатает http://www.aiim.org/pdfa/ns/schema без замыкающего #, тогда как её таблицы и соответствующие файлы заканчивают URI им, поэтому строгое сравнение с прозой не совпадает ни с чем. PDFium Component срезает замыкающий # с обеих сторон перед сравнением. Пишите форму с # и копируйте своё пространство имён в pdfaSchema:namespaceURI символ в символ. Заключительное предложение ISO 19005-2 §6.6.2.3.2 требует затем каждого поля, которое перечисляют таблицы §6.6.2.3.3, а пробел сообщается как pvaiExtensionSchemaEntryMissing:

  • Schema (pdfaSchema): schema, namespaceURI и prefix, плюс списки property и valueType, без которых обходится схема, если ей нечего объявлять
  • Property (pdfaProperty): name, valueType, category и description, где category — internal или external
  • Value type (pdfaType): type, namespaceURI, prefix, description и field — обязательно, ибо пользовательский тип значения — это структура
  • Field (pdfaField): name, valueType и description

Как записывать структурную запись в RDF/XML?

Любым из трёх, пока элемент остаётся структурой. ISO 32000-2 §14.3.2 отдаёт грамматику потока метаданных ISO 16684-1, который пишет XMP как подмножество RDF/XML. Краткая форма вешает rdf:parseType="Resource" на rdf:li и перечисляет поля под ним; длинная форма заворачивает их во вложенный rdf:Description, и обе означают одну и ту же анонимную структуру. Третье написание уносит текстовые поля в атрибуты того rdf:Description. Туда помещается только текст: pdfaSchema:property держит последовательность и остаётся элементом. Сорвите rdf:parseType с краткой записи — и результат не RDF/XML. Парсер затем ждёт внутри rdf:li текста или одного элемента-узла, принимает pdfaSchema:schema за типизированный узел, а элемент-узел не может держать непробельный текст, поэтому первое поле уже ломает грамматику. XSLT, пересобирающий элементы списков, или шаблон, регенерирующий блок из словаря, могут обронить атрибут, сохранив каждый элемент. Прочтите такой вывод сторонним RDF-парсером, не тем, что его писал, и увидите ущерб

Три легальных написания RDF/XML одной записи extension-схемы PDF/A и излом грамматики при срыве rdf:parseType, как их сохраняет PDFium Component в Delphi
краткая форма, длинная и атрибутная стенография описывают одну структуру, а срыв rdf:parseType с краткой записи ломает грамматику RDF на первом поле
<!-- Краткая форма: схема счёта, описанная полностью -->
<rdf:li rdf:parseType="Resource">
  <pdfaSchema:schema>Invoice data from the ERP</pdfaSchema:schema>
  <pdfaSchema:namespaceURI>http://ns.example.com/invoice/1.0/</pdfaSchema:namespaceURI>
  <pdfaSchema:prefix>inv</pdfaSchema:prefix>
  <pdfaSchema:property>
    <rdf:Seq>
      <rdf:li rdf:parseType="Resource">
        <pdfaProperty:name>InvoiceNumber</pdfaProperty:name>
        <pdfaProperty:valueType>Text</pdfaProperty:valueType>
        <pdfaProperty:category>external</pdfaProperty:category>
        <pdfaProperty:description>Invoice number assigned by the ERP</pdfaProperty:description>
      </rdf:li>
    </rdf:Seq>
  </pdfaSchema:property>
</rdf:li>

<!-- Длинная форма: та же структура вложенным узлом -->
<rdf:li>
  <rdf:Description>
    <pdfaSchema:schema>Invoice data from the ERP</pdfaSchema:schema>
    ...
  </rdf:Description>
</rdf:li>

<!-- Атрибутная краткость: текстовые поля атрибутами, список остаётся элементом -->
<rdf:li>
  <rdf:Description pdfaSchema:schema="Invoice data from the ERP"
      pdfaSchema:namespaceURI="http://ns.example.com/invoice/1.0/"
      pdfaSchema:prefix="inv">
    <pdfaSchema:property>...</pdfaSchema:property>
  </rdf:Description>
</rdf:li>

PDFium Component хранит то написание, что пришло. Каждое значение в TPdfXmpPacket, который возвращает TPdf.ReadXmpPacket, запоминает rdf:parseType своего исходного элемента — Resource, Literal или Collection, — и ToXml пишет его обратно; структура без записи уходит с rdf:parseType="Resource". Тот писатель обслуживает SaveAsWithXmpPacket и NormalizePdfAMetadata — вызов, приводящий записи Info и их XMP-эквиваленты в соответствие, — и extension-блок в любом из трёх написаний валидируется одинаково до и после цикла чтение-сохранение. Новые записи пишите краткой формой. Каждое поле остаётся элементом, что держит правки единообразными, и это совпадает с записью pdfaid, которую пишет SaveAsPdfA

Добавление своего описания в уже имеющийся контейнер

Влейте новую запись в существующий rdf:Bag. Один контейнер на пакет. XMP-парсер veraPDF отвергает пакет со вторым элементом pdfaExtension:schemas (Duplicate property or field node 'pdfaExtension:schemas'), и провалы падают на общие правила метаданных. Каждому свойству нужны имя, тип значения, категория и описание — записи, которые заполняет счёт Factur-X, чтобы объявить свои свойства fx в extension-схеме. Листинг вживляет элемент краткой формы перед </rdf:Bag>, который ToXml пишет на собственной строке контейнера. Элемент сам объявляет pdfaSchema и pdfaProperty, поэтому парсится одинаково, куда бы ни лёг

const
  ExtensionNs = 'http://www.aiim.org/pdfa/ns/extension/';
  ContainerEnd = '</rdf:Bag></pdfaExtension:schemas>';
  TopDescriptionEnd = '</rdf:Description>'#10' </rdf:RDF>';

function InvoiceSchemaItem: string;
begin
  Result := '<rdf:li rdf:parseType="Resource"' +
    ' xmlns:pdfaSchema="http://www.aiim.org/pdfa/ns/schema#"' +
    ' xmlns:pdfaProperty="http://www.aiim.org/pdfa/ns/property#">' +
    '<pdfaSchema:schema>Invoice data from the ERP</pdfaSchema:schema>' +
    '<pdfaSchema:namespaceURI>' + InvoiceNs + '</pdfaSchema:namespaceURI>' +
    '<pdfaSchema:prefix>inv</pdfaSchema:prefix>' +
    '<pdfaSchema:property><rdf:Seq><rdf:li rdf:parseType="Resource">' +
    '<pdfaProperty:name>InvoiceNumber</pdfaProperty:name>' +
    '<pdfaProperty:valueType>Text</pdfaProperty:valueType>' +
    '<pdfaProperty:category>external</pdfaProperty:category>' +
    '<pdfaProperty:description>Invoice number assigned by the ERP' +
    '</pdfaProperty:description>' +
    '</rdf:li></rdf:Seq></pdfaSchema:property></rdf:li>';
end;

// Истинно, когда запись схемы описывает Uri, в любом написании
function DescribesNamespace(const V: TPdfXmpValue; const Uri: string): Boolean;
var
  Q: Integer;
begin
  for Q := 0 to High(V.Qualifiers) do      // поля как атрибуты на rdf:li
    if (V.Qualifiers[Q].Name = 'namespaceURI') and
       (string(V.Qualifiers[Q].Value) = Uri) then
      Exit(True);
  Result := (Pos('>' + Uri + '</', string(V.RawXml)) > 0) or    // элементы
    (Pos('namespaceURI="' + Uri + '"', string(V.RawXml)) > 0);   // атрибуты
end;

// Возвращает новый пакет; освобождает вызывающий
function WithInvoiceSchema(Packet: TPdfXmpPacket): TPdfXmpPacket;
var
  Xml: string;
  Index, J, P: Integer;
  HasContainer: Boolean;
begin
  HasContainer := Packet.TryGetProperty(ExtensionNs, 'schemas', Index);
  if HasContainer then
    for J := 0 to High(Packet.Properties[Index].Values) do
      if DescribesNamespace(Packet.Properties[Index].Values[J], InvoiceNs) then
        Exit(Packet.Clone);                // уже описано
  Xml := Packet.ToXml;
  P := Pos(ContainerEnd, Xml);
  if P > 0 then
    Insert(InvoiceSchemaItem, Xml, P)      // влиться в существующий bag
  else if HasContainer then
    raise EPdfXmpError.Create('Extension container uses an unexpected prefix')
  else
  begin
    P := Pos(TopDescriptionEnd, Xml);
    if P = 0 then
      raise EPdfXmpError.Create('Unexpected XMP packet layout');
    Insert('<pdfaExtension:schemas xmlns:pdfaExtension="' + ExtensionNs +
      '"><rdf:Bag>' + InvoiceSchemaItem + ContainerEnd + #10'  ', Xml, P);
  end;
  Result := TPdfXmpPacket.Parse(Xml);
end;

procedure TagInvoice(const SourceFile, TargetFile, InvoiceNo: string);
var
  Pdf: TPdf;
  Packet, Described: TPdfXmpPacket;
  Written: TFileStream;
begin
  Pdf := TPdf.Create(nil);
  try
    Pdf.FileName := SourceFile;
    Pdf.Active := True;
    Packet := Pdf.ReadXmpPacket;
    if Packet = nil then
      raise Exception.CreateFmt('%s has no XMP packet', [SourceFile]);
    Described := nil;
    try
      Packet.SetSimpleValue(InvoiceNs, 'inv', 'InvoiceNumber', InvoiceNo);
      Described := WithInvoiceSchema(Packet);
      if not Pdf.SaveAsWithXmpPacket(TargetFile, Described) then
        raise Exception.CreateFmt('Could not write %s', [TargetFile]);
    finally
      Described.Free;
      Packet.Free;
    end;
  finally
    Pdf.Free;
  end;
  Written := TFileStream.Create(TargetFile, fmOpenRead or fmShareDenyWrite);
  try
    PrintExtensionIssues(Written);         // из первого листинга
  finally
    Written.Free;
  end;
end;

Ожидается: для исходника PDF/A-1, -2 или -3, записанного SaveAsPdfA, TagInvoice печатает строку соответствия и ни одно из четырёх значений об extension-схемах, с записью счёта краткой формы рядом с записью pdfaid. Второй прогон оставляет bag в покое, каким бы написанием ни вышла существующая запись: DescribesNamespace ищет в RawXml, а для атрибутов на пустом rdf:li — в квалификаторах. Контейнер под другим префиксом поднимает исключение, поскольку свежий был бы тем дублем, который отвергает veraPDF. Когда ERP добавит срок оплаты, расширьте существующую последовательность pdfaSchema:property

Проверяет ли PDF/A-4 extension-схемы вообще?

Нет. ISO 19005-4 §6.7.2.1 держит лишь правила уровня пакета: ключ Metadata каталога, устаревшие заголовочные атрибуты bytes и encoding, корректный XML и UTF-8. Неописанное свойство, описание под nonpdfaSchema и описание без pdfaSchema:schema — всё оставляет файл соответствующим в профиле veraPDF PDF/A-4, а PDFium Component гоняет свои четыре проверки extension-схем, только когда pdfaid:part равен 1, 2 или 3. Идентификационная схема хранит свои правила везде. По §6.7.3 части 4 её пространство имён всё ещё обязано быть привязанным к pdfaid, а набор её свойств растёт с частью: part, conformance и, с Amendment 1 2007 года, amd в части 1, corr начиная с ISO 19005-2 §6.6.4, rev в части 4. Неверный префикс сообщается как pvaiXmpIdPrefixWrong, а лишнее имя как pvaiXmpIdPropertyUnknown в каждой части

Чтобы сравнить части на одном документе, меняйте пакет и больше ничего: вставьте привязку пространства имён внутрь XMP и удалите столько же байтов пробельных символов между тегами, чтобы /Length, смещения перекрёстных ссылок и заголовок %PDF-2.0 остались на месте. Переписка pypdf может вернуть файл PDF/A-4 с заголовком %PDF-1.3, чьи провалы похоронят результат по метаданным. Для производственного вывода пишите описание и в пакеты PDF/A-4: это несколько сотен байтов, валидатор PDFium Component в части 4 его не трогает, а пакет позже может переехать в PDF/A-3-сдачу без изменений