Artículo técnico

Extracción estructurada de texto PDF en Delphi con PDFium

Un artículo de congreso a dos columnas ordenado por posición vertical vuelve con una primera línea como Abstract We measure the 2 Related work Earlier studies: las palabras iniciales de la columna izquierda y las palabras iniciales de la columna derecha, pegadas porque ambas se apoyan en la misma línea base. Nada falló en el parser. Una página PDF ofrece dos órdenes defendibles para su texto, la secuencia en que el flujo de contenido lo pinta y la posición de cada glifo en la página, y en muchos maquetados esos dos órdenes discrepan. Un extractor que devuelve bloques posicionados en lugar de una sola cadena le permite ver qué orden obtuvo y cambiar cuando es el equivocado para la página que tiene delante

Qué devuelve GetStructuredText

TPdf.GetStructuredText en PDFium Component devuelve una TPdfStructuredTextPage para la página actual: un array de bloques, cada bloque un array de líneas, cada línea un array de tramos con estilo. Cada nivel lleva su propio Text y un rectángulo Bounds en espacio de página en puntos PDF, así que un titular, una sola línea o una frase en negrita se pueden localizar en la página sin una segunda búsqueda. El record de página añade Width, Height, CharacterCount y dos contadores de calidad descritos más abajo

El Page.Text aplanado se construye desde los bloques y no desde el flujo bruto de caracteres. Las líneas dentro de un bloque se unen con un único CRLF y los bloques se separan con una línea vacía, lo que significa que un volcado de texto plano de Page.Text ya muestra dónde trazó el extractor sus límites de bloque. Eso lo convierte en lo más rápido de imprimir cuando una página lee extraña

Diagrama de la jerarquía de texto estructurado de PDFium extraída en Delphi: página, bloques, líneas y tramos con estilo que llevan bounds e índices de caracteres de origen
GetStructuredText devuelve una página de bloques, cada uno con líneas y tramos con estilo, con bounds en espacio de página e índices de caracteres de origen en cada nivel

Todo esto se maneja con un record pequeño de opciones. TPdfStructuredTextOptions.Default fija ReadingOrder en roPhysicalLayout, activa IncludeFontInfo y IncludeSemantics, y pone MaxCharacters en 1.000.000. El campo de orden de lectura es el que más cambia la forma de la salida

Cómo los dos órdenes de lectura construyen líneas y bloques

roContentOrder conserva la secuencia de dibujo del productor, mientras que roPhysicalLayout reconstruye el orden desde las posiciones de los glifos, y la diferencia se ve primero en cómo se forman las líneas. En orden de contenido, los caracteres se toman en el orden en que la página los dibuja. Una línea nueva empieza en un salto de línea explícito o cuando el siguiente carácter deja de solaparse verticalmente con la línea actual. Una línea se une entonces al bloque inmediatamente anterior solo si ambos se solapan horizontalmente al menos una quinta parte del ancho más estrecho y el hueco vertical no pasa de unas dos alturas de línea y cuarto; si no, abre un bloque nuevo. Los bloques se quedan en orden de dibujo

El layout físico tira la secuencia de dibujo. Cada carácter con caja conocida se ordena por el centro vertical de esa caja, primero la parte alta de la página, y después por su borde izquierdo. Los caracteres cuyos extremos verticales se solapan lo bastante comparten línea, y ese test mira solo la altura. La distancia horizontal no juega en él. Cada línea se une entonces al bloque ya existente en cualquier parte de la página que mejor le encaje por la misma regla de solape y hueco, y los bloques terminados se ordenan por su borde superior, con el borde izquierdo deshaciendo empates dentro de medio punto

Esa segunda regla es de donde viene el ejemplo inicial. Cuando las dos columnas de un artículo comparten una retícula de líneas base, la primera línea de la columna izquierda y la primera de la derecha se solapan verticalmente, así que el layout físico las pone en una línea. El hueco en el canal es más ancho que un cuarto del tamaño de fuente, así que el extractor inserta un espacio y sigue. Cada línea del cuerpo hace lo mismo, las líneas fusionadas se solapan todas entre sí horizontalmente, y el cuerpo entero a dos columnas se convierte en un único bloque ancho que lee directo a través del canal

Diagrama comparando los órdenes de lectura roPhysicalLayout y roContentOrder para la misma página PDF a dos columnas en el componente PDFium para Delphi
La misma página a dos columnas puede recorrerse en secuencia de dibujo o por posición de glifo, y la opción ReadingOrder decide qué recorrido obtiene

El orden de contenido maneja bien esa página siempre que el productor escribiera la columna uno antes de la dos, que es lo que suelen hacer los procesadores de texto y los sistemas de composición. Las líneas de la columna izquierda se apilan en bloques, la primera línea de la columna derecha no tiene solape horizontal con ellos y abre un bloque fresco, y los bloques salen en el orden en que los escribió el autor. El layout físico gana su sitio en otra clase de página: facturas, estados de cuenta, formularios y diapositivas, donde una etiqueta y su valor se apoyan en la misma línea base y leer la fila de izquierda a derecha es justo lo que se quiere. Es también el modo a usar cuando la secuencia de dibujo no significa nada, por ejemplo texto pintado fuente a fuente o una página ensamblada de muchas superposiciones pequeñas

Para una colección mixta, reparta la elección por tipo de documento. Artículos, informes y manuales de una herramienta de autoría conocida van por roContentOrder; formularios y documentos transaccionales se quedan en el valor por defecto roPhysicalLayout. La siguiente rutina imprime los bloques de una página en orden de contenido, con titulares marcados cuando el fichero está etiquetado

uses
  SysUtils, PDFium;

procedure DumpBlocks(Pdf: TPdf; PageNumber: Integer);
var
  Options: TPdfStructuredTextOptions;
  Page: TPdfStructuredTextPage;
  B, L: Integer;
begin
  Pdf.PageNumber := PageNumber;                 // 1-based
  Options := TPdfStructuredTextOptions.Default;
  Options.ReadingOrder := roContentOrder;      // productores columna a columna

  Page := Pdf.GetStructuredText(Options);
  if Page.Source = rosStructure then
    Writeln('block kinds come from the structure tree')
  else
    Writeln('block kinds are inferred from layout');

  for B := 0 to High(Page.Blocks) do
  begin
    if Page.Blocks[B].Kind = cfHeading then
      Writeln(Format('[%d] H%d  %s',
        [B, Page.Blocks[B].HeadingLevel, Page.Blocks[B].Text]))
    else
    begin
      Writeln(Format('[%d] x=%.0f..%.0f, %d line(s)',
        [B, Page.Blocks[B].Bounds.Left, Page.Blocks[B].Bounds.Right,
         Length(Page.Blocks[B].Lines)]));
      for L := 0 to High(Page.Blocks[B].Lines) do
        Writeln('      ', Page.Blocks[B].Lines[L].Text);
    end;
  end;
end;

¿Cómo detecta una línea que cruza el canal?

Una línea fusionada se delata por sus tramos. GetStructuredText inicia un tramo nuevo siempre que el siguiente carácter no sea el sucesor directo del anterior en la secuencia de caracteres original de la página, además de los cambios de estilo cubiertos más abajo. Dentro de una columna, las palabras consecutivas suelen ser consecutivas en el origen. En el canal de una línea fusionada el índice de origen salta cientos de caracteres, y el hueco horizontal entre los dos tramos es mucho más ancho que cualquier espacio de palabra

Esas dos señales juntas hacen un test fiable, y puede ejecutarlo sobre la salida por defecto antes de decidir si una página necesita orden de contenido en su lugar. La instantánea de datos de caracteres que GetStructuredText lee se guarda en caché por página, ocho páginas por defecto, así que pedir la misma página una segunda vez con un ReadingOrder distinto reagrupa datos ya en memoria en lugar de extraer la página otra vez

// LineCrossesGutter es un ayudante que añade usted: marca una línea que lleva dos
// tramos vecinos muy separados en la página y no adyacentes en la
// secuencia de caracteres de origen
function LineCrossesGutter(const Line: TPdfStructuredTextLine;
  MinGap: Double): Boolean;
var
  S: Integer;
  Prev, Cur: TPdfStructuredTextSpan;
begin
  Result := False;
  for S := 1 to High(Line.Spans) do
  begin
    Prev := Line.Spans[S - 1];
    Cur := Line.Spans[S];
    if (Prev.SourceStartIndex < 0) or (Cur.SourceStartIndex < 0) then
      Continue;                                 // bloques de texto alternativo
    if (Cur.Bounds.Left - Prev.Bounds.Right > MinGap) and
       (Cur.SourceStartIndex <>
        Prev.SourceStartIndex + Prev.SourceCharacterCount) then
      Exit(True);
  end;
end;

function ExtractWithFallback(Pdf: TPdf): TPdfStructuredTextPage;
var
  Options: TPdfStructuredTextOptions;
  B, L, Lines, Crossing: Integer;
begin
  Options := TPdfStructuredTextOptions.Default;   // roPhysicalLayout
  Result := Pdf.GetStructuredText(Options);

  Lines := 0;
  Crossing := 0;
  for B := 0 to High(Result.Blocks) do
    for L := 0 to High(Result.Blocks[B].Lines) do
    begin
      Inc(Lines);
      if LineCrossesGutter(Result.Blocks[B].Lines[L], 18) then
        Inc(Crossing);
    end;

  // un cuarto de las líneas cruzando un hueco parece columnas, no filas de formulario
  if (Lines > 0) and (Crossing * 4 >= Lines) then
  begin
    Options.ReadingOrder := roContentOrder;
    Result := Pdf.GetStructuredText(Options);
  end;
end;

Dieciocho puntos son un cuarto de pulgada, holgadamente más ancho que un espacio de palabra en texto corrido y más estrecho que la mayoría de los canales. El umbral de una de cada cuatro mantiene una factura con unas pocas filas de etiqueta e importe en el layout físico, mientras que un cuerpo genuino a dos columnas, donde casi cada línea cruza, cambia de modo. Si el productor escribió la página fila a fila a través de ambas columnas, los índices de origen se mantienen contiguos, el test nunca se dispara, y ningún orden separará las columnas por usted; esa página necesita el modo de columnas de la API de contenido legible, descrito en leer dos columnas con un titular que las abarca

¿Qué cambia IncludeSemantics, y qué deja quieto?

IncludeSemantics etiqueta bloques; no los reordena. Con la opción activada, GetStructuredText lee el contenido legible de la página y da a cada bloque la clase del fragmento con el que se solapa por mayor área. Las clases disponibles son cfParagraph, cfHeading con un HeadingLevel, cfListItem, cfTableCell, cfCaption, cfFigure, cfLink, cfOther para cualquier otra etiqueta, y cfPlain cuando nada coincidió. Cada bloque recoge además un Language y un StructElementIndex que lo ata a un elemento del árbol de estructura

El campo Source dice de dónde vino la etiqueta: rosStructure cuando la página tiene un árbol de estructura utilizable en el sentido de ISO 32000-1 §14.7, rosHeuristic cuando las clases se infirieron. Page.Source da la misma respuesta para la página como conjunto. Un titular reportado con rosStructure es un titular porque el autor lo etiquetó; uno reportado con rosHeuristic es una suposición instruida, y un pipeline de indexado que pondere títulos debería tratar a los dos distinto. El orden de los bloques, en ambos casos, sigue viniendo de ReadingOrder. La pasada semántica usa los valores por defecto del contenido legible, así que una configuración de columnas aplicada vía ReadableContentOptions no llega a GetStructuredText

Las figuras reciben una regla extra. En una página etiquetada, un elemento Figure o un texto alternativo que no coincidió con ningún bloque de texto se añade como un bloque propio, llevando la descripción alternativa como su texto. Semejante bloque tiene una única línea y un único tramo con SourceStartIndex a -1, porque ningún glifo de la página lo produjo. El código que mapea tramos de vuelta a caracteres tiene que saltarse ese valor, que es por lo que el test del canal de arriba lo comprueba. Las comprobaciones del árbol de estructura en sí se cubren en validación del árbol de estructura PDF/UA

Tramos, bounds y el camino de vuelta a los caracteres

Cada TPdfStructuredTextSpan lleva su texto, sus bounds, FontName, FontSize, FontWeight y Angle, más SourceStartIndex y SourceCharacterCount. Con IncludeFontInfo activado, un tramo termina donde cambie cualquiera de los cuatro valores de estilo, así que una frase con tres palabras en negrita en el medio llega como tres tramos y el énfasis se puede reconstruir desde FontWeight en lugar de adivinarse por nombres de fuentes. Con IncludeFontInfo desactivado, los campos de estilo se quedan vacíos y los tramos solo se parten donde la secuencia de origen se interrumpe

El ángulo importa en páginas con sellos. Una marca de agua diagonal de DRAFT vive en el mismo espacio de coordenadas que el texto del cuerpo, y en el layout físico sus letras pueden caer sobre líneas del cuerpo que cruzan verticalmente. Los tramos con Angle distinto de cero son fáciles de descartar antes de unir texto para indexar

Los dos campos de origen son los que convierten un resultado de búsqueda en algo que se puede dibujar. Indexan la secuencia de caracteres de la página, así que una frase hallada en un bloque se convierte directamente en cajas de caracteres para un resaltado, usando el enfoque de selección visual de líneas de texto con cajas de caracteres. Cuando el objetivo es la forma reflujada o HTML de la página, los mismos bloques alimentan el modelo de reflow y su exportación HTML

Un presupuesto de caracteres y dos contadores de calidad

MaxCharacters rechaza una página de plano cuando lleva más caracteres de los permitidos. GetStructuredText comprueba el recuento antes de asignar cualquier array de trabajo, y una página demasiado grande lanza EPdfError con el mensaje Structured text character budget exceeded; nunca se devuelve una página parcial. El valor tiene que ser positivo. La instantánea de caracteres por página que lee el método tiene su propio techo por defecto de 1.000.000 de caracteres y 100.000 objetos de texto, reportado como Text snapshot budget exceeded, así que poner MaxCharacters por encima del millón no deja pasar una página mayor

Diagrama del presupuesto fail-closed de MaxCharacters y los dos contadores de calidad que reporta la extracción de texto estructurado de PDFium en Delphi
MaxCharacters actúa como un presupuesto fail-closed, mientras que UnmappedCharacterCount y GeometryFailureCount reportan la calidad de la extracción directamente

UnmappedCharacterCount cuenta los caracteres para los que PDFium no pudo producir ningún valor Unicode. Esos caracteres aparecen como U+FFFD en cada campo Text. La causa habitual es una fuente de subconjunto con codificación propia y sin CMap /ToUnicode, el caso que describe ISO 32000-1 §9.10.2, donde el texto se renderiza correctamente y no se puede extraer de forma fiable. El contador mide solo los mapeos ausentes: un glifo cuya entrada /ToUnicode nombra el punto de código equivocado cuenta como mapeado, así que una página de disparates con pinta plausible puede seguir reportando cero

GeometryFailureCount cuenta los caracteres sin caja utilizable, excluidos los saltos de línea. En orden de contenido esos caracteres simplemente siguen a sus vecinos. En el layout físico no tienen posición por la que ordenarse, así que se colocan después de cada carácter posicionado y acaban pegados a la última línea de la página. Una página con recuento de geometría distinto de cero y fragmentos raros en su última línea está mostrando exactamente eso

// LogRejected y LogQuality son sus propias rutinas de registro
function ExtractForIndex(Pdf: TPdf; PageNumber: Integer;
  out Page: TPdfStructuredTextPage): Boolean;
var
  Options: TPdfStructuredTextOptions;
begin
  Result := False;
  Pdf.PageNumber := PageNumber;
  Options := TPdfStructuredTextOptions.Default;
  Options.MaxCharacters := 200000;              // límite de ingesta para este pipeline
  try
    Page := Pdf.GetStructuredText(Options);
  except
    on E: EPdfError do
    begin
      LogRejected(PageNumber, E.Message);       // presupuesto de caracteres o de snapshot
      Exit;
    end;
  end;

  if Page.UnmappedCharacterCount * 20 > Page.CharacterCount then
    LogQuality(PageNumber, Format('%d of %d characters have no Unicode value',
      [Page.UnmappedCharacterCount, Page.CharacterCount]));
  if (Options.ReadingOrder = roPhysicalLayout) and
     (Page.GeometryFailureCount > 0) then
    LogQuality(PageNumber, Format('%d characters without a box; check the last line',
      [Page.GeometryFailureCount]));
  Result := True;
end;

Para una página que solo necesita como cadena, extraer texto de documentos PDF cubre las llamadas más simples, y leer y escribir contenido marcado BDC y MCID baja una capa por debajo del árbol de estructura. El modelo de página estructurada, el lector de contenido legible y la exportación de reflow se distribuyen todos en el componente para Delphi y Lazarus descrito en la página del producto PDFium Component