Artículo técnico

Extraer texto PDF en Delphi: espacios y saltos de línea

El fragmento de content stream [(Reference)-333(Manual)] TJ pinta dos palabras con un hueco claro entre ellas, y sin embargo no contiene ningún carácter de espacio. El hueco es movimiento de pluma: ISO 32000-1 §9.4.3 le dice al lector que corra el siguiente glifo a la derecha 333 milésimas del tamaño de fuente antes de dibujar Manual. Un extractor que copia caracteres e ignora la geometría devuelve ReferenceManual, y un índice de búsqueda alimentado de él jamás va a encontrar la frase “Reference Manual”. La salida de TeX, muchos archivos de Distiller y la mayoría de los layouts justificados separan palabras de esta manera

Los saltos de línea salen mal desde el otro lado. Un superíndice elevado parte su línea en dos, una marca de agua diagonal de DRAFT llega un carácter por línea, y una prueba recortada encabeza con la línea de slug de la impresora que ningún visor muestra. Ninguno de estos archivos está roto. Cada uno usa una manera legal de colocar texto que un extractor que copia caracteres lee mal

Espacios de palabra reconstruidos desde la geometría de los glifos

THotPDF.ExtractLoadedPageText en HotPDF Delphi Component decide los saltos de palabra desde posiciones de glifo, y un carácter de espacio en el stream es solo una de las señales que lee. A lo largo de la dirección de escritura del glifo anterior mide la distancia desde el fin del ancho propio de ese glifo hasta el origen del glifo actual, e inserta un espacio cuando la distancia excede 0.15 de la altura de la caja del glifo actual, medida de ascendente a descendente en user space. Para el fragmento TJ de arriba, un tercio de em se sienta cómodamente pasado esa línea para cualquier cara de texto ordinaria, así que el texto de la página lee Reference Manual

Dos condiciones retienen el espacio. Nada se agrega cuando el texto hasta el momento ya termina en un blanco o el siguiente glifo es uno (espacio, tabulador, espacio de no ruptura, espacio ideográfico), así que los productores que sí muestran espacios jamás reciben dobles. Tampoco se agrega nada entre dos caracteres CJK. Los ideogramas, los kana, el hangul y las formas de ancho completo cuentan todos, porque la justificación estira una línea china o japonesa sin que ese estiramiento signifique un límite de palabra. Separado de ambos, una caja de glifo de altura cero cae al tamaño Tf como su altura. Cada número que la regla usa queda guardado en los registros de glifo, así que un archivo cuyo espaciado se vea mal se puede reproducir glifo por glifo

uses
  SysUtils, HPDFDoc, HPDFContentStream;

// Imprime los huecos que ExtractLoadedPageText convertiría en espacios.
// Solo texto horizontal; ExtractLoadedPageGlyphs devuelve el
// content stream de la página sin texto de Form XObject y sin el filtro de crop
procedure DumpWordGaps(Pdf: THotPDF; PageIndex: Integer);
var
  Glyphs: THPDFGlyphArray;
  I: Integer;
  Height, Gap: Double;
begin
  if not Pdf.ExtractLoadedPageGlyphs(PageIndex, Glyphs) then
    Exit;
  for I := 1 to High(Glyphs) do
  begin
    if Glyphs[I].Vertical or Glyphs[I - 1].Vertical then
      Continue;
    // altura de ascendente a descendente de la caja del glifo, en user space
    Height := Sqrt(Sqr(Glyphs[I].QuadX[3] - Glyphs[I].QuadX[0]) +
      Sqr(Glyphs[I].QuadY[3] - Glyphs[I].QuadY[0]));
    if Height <= 0 then
      Height := Abs(Glyphs[I].FontSize);
    // hueco desde el fin del ancho propio del glifo anterior
    Gap := Glyphs[I].BaselineStartX - Glyphs[I - 1].GlyphEndX;
    if (Height > 0) and (Gap > 0.15 * Height) then
      Writeln(Format('U+%.4x gap %.2f height %.2f: space',
        [Glyphs[I].Unicode, Gap, Height]));
  end;
end;

¿Por qué medir desde el ancho propio del glifo en lugar de la posición de la pluma?

Porque la posición de la pluma tras un glifo ya contiene espaciado que no tiene nada que ver con saltos de palabra. ISO 32000-1 §9.4.4 define el desplazamiento horizontal como el ancho del glifo por el tamaño de fuente, más el character spacing Tc, más el word spacing Tw, todo escalado por el horizontal scaling Tz. Cada registro de glifo carga ambos extremos: BaselineEndX / BaselineEndY sostienen ese desplazamiento completo, mientras que GlyphEndX / GlyphEndY sostienen solo el avance de la fuente al tamaño actual y el Tz. Los dos divergen en archivos que aprietan el tracking con un Tc negativo y devuelven el espacio mediante un ajuste TJ tras cada glifo. Medido desde la pluma, cada devolución parece un hueco, y un término chino como “95后” sale como “9 5 后”. Medido desde el ancho propio del glifo, el ajuste solo devuelve lo que el Tc se llevó, y el término queda intacto

El umbral está atado a la altura de la caja del glifo en lugar del tamaño Tf por una razón emparentada. Las exportaciones de Word suelen escribir 1 Tf y cargar el tamaño real en un Tm escalado, así que el operando de tamaño de fuente lee 1 mientras el texto mide 10 puntos. Una regla atada a ese operando pondría el umbral en 0.15 puntos en semejante página, y los pares de kerning ordinarios empezarían a leerse como saltos de palabra. La altura de la caja se mide después de aplicar cada matriz, así que 1 Tf con matriz escalada y un 10 Tf plano producen el mismo texto

La regla de espacio de palabra de HotPDF para ExtractLoadedPageText en Delphi: un espacio se inserta solo cuando la distancia desde el GlyphEndX del glifo anterior al BaselineStartX del siguiente excede 0.15 de la altura de la caja de ascendente a descendente, porque la posición de la pluma en BaselineEndX ya contiene Tc, Tw y Tz y convuelve devoluciones de tracking justificado en huecos falsos como 9 5 后
La geometría, no los caracteres de espacio, decide dónde se parten las palabras — los registros de glifo exponen las mismas mediciones, así que usted puede reproducir la decisión para cualquier archivo desconcertante

Dos casos borde se siguen directo de la geometría. Un encabezado compuesto con interletrado muy suelto, donde el Tc solo abre más de 0.15 de la altura del texto entre letras, se extrae como S P A C E D. Eso es lo que la página se ve, y preferimos devolverlo antes que agregar una heurística que adivine qué huecos anchos son tracking y cuáles son palabras; una adivinanza de ese tipo empieza a tragarse saltos de palabra reales en columnas estrechamente justificadas, que es un fallo peor para la búsqueda. Piezas dibujadas fuera de orden sobre una misma línea base producen un hueco negativo y se unen sin espacio. En texto corrido ese caso es raro

¿Cuándo empieza una línea nueva en el texto extraído?

ExtractLoadedPageText empieza una línea nueva cuando el movimiento desde el origen del glifo anterior al actual, proyectado sobre la normal de la dirección de escritura anterior, excede la mitad de la altura de caja mayor de los dos glifos. El movimiento a lo largo de la línea base jamás cuenta hacia un salto de línea, por lejos que salte la pluma

Una regla que compare el movimiento Y crudo con la mitad del tamaño Tf falla en dos direcciones. Con 1 Tf y un Tm escalado el umbral se encoge a media unidad, así que un superíndice elevado por un text rise de 0.4 parte la línea. También la parte el pequeño jitter de línea base que algunos motores de layout dejan entre runs. La misma regla ignora la X por completo. Texto bajo un Tm rotado, como aquella marca de agua diagonal, baja por la página con cada glifo y sale un carácter por línea, mientras que la proyección trata una corrida de 45 grados exactamente como una horizontal

Tomar la mayor de las dos alturas importa cuando los tamaños se mezclan en una línea. Una palabra de despliegue de 36 puntos seguida de una leyenda de 8 puntos unos puntos más abajo se juzga contra la mitad de la altura del glifo grande, así que el par se queda junto; juzgada contra el glifo pequeño solo, la leyenda aterrizaría en una línea propia. El text rise es parte del origen del glifo, por eso la línea base elevada de un superíndice se mide contra esa misma mitad de altura

Cómo ExtractLoadedPageText de HotPDF decide los saltos de línea en Delphi: el movimiento entre orígenes de glifo se proyecta sobre la normal de la dirección de escritura y se compara con la mitad de la altura de caja mayor, así que un superíndice elevado por un text rise pequeño bajo una fuente 1 Tf y un texto que baja por la página bajo un Tm rotado no se parten en un glifo por línea
La proyección hace que las corridas rotadas se comporten como horizontales, y tomar la mayor de las dos alturas de caja mantiene una palabra de muestra grande y su leyenda pequeña en una línea

El texto vertical en modo de escritura 1 (§9.7.4.3) toma un camino separado. Esos glifos se agrupan en columnas por su X de origen, con la mitad del tamaño de fuente como tolerancia de columna, luego se leen de derecha a izquierda y de arriba abajo, con un salto de línea en cada cambio de columna. Una página que mezcla un cuerpo japonés vertical con un encabezado corrido horizontal también recibe un salto de línea en cada cambio entre las dos direcciones

Qué glifos entran al texto de la página

ExtractLoadedPageText devuelve el texto que un visor muestra. Conserva solo los glifos cuyo centro de caja cae dentro de GetLoadedPageVisibleBox, que es el CropBox recortado al MediaBox (§14.11.2), así que las líneas de slug y otras marcas de impresora puestas como texto fuera del área de corte se caen. ExtractLoadedPageGlyphs sigue devolviendo cada glifo del content stream de la página, línea de slug incluida, para los trabajos que la necesitan. El filtro es una prueba geométrica sobre un punto por glifo. El texto escondido por un clipping path, pintado de blanco o cubierto por una imagen igual sale, porque decidir visibilidad real significaría renderizar la página

uses
  SysUtils, HPDFDoc, HPDFContentStream;

var
  Pdf: THotPDF;
  Raw, Merged: THPDFGlyphArray;
  PageText: UnicodeString;
  L, B, R, T: Single;
begin
  Pdf := THotPDF.Create(nil);
  try
    Pdf.LoadFromFile('trimmed-proof.pdf');
    if Pdf.GetLoadedPageVisibleBox(0, L, B, R, T) then
      Writeln(Format('Visible box: %.1f %.1f %.1f %.1f', [L, B, R, T]));
    // cada glifo del content stream de la página, slug line incluida
    if Pdf.ExtractLoadedPageGlyphs(0, Raw) then
      Writeln(Length(Raw), ' glyphs in the page content stream');
    // stream de página más texto de Form XObject, en orden de pintado, antes del crop
    if Pdf.ExtractLoadedPageGlyphsWithForms(0, Merged) then
      Writeln(Length(Merged), ' glyphs including forms');
    // lo que la página muestra: forms empalmados, glifos fuera del crop descartados
    if Pdf.ExtractLoadedPageText(0, PageText) then
      Writeln(PageText);
    // las mismas reglas de espaciado aplicadas al stream sin filtrar, para un diff
    Writeln(HPDFAssemblePageText(Raw));
  finally
    Pdf.Free;
  end;
end.

El texto pintado a través de Form XObjects es parte del texto de la página. Los encabezados, los sellos y las marcas de agua viven muy a menudo en forms, y un extractor que lee solo el content stream de la página jamás los ve. HotPDF registra cada Do junto con el CTM vigente, interpreta el form en su /Matrix por ese CTM (§8.10.1), y empalma los glifos del form en la posición del Do, recursando en forms anidados. Un form sin /Resources propio pide prestadas las del stream que lo pinta, el arreglo más viejo que §7.8.3 describe. Los glifos cuyo centro cae fuera del /BBox del form se dejan fuera, ya que esa caja recorta el form cuando se pinta. Un form que se pinta a sí mismo, directo o a través de otro form, no se entra una segunda vez, y el anidamiento se detiene a 12 niveles

Los glifos de form cargan TokenIndex = -1 y ItemIndex = -1. La misma razón mantiene a ExtractLoadedPageGlyphs limitado a glifos del stream de página: la búsqueda, el reemplazo y la redacción escriben sus cambios de vuelta a través de TokenIndex, y un glifo de form en ese arreglo los apuntaría a bytes de un stream distinto. Cuando usted necesita la lista fusionada a nivel de glifo, ExtractLoadedPageGlyphsWithForms la devuelve en orden de pintado, antes de que corra el filtro de caja visible

Una pasada más corre antes de las reglas de espaciado. Los logos sobreimpresos y las negritas falsificadas pintando el mismo texto dos veces con un pequeño offset se extraerían de otro modo con cada letra doblada. Cuando un glifo pinta el mismo carácter al mismo tamaño dentro de una décima de ese tamaño a lo largo de la línea base, y una quinta parte a lo ancho de ella, de un glifo anterior, solo se conserva una copia; los espacios jamás se quitan de esta manera. El artículo sobre fake bold y glifos duplicados en la extracción de texto recorre ese caso

Qué glifos incluye HotPDF al extraer texto de página PDF en Delphi: ExtractLoadedPageText conserva solo los glifos cuyo centro de caja cae dentro de GetLoadedPageVisibleBox, el CropBox recortado al MediaBox, así que las líneas de slug de la impresora desaparecen, mientras que los glifos de Form XObject se empalman en cada posición Do con TokenIndex en -1 y la API a nivel de glifo sigue devolviendo todo
La prueba de caja visible mira únicamente el centro de cada glifo — el texto blanco, el texto detrás de un clipping path y el texto cubierto igual salen, y el texto de forms cuenta como texto de la página

Estado de texto a través de q y Q

El texto después de un Q se decodifica mal en cualquier extractor que guarde solo el CTM en el q. Los parámetros de estado de texto, o sea fuente, tamaño, Tc, Tw, Tz, TL, modo de renderizado y rise, pertenecen al graphics state (§9.3.1), así que el Q tiene que restaurarlos junto con todo lo demás del stack (§8.4.2). Un patrón expone el error rápido: una fuente de dos bytes Identity-H se selecciona dentro de q … Q para una sola celda de tabla, y el texto después del Q muestra strings WinAnsi de un byte sin un Tf propio. Un intérprete que conserva la fuente interna lee esos bytes en pares, y los puntos conductores de una tabla de contenido se convierten en una sarta de caracteres CJK sin relación. El intérprete de HotPDF apila los ocho valores de estado de texto junto con el CTM en cada q y los desapila en cada Q

Todo lo de arriba aplica en cada página, así que un documento completo puede irse a un archivo UTF-8 en una llamada. ExtractLoadedPagesTextToStream toma un rango de páginas base 1 (un string vacío significa todas las páginas), un separador escrito entre páginas, y un flag para la marca de orden de bytes, y devuelve el número de páginas extraídas. La salida se anexa en la posición actual del stream, así que nada mayor que el texto de una página se sostiene en memoria

uses
  SysUtils, Classes, HPDFDoc;

var
  Pdf: THotPDF;
  Output: TFileStream;
  Pages: Integer;
begin
  Pdf := THotPDF.Create(nil);
  try
    Pdf.LoadFromFile('report.pdf');
    Output := TFileStream.Create('report.txt', fmCreate);
    try
      // rango vacío = todas las páginas; form feed entre páginas; BOM UTF-8
      Pages := Pdf.ExtractLoadedPagesTextToStream(Output, '', #12, True);
      Writeln(Pages, ' pages extracted');
    finally
      Output.Free;
    end;
  finally
    Pdf.Free;
  end;
end.

Elegir la API de texto para el trabajo

Para búsqueda e indexación, ExtractLoadedPageText es el alimento correcto: sigue el orden del content stream y refleja lo que la página muestra. La cadena de decodificación debajo de él, de los mapas /ToUnicode a las fuentes CID, está cubierta en extraer texto de PDFs cargados con HotPDF. El orden del content stream es más débil en documentos etiquetados cuyo productor escribió el encabezado corrido al final o intercaló dos columnas; para esos, la extracción de texto en orden de estructura recorre el árbol de estructura en orden de autoría en lugar de inferirlo de la geometría. Los datos atrapados en tablas quedan mejor servidos por la extracción de tablas tipadas a través de saltos de página, que devuelve celdas con sus valores. El código que edita la página pertenece a ExtractLoadedPageGlyphs, cuyos índices de token apuntan a los bytes que va a reescribir

Los campos de registro de glifo usados en estos ejemplos, junto con el resto de la API de extracción de texto y una build de prueba, están documentados en la página del producto HotPDF Delphi PDF Component