En una fuente TrueType que conserva el orden de glifos estándar de Macintosh, la palabra "Total" puede aparecer en un flujo de contenido PDF como <0037005200570044004F> Tj. Esos cinco valores de dos bytes son números de glifo dentro de la fuente incrustada, y nada en la cadena dice que dibujan T, o, t, a y l. Lea esos bytes como UTF-16 y obtiene la cadena 7RWDO, mientras la propia página muestra Total en pantalla, porque dibujar un glifo solo necesita el mapeo de código a glifo, y recuperar el texto necesita un mapeo de código a Unicode que el archivo quizá nunca llevó
¿Por qué el texto extraído sale ilegible?
Un flujo de contenido registra códigos de caracteres, y su significado vive por completo en la fuente. Los operadores Tj y TJ (ISO 32000-1 §9.4.3) transportan cadenas de bytes que se interpretan a través de la fuente que el Tf precedente haya seleccionado: el byte 0x41 es la letra A bajo WinAnsi, un glifo arbitrario en una fuente de subconjunto o la mitad de un CID de dos bytes en una fuente CJK compuesta. La norma ISO 32000-1 §9.10 trata la extracción de texto exactamente como este problema de decodificación, mapear cada código de vuelta a Unicode con lo que el diccionario de fuentes proporcione, y dice sin rodeos que un archivo conforme no está obligado a proporcionar suficiente información para lograrlo
Esa cláusula está detrás de cada informe del tipo "copiar y pegar de este PDF produce basura". Un productor que incrusta una fuente de subconjunto sin tabla /ToUnicode escribió un archivo válido que se renderiza correctamente: los glifos están todos ahí. Lo que falta es el mapa inverso, que un extractor tiene que reconstruir con evidencia secundaria: la codificación declarada de la fuente, los nombres de glifos, las colecciones de caracteres publicadas por Adobe, la tabla cmap dentro del programa de la fuente incrustada. Cuántas de esas pistas intenta una API y qué le entrega cuando todas fallan es, en la práctica, lo que separa a las bibliotecas de extracción
Texto en flujo de lectura con ExtractLoadedPageText
HotPDF Delphi Component devuelve el texto en flujo de lectura de una página cargada a través de function ExtractLoadedPageText(PageIndex: Integer; out AText: UnicodeString): boolean. Los índices de página empiezan en cero, el resultado es una UnicodeString nativa de Delphi, y la función devuelve False cuando la página no tiene un flujo de contenido legible, en lugar de generar una excepción. Funciona con cualquier PDF que cargue: la factura que un cliente le envió por correo, el informe que entregó una oficina de escaneo, el contrato producido por un software que ya nadie puede nombrar
var
Pdf: THotPDF;
PageCount, I: Integer;
PageText, AllText: UnicodeString;
begin
Pdf := THotPDF.Create(nil);
try
PageCount := Pdf.LoadFromFile('invoice.pdf'); // devuelve el número de páginas
AllText := '';
for I := 0 to PageCount - 1 do
if Pdf.ExtractLoadedPageText(I, PageText) then
AllText := AllText + PageText + #13#10;
finally
Pdf.Free;
end;
end;
Para el documento completo en una sola cadena, ExtractLoadedPagesText(PageRange, PageSeparator) acepta un rango de base uno como '1,3-5,7-' (una cadena vacía significa todas las páginas) y coloca PageSeparator, un form feed #12 por defecto, entre página y página. Los documentos grandes van mejor por ExtractLoadedPagesTextToStream, que escribe UTF-8 página por página a un TStream y devuelve cuántas páginas procesó
El texto contiene lo que la página muestra. Los glifos cuyo centro de caja cae fuera del área visible (el crop box dentro del media box) quedan fuera, de modo que las marcas de impresión de una página recortada no se cuelan en su índice. El texto dentro de los Form XObjects que la página pinta se incluye, recortado al /BBox de cada form. Un carácter pintado dos veces en el mismo punto, el viejo truco para simular una negrita, se lee una sola vez; fake bold y glifos duplicados en la extracción de texto recorre cómo se detecta ese caso
Los saltos de línea siguen una regla geométrica simple. Una línea nueva comienza cuando el origen del glifo se mueve en la dirección de escritura más de la mitad de la altura del texto, tomando la mayor entre la altura de ascendente a descendente de este glifo y la del glifo anterior, en unidades de página. Medir la caja del glifo en lugar del operando de tamaño de Tf es la parte que importa: muchos productores dimensionan el texto a través de la matriz de texto y le pasan 1 a Tf, y un umbral construido sobre ese operando se rompería en cada superíndice elevado y pondría cada carácter del texto rotado en su propia línea. Los espacios entre palabras funcionan igual: donde un productor separa palabras moviendo la posición del texto con un ajuste TJ o un Td en lugar de mostrar un espacio, se agrega un espacio cuando la separación tras el ancho del propio glifo anterior supera 0.15 de la altura del glifo, y nunca entre dos caracteres chinos, japoneses o coreanos. Los códigos que el decodificador no puede resolver se convierten en espacios, de modo que los límites de palabra sobreviven incluso cuando los glifos individuales no. El texto horizontal sale en el orden del flujo de contenido; las secuencias CJK verticales se reagrupan en columnas que se leen de derecha a izquierda y de arriba abajo. Espacios entre palabras y saltos de línea en el texto de página cubre esos umbrales
Cuadrícula, columnas u orden de estructura
Cuando la posición lleva significado (tablas, formularios, listados de código, cualquier cosa que vaya a comparar con diff, buscar con grep o analizar por columnas), ExtractLoadedPageTextLayout es la mejor llamada. Agrupa los glifos en líneas base, ordena cada línea base por X y reproduce los espacios en blanco horizontales y verticales en una cuadrícula de caracteres monoespaciados dimensionada a partir del avance de glifo medio y el tamaño de fuente de la página. Los huecos anchos en una línea base se convierten en secuencias de espacios, y los huecos grandes entre líneas base se convierten en líneas en blanco
uses System.IOUtils;
...
var
Grid: UnicodeString;
begin
if Pdf.ExtractLoadedPageTextLayout(0, Grid) then
TFile.WriteAllText('page1.txt', Grid, TEncoding.UTF8);
// Las columnas, la sangría y la alineación de tablas sobreviven como
// espacios y líneas en blanco en una cuadrícula de caracteres
end;
Ambas llamadas decodifican con la misma maquinaria, así que elegir una no cuesta nada en fidelidad. Lo que la cuadrícula no hace es refluir prosa: un artículo de dos columnas sale con ambas columnas lado a lado, fielmente, lo cual está bien para un diff y mal para un resumidor. Otras dos llamadas cubren ese hueco. ExtractLoadedPageTextColumns(PageIndex, AText, ColumnGapMultiplier) divide cada fila allí donde el hueco entre glifos vecinos supera el multiplicador por el avance medio (3.0 por defecto) y separa los trozos con un tabulador. ExtractLoadedPageStructureText(PageIndex, AText, UntaggedGlyphCount) recorre el árbol de estructura de un PDF etiquetado (ISO 32000-1 §14.8.4) y devuelve los runs de marked-content en el orden de autoría; devuelve False cuando la página no tiene un árbol de estructura utilizable, y UntaggedGlyphCount le dice cuántos glifos no pudo ubicar
Para texto que va a leer una persona o un modelo de lenguaje, pruebe primero el orden de estructura y recurra a ExtractLoadedPageText como respaldo. El árbol de estructura es el único orden que el autor declaró a propósito, y cualquier método geométrico es una suposición al lado de eso. Reserve la cuadrícula para los trabajos donde las columnas son datos. Extracción de texto en orden de estructura tiene los detalles de cómo el contenido marcado se empareja con el árbol
¿Cómo decodifica HotPDF los códigos de caracteres a Unicode?
HotPDF Delphi Component resuelve cada código de carácter a través de una cadena de fallbacks ordenada por prioridad, y una estrategia que no puede responder le pasa el código a la siguiente. El CMap /ToUnicode de la fuente (ISO 32000-1 §9.10.3) va primero, porque es el único mapeo que el productor escribió específicamente para la extracción. Después vienen los nombres de glifos de un arreglo /Differences del /Encoding, leídos a través del Adobe Glyph List; luego el propio CMap del /Encoding, incrustado como flujo o con nombre, donde un nombre Uni…-UTF16 significa que el código ya es UTF-16. Las fuentes compuestas continúan por las colecciones de caracteres de Adobe (Adobe-GB1, Adobe-CNS1, Adobe-Japan1, Adobe-Korea1, Adobe-KR) de CID a Unicode, luego por /CIDToGIDMap hacia la tabla cmap del programa de la fuente incrustada, leída en sentido inverso, de glifo a Unicode. Las fuentes simples recurren a las tablas WinAnsi, MacRoman, Standard y MacExpert y finalmente a ese mismo cmap incrustado. Un código que agota la cadena se resuelve en 0
El paso del cmap incrustado es el que rescata a muchas fuentes de subconjunto que vienen sin /ToUnicode: el programa de la fuente normalmente todavía contiene su propio cmap Unicode, y revertirlo recupera la mayor parte del texto. Es una reconstrucción, eso sí. Dos caracteres Unicode que comparten un glifo volverán ambos como el que el cmap liste, así que trate el texto recuperado como bueno para búsqueda e indexación, y verifíquelo antes de usarlo como registro legal
Los datos de colección de Adobe viven en el disco. HotPDF distribuye los archivos CMap y cid2code.txt bajo su carpeta resources\CMap, analiza cada archivo a lo sumo una vez por proceso y guarda el resultado en caché; solo el mapa Adobe-GB1 son unos 2 MB de texto que no quiere analizar por página. Los CMaps predefinidos también existen como tablas integradas, así que una fuente codificada con un CMap con nombre como UniGB-UTF16-H sigue decodificando sin la carpeta. Las tablas CID a Unicode para fuentes CJK Identity-H sí la necesitan. La propiedad CMapResourcePath nombra la carpeta que contiene los subdirectorios de colección; si se deja vacía, HotPDF busca resources\CMap junto al ejecutable y uno o dos niveles más arriba
Pdf := THotPDF.Create(nil);
try
// Carpeta que contiene Adobe-GB1-6, Adobe-CNS1-7, Adobe-Japan1-7 ...
Pdf.CMapResourcePath := 'C:\MyService\resources\CMap';
Pdf.LoadFromFile(FileName);
...
finally
Pdf.Free;
end;
Fije la ruta de forma explícita en cualquier servicio, módulo ISAPI o DLL de plugin. En esos hosts ParamStr(0) nombra el proceso anfitrión, que rara vez es la carpeta a la que desplegó, y una carpeta ausente no genera excepción; las páginas CJK simplemente vuelven con huecos donde las tablas de colección habrían rellenado. Modelado de texto de escritura compleja con HotPDF se encuentra con la misma división entre código y glifo, pero al momento de escribir
Dos trampas de sintaxis de CMap
Los archivos CMap parecen triviales de analizar, y dos detalles hacen tropezar a la mayoría en el primer intento. El recuento de registros viene antes de la palabra clave de la sección: una sección dice 2 beginbfchar, nunca beginbfchar 2. Un analizador que espera el recuento después de la palabra clave se traga el número como un token suelto y luego encuentra cero entradas en cada sección. El lector de HotPDF ignora el recuento por completo y hace un bucle hasta el endbfchar o endbfrange correspondiente, lo que además tolera archivos reales cuyos recuentos declarados están equivocados
La segunda trampa es que los destinos de bfchar y bfrange son cadenas UTF-16BE. El destino <D83DDE00> significa U+1F600, un par de sustitutos que hay que recombinar en un solo punto de código, y leer esos cuatro bytes como un entero big-endian produce un valor sin sentido para cada carácter fuera del Plano Multilingüe Básico, emojis incluidos. HotPDF analiza primero el literal hexadecimal a bytes en bruto y luego recombina las unidades de código UTF-16BE, lo que también cubre los destinos de varios caracteres que producen los mapeos de ligaduras, como un glifo fi que mapea a dos letras
Contar los glifos sin resolver con ExtractLoadedPageGlyphs
ExtractLoadedPageGlyphs(PageIndex, AGlyphs) expone los registros de glifos que están debajo de las llamadas de texto como un THPDFGlyphArray. Cada THPDFGlyphRecord lleva el Code en bruto, su CodeByteWidth (1, 2 o 4, decidido por el codespacerange del CMap), el punto de código Unicode resuelto más un UnicodeSequence para ligaduras, el FontKey y el FontSize activos, el origen X e Y en espacio de usuario, el Advance, un cuadrilátero de cuatro esquinas que envuelve el glifo, y GlyphEndX / GlyphEndY, el final del ancho del propio glifo desde donde se mide la regla de espacios entre palabras. Es suficiente para un resaltado posicionado o un algoritmo de diseño propio
var
Glyphs: THPDFGlyphArray;
I, Unresolved: Integer;
begin
if Pdf.ExtractLoadedPageGlyphs(0, Glyphs) then
begin
Unresolved := 0;
for I := 0 to High(Glyphs) do
if Glyphs[I].Unicode = 0 then
Inc(Unresolved);
if Unresolved > 0 then
ShowMessageFmt('%d of %d glyphs have no Unicode mapping',
[Unresolved, Length(Glyphs)]);
end;
end;
Contar los registros con Unicode = 0 es la forma honesta de juzgar un documento antes de confiar en su texto aguas abajo. Espere que el conteo difiera un poco de lo que ven las llamadas de texto: esta llamada devuelve cada glifo del propio flujo de contenido de la página, incluidos los que quedan fuera del crop box y los duplicados pintados para fake bold, y no desciende a los Form XObjects. Cada registro también guarda TokenIndex, ItemIndex y ByteOffset, que atan el carácter de vuelta a su operando de origen; buscar y reemplazar en un PDF existente está construido sobre esos tres campos
Algunos archivos no tienen texto que dar. Una página escaneada es una sola imagen grande sin operadores de texto, así que la extracción devuelve correctamente una cadena vacía, y el camino a seguir es OCR, empezando por extraer las imágenes de la página del PDF cargado. Los documentos cifrados se extraen con normalidad una vez que se abren con LoadFromFile(FileName, Password), porque los flujos se descifran antes de que el intérprete los lea. Los flujos de fuentes y de contenido se decodifican por la misma cadena de filtros que el resto del documento cargado, y un flujo /ToUnicode que no se puede decodificar cae a la siguiente estrategia mientras el resto de la página sigue extrayéndose. El mismo lector de objetos respalda editar metadatos en documentos cargados, de modo que una pasada de ingesta puede leer texto y corregir metadatos
La extracción en flujo de lectura, en cuadrícula, por columnas y en orden de estructura, más el acceso a nivel de glifo, vienen todos en el HotPDF Delphi Component para Delphi y C++Builder como Object Pascal puro, sin DLL externas ni servicios de texto del sistema operativo, así que cuando un archivo raro aterriza en su cola puede entrar al decodificador y ver qué estrategia respondió por cada código