Artículo técnico

Capa de texto buscable para PDF escaneados en Delphi

Una búsqueda de un número de factura en un PDF escaneado encuentra el resultado, pero el resaltado queda media pulgada a la izquierda de los dígitos impresos y media pulgada por debajo de ellos. Media pulgada son 36 puntos, y la página en cuestión tiene un CropBox de [36 36 576 756]. Quien construyó esa capa de texto convirtió posiciones de píxel en posiciones de página dividiendo entre el ancho del mapa de bits y multiplicando por el ancho de página, lo que supone que el área visible empieza en el origen. En una página con /Rotate 90 la misma fórmula funciona peor: el eje x del mapa de bits ahora corre a lo largo del eje y de la página, y las palabras caen en una parte completamente equivocada de la página

¿Qué es realmente una capa de texto invisible?

Una página escaneada es una sola imagen grande pintada por el flujo de contenido. No hay nada que seleccionar, buscar, copiar o indexar. Una capa de texto buscable agrega objetos de texto ordinarios encima de esa imagen y configura su modo de renderizado de texto en 3, que el ISO 32000-1 §9.3.6 (Tabla 106) define como ni relleno ni trazo: los glifos existen para la selección, la búsqueda y la extracción, y un visor no dibuja nada por ellos. Bien hecho, el lector ve el escaneo original y Ctrl+F encuentra las palabras exactamente donde están impresas

En PDFium Component todo el trabajo es una sola llamada, TPdf.ApplyOcrSearchLayer. Renderiza cada página seleccionada, entrega los píxeles a un proveedor de OCR, filtra las palabras reconocidas por confianza y escribe las sobrevivientes de vuelta como objetos de texto invisibles. La imagen de la página se deja tal cual: el escaneo no se decodifica, recodifica ni reemplaza, así que una imagen JBIG2 o CCITT G4 conserva los bytes comprimidos exactos con los que llegó. El método viene en las ediciones Small Business y Enterprise, así que el proyecto necesita Lib\SmallBusiness en la ruta de búsqueda y FPdfSmallBusiness en una cláusula uses; sin esa unidad la llamada lanza EPdfSmallBusinessRequired

PDFium Component: una capa de texto OCR invisible alineada sobre una página escaneada intacta hace que la selección y la búsqueda funcionen mientras la imagen del PDF permanece idéntica byte a byte
Objetos de texto reales con un modo de renderizado invisible se asientan sobre el escaneo original, así que la selección y la búsqueda aterrizan exactamente en las palabras impresas

Escribir un IPdfOcrProvider

El reconocimiento en sí vive detrás de una interfaz. IPdfOcrProvider.RecognizePage recibe un TPdfOcrImage (número de página, ancho, alto, stride, DPI, formato de píxel y un búfer TBytes de filas BGRA de arriba hacia abajo), más un token de cancelación, y devuelve un arreglo de registros TPdfOcrWord: texto Unicode, una confianza entre 0 y 1, y un cuadrilátero de cuatro esquinas en píxeles de imagen. La edición trae un proveedor listo para usar, CreatePdfTesseractOcrProvider en FPdfOcrTesseract, que se enlaza a una biblioteca Tesseract y a un directorio traineddata que usted suministra. Cualquier otro motor, una API en la nube o un SDK comercial, se conecta mediante una clase como esta:

uses
  System.SysUtils, PDFium, FPdfAsync, FPdfSmallBusiness;

type
  TMyOcrProvider = class(TInterfacedObject, IPdfOcrProvider)
  public
    function RecognizePage(const Image: TPdfOcrImage;
      const CancellationToken: IPdfCancellationToken;
      out Words: TPdfOcrWords; out ErrorMessage: string): Boolean;
  end;

function TMyOcrProvider.RecognizePage(const Image: TPdfOcrImage;
  const CancellationToken: IPdfCancellationToken;
  out Words: TPdfOcrWords; out ErrorMessage: string): Boolean;
var
  I, Count: Integer;
begin
  // Las rutinas Engine* de abajo representan su propio enlace al motor de OCR
  Count := EngineRecognize(Image.Pixels, Image.Width, Image.Height,
    Image.Stride, Image.Dpi);
  CancellationToken.ThrowIfCancelled;   // reportar una cancelación como cancelación

  SetLength(Words, Count);
  for I := 0 to Count - 1 do
  begin
    Words[I].Text := EngineWordText(I);
    // Muchos motores reportan 0..100; la capa espera 0..1
    Words[I].Confidence := EngineWordConfidence(I) / 100;
    Words[I].Quad := TPdfOcrQuad.FromRectangle(
      EngineLeft(I), EngineTop(I), EngineRight(I), EngineBottom(I));
  end;
  ErrorMessage := '';
  Result := True;
end;

Un proveedor que deja pasar el 87.5 de Tesseract tal cual hace que se rechace cada palabra. Tesseract, por ejemplo, reporta la confianza de palabra como porcentaje, y el adaptador incluido la divide antes de devolver; un proveedor propio tiene que hacer lo mismo, porque ApplyOcrSearchLayer trata una confianza mayor que 1 como entrada inválida. El síntoma es inconfundible una vez que sabe dónde buscar: Report.RejectedWordCount iguala Report.DetectedWordCount y el archivo guardado no tiene texto alguno

La llamada al token importa por otra razón. Si el proveedor detecta la cancelación y simplemente devuelve False, la página se registra como popsFailed con el mensaje que usted haya configurado. Llamar a ThrowIfCancelled lanza en cambio EPdfOperationCancelled, que la capa captura y registra como popsCancelled, con Report.Cancelled activado y el bucle detenido. El token nunca es nil dentro de un proveedor; cuando quien llama no pasa ninguno, se suministra un token que nunca se cancela

Cuadriláteros y palabras que la capa rechaza

Los escaneos rara vez quedan cuadrados respecto a la página, así que una palabra en una hoja ligeramente sesgada ocupa un paralelogramo. TPdfOcrQuad lleva puntos TopLeft, TopRight, BottomRight y BottomLeft precisamente para ese caso, y FromRectangle construye la versión alineada a los ejes para los motores que solo reportan cuadros. Una palabra se omite y se cuenta en RejectedWordCount cuando su texto está vacío o excede MaxWordCharacters, cuando su confianza es NaN, está por debajo de MinConfidence o por encima de 1, cuando alguna esquina cae fuera del mapa de bits, o cuando el cuadrilátero se colapsa a una franja más angosta que 0.01 pt después del mapeo

Por qué el escalado proporcional malubica las palabras del OCR

El escalado proporcional solo es correcto cuando la página no tiene entrada /Rotate y su CropBox empieza en (0, 0). Bastantes escaneos fallan alguna de esas condiciones: una hoja horizontal a menudo se guarda como página vertical con /Rotate configurado, y los cuadros de recorte quedan desplazados cuando alguien recorta los márgenes en un editor. El ejemplo inicial es el fallo leve; con rotación el error deja de ser un desplazamiento y se convierte en un eje intercambiado

ApplyOcrSearchLayer envía cada una de las cuatro esquinas por FPDF_DeviceToPage, usando el mismo tamaño de mapa de bits y la misma rotación que produjeron los píxeles que vio el proveedor. La rotación y los desplazamientos del cuadro de recorte quedan así manejados por la misma transformación que usó el renderizador. Las esquinas se redondean a píxeles enteros en la entrada, lo que a los 300 DPI predeterminados es un paso de cuantización de 0.24 pt, muy por debajo de lo que un resaltado de selección puede mostrar

A partir de los puntos mapeados, las esquinas inferior izquierda, inferior derecha y superior izquierda definen una matriz afín. Tres puntos bastan para expresar posición, escala, rotación e inclinación, razón por la cual la cuarta esquina solo se valida y nunca se usa para el ajuste. El objeto de texto se crea con tamaño de fuente 1, se miden sus límites reales, y la matriz mapea esos límites medidos sobre el cuadrilátero objetivo. Adivinar un tamaño de punto desde la altura del cuadrilátero se desviaría con el ascenso y descenso de cada fuente; medir primero hace que el ajuste sea independiente de la fuente que nombra Options.FontName

PDFium Component: FPDF_DeviceToPage mapea cada esquina de palabra OCR individualmente para que los cuadriláteros de texto invisible permanezcan precisos en páginas PDF escaneadas rotadas donde el escalado proporcional ingenuo falla
Cada esquina de palabra recorre la misma transformación de dispositivo a página que usó el renderizador, así que la rotación y los cuadros de recorte desplazados no pueden mover el texto oculto

La fuente sigue importando para la extracción aunque no se dibuje nada. TPdfOcrOptions.Default la configura como Arial. Si esa fuente no se puede cargar, la capa recurre a la Helvetica estándar, una de las 14 fuentes estándar, cuya codificación integrada cubre solo texto latino. Para salida en cirílico, griego o CJK, configure FontName con una fuente instalada que cubra esa escritura

Ejecutar la capa y leer el reporte

ApplyOcrSearchLayer devuelve True solo cuando ninguna página falló y nada se canceló. Ese valor de retorno es lo equivocado para decidir el guardado. Con ContinueOnError en su valor predeterminado True, un trabajo de 300 páginas con una página ilegible devuelve False mientras 299 páginas llevan una capa correcta, y la página fallida ya fue restaurada a como estaba. Decida el guardado por el reporte en su lugar:

var
  Pdf: TPdf;
  Options: TPdfOcrOptions;
  Report: TPdfOcrReport;
  Cancel: IPdfCancellationTokenSource;
  I: Integer;
begin
  Cancel := TPdfCancellationTokenSource.New;  // déjelo donde un botón de cancelar pueda alcanzarlo
  Pdf := TPdf.Create(nil);
  try
    Pdf.FileName := 'scanned-contract.pdf';
    Pdf.LoadDocument;

    Options := TPdfOcrOptions.Default;      // 300 DPI, MinConfidence 0.5, Arial
    Options.MinConfidence := 0.6;
    Options.MaxTotalPixels := Int64(4000) * 1000 * 1000;

    Pdf.ApplyOcrSearchLayer(TMyOcrProvider.Create, Options, Report,
      Cancel.Token);

    for I := 0 to High(Report.Pages) do
      if Report.Pages[I].Status = popsFailed then
        Writeln(Format('page %d failed: %s',
          [Report.Pages[I].PageNumber, Report.Pages[I].ErrorMessage]));
    Writeln(Format('%d inserted, %d rejected, %d skipped, %d failed',
      [Report.InsertedWordCount, Report.RejectedWordCount,
       Report.SkippedPageCount, Report.FailedPageCount]));

    if not Report.Cancelled and (Report.InsertedWordCount > 0) then
      Pdf.SaveAs('scanned-contract-searchable.pdf');
  finally
    Pdf.Free;
  end;
end;

No guardar tras una cancelación es una decisión de criterio, y es la que se toma aquí. Un trabajo cancelado deja un archivo buscable en la primera parte y en blanco en el resto, y nada en el PDF le indica al siguiente lector dónde se detiene la capa. Volver a procesar el documento completo más adelante es más barato que explicar un archivo indexado a medias

SkipPagesWithText tiene True como valor predeterminado y verifica si la página ya produce caracteres extraíbles. Eso mantiene las páginas nativas digitales fuera del OCR, evita una segunda capa en archivos procesados antes, y hace que una ejecución repetida sobre la misma salida sea un no-op. El lado malo es que un solo carácter real cuenta: un escaneo con un número Bates estampado como texto real se reporta como popsSkippedExistingText y no recibe capa. Los archivos construidos así necesitan SkipPagesWithText := False y un rango de páginas cuidadoso mediante FirstPage y LastPage, de lo contrario las páginas procesadas previamente adquieren una capa duplicada y la extracción devuelve cada palabra dos veces

Pipeline de página de ApplyOcrSearchLayer con filtrado por confianza, techos de presupuesto, cancelación y rollback por página para procesar OCR de PDFs escaneados en Delphi
El filtrado por confianza mantiene las palabras débiles fuera del índice, y una página que falla a mitad de camino ve eliminados de nuevo los objetos de texto insertados en ella

Presupuestos de píxeles, cancelación y rollback por página

Cada cantidad que un documento hostil o simplemente enorme pueda inflar tiene un techo en TPdfOcrOptions, y las verificaciones de píxeles corren antes de asignar cualquier mapa de bits. El tamaño de renderizado es Ceil(PageWidth * Dpi / 72) por Ceil(PageHeight * Dpi / 72), así que los números se pueden calcular por adelantado:

Página a 300 DPIMapa de bitsPíxeles
US Letter, 612 × 792 pt2550 × 33008,415,000
A4, 595 × 842 pt2480 × 35098,702,320
A3, 842 × 1191 pt3509 × 496317,415,167
A0, 2384 × 3370 pt9934 × 14042139,493,228

Los valores predeterminados son 100 millones de píxeles por página y 1000 millones para todo el trabajo. Un plano A0 a 300 DPI por lo tanto excede MaxPixelsPerPage por sí solo. El presupuesto de todo el trabajo se agota antes que el por página: a 8,415,000 píxeles por página Letter, 118 páginas caben bajo 1000 millones y la página 119 falla con un mensaje que nombra MaxTotalPixels, y lo mismo cada página posterior. Para archivos escaneados largos, suba MaxTotalPixels como hace el ejemplo de arriba, o divida el trabajo en rangos con FirstPage y LastPage. Las páginas omitidas nunca se renderizan y no cuentan. El adaptador Tesseract incluido agrega su propio límite, TPdfTesseractOptions.MaxPixels, que por defecto es 16,777,216; una hoja A3 a 300 DPI está apenas por encima, así que los lotes A3 necesitan subir el límite del adaptador o bajar el DPI

El DPI debe estar entre 36 y 1200. Duplicarlo de 300 a 600 cuadruplica el mapa de bits, y cada píxel cuesta 4 bytes, así que una página Letter pasa de unos 34 MB de BGRA a unos 135 MB. Para escaneos de oficina corrientes, 300 DPI equilibra calidad de reconocimiento contra memoria; 600 vale la pena para letra pequeña y notas al pie, no para archivos completos. Los conteos de palabras tienen tope por MaxWordsPerPage y MaxTotalWords, y un proveedor que devuelve más palabras de las que la página permite hace fallar esa página en lugar de ser truncado

El token de cancelación llega al renderizado progresivo, a la llamada del proveedor y al bucle que inserta palabras. Cancelar durante el reconocimiento de la página 212 de un archivo de 400 páginas se detiene en la página 212, siempre que el proveedor honre el token que recibió. El adaptador Tesseract va un paso más allá y registra un callback de cancelación con el motor, junto con un timeout por página de 60,000 ms por defecto

La contención es por página. La capa conserva el handle de cada objeto de texto que inserta y llama a FPDFPage_GenerateContent una sola vez, después de colocar la última palabra de esa página. Si algo falla en medio, una fuente que rechaza un carácter o una cancelación que llega a mitad del bucle, los objetos ya insertados en esa página se eliminan en orden inverso y el contenido de la página se regenera, así que la página vuelve a llevar solo lo que tenía antes. El bucle continúa o se detiene según ContinueOnError, y la página que estaba activa antes de la llamada vuelve a estarlo después

Verificar el resultado

Dos verificaciones cubren la mayor parte de lo que puede salir mal. La primera es visual: renderice una página del archivo original y la misma página del archivo procesado al mismo tamaño con TPdf.RenderPage, y compare los mapas de bits. Lo esperado: idénticos, porque el modo 3 no pinta nada y el flujo de imagen no se tocó; cualquier diferencia de píxel significa que algo distinto de la capa de texto cambió la página. La segunda verifica que las palabras existan y estén donde el escaneo las muestra:

procedure CheckOcrPage(Pdf: TPdf; PageNo: Integer; const Probe: WString);
const
  TEXT_MODE_INVISIBLE = 3;   // FPDF_TEXTRENDERMODE_INVISIBLE
var
  TextObjects: TPdfIntegerArray;
  I, Invisible, Hit: Integer;
  Box: TPdfRectangle;
begin
  Pdf.PageNumber := PageNo;
  TextObjects := Pdf.GetObjectsByType(otText);
  Invisible := 0;
  for I := 0 to High(TextObjects) do
    if Pdf.GetTextRenderMode(TextObjects[I]) = TEXT_MODE_INVISIBLE then
      Inc(Invisible);
  Writeln(Format('page %d: %d invisible text objects', [PageNo, Invisible]));

  Hit := Pdf.FindFirst(Probe);
  if Hit >= 0 then
  begin
    Box := Pdf.CharacterRectangle[Hit];
    Writeln(Format('"%s" starts at x=%.1f, y=%.1f pt',
      [Probe, Box.Left, Box.Bottom]));
  end;
end;

Elija una palabra de prueba que pueda localizar a simple vista en el escaneo, un encabezado o un total, y compare las coordenadas reportadas con su posición en una imagen renderizada. En la página del CropBox del inicio, el valor de x debe empezar en 36 o más, nunca cerca de cero. El lado de la extracción se cubre a mayor profundidad en extracción de texto de documentos PDF, el renderizado de páginas para una superposición de alineación en conversión de páginas PDF a JPEG, y el patrón de token usado en todo el componente en renderizado progresivo cancelable

El apilado de OCR se ejecuta junto al renderizado, la extracción de texto y la edición de páginas sobre el mismo objeto TPdf, en Delphi, C++Builder y Lazarus. Las ediciones y la lista completa de la API están en la página del producto PDFium Component para Delphi