Articolo tecnico

Livello di testo ricercabile per PDF scansionati

La ricerca di un numero di fattura in un PDF scansionato trova il risultato, ma l'evidenziazione finisce mezzo pollice a sinistra delle cifre stampate e mezzo pollice più in basso. Mezzo pollice sono 36 punti, e la pagina in questione ha un CropBox di [36 36 576 756]. Chi ha costruito quel livello di testo ha trasformato le posizioni dei pixel in posizioni di pagina dividendo per la larghezza della bitmap e moltiplicando per la larghezza della pagina, il che presuppone che l'area visibile parta dall'origine. Su una pagina con /Rotate 90 la stessa formula fa persino peggio: l'asse x della bitmap corre ora lungo l'asse y della pagina, e le parole finiscono in una zona completamente sbagliata del foglio

Che cosa è davvero un livello di testo invisibile

Una pagina scansionata è una grande immagine dipinta dallo stream di contenuto. Non c'è nulla da selezionare, cercare, copiare o indicizzare. Un livello di testo ricercabile aggiunge normali oggetti di testo sopra quell'immagine e imposta la loro modalità di rendering del testo a 3, che ISO 32000-1 §9.3.6 (Tabella 106) definisce né fill né stroke: i glifi esistono per selezione, ricerca ed estrazione, e il viewer non disegna nulla per loro. Fatto bene, il lettore vede la scansione originale e Ctrl+F trova le parole esattamente dove sono stampate

In PDFium Component tutto il lavoro è una sola chiamata, TPdf.ApplyOcrSearchLayer. Renderizza ogni pagina selezionata, passa i pixel a un provider OCR, filtra le parole riconosciute per confidence e riscrive le sopravvissute come oggetti di testo invisibili. L'immagine di pagina resta com'è: la scansione non viene decodificata, ricodificata o sostituita, quindi un'immagine JBIG2 o CCITT G4 conserva gli esatti byte compressi con cui è arrivata. Il metodo esiste nelle edizioni Small Business ed Enterprise, quindi il progetto ha bisogno di Lib\SmallBusiness nel search path e di FPdfSmallBusiness in una clausola uses; senza quell'unit la chiamata solleva EPdfSmallBusinessRequired

PDFium Component: uno strato di testo OCR invisibile allineato sopra una pagina scansionata intatta fa funzionare selezione e ricerca mentre l'immagine PDF resta identica byte per byte
Veri oggetti testo con modalità di rendering invisibile siedono sopra la scansione originale, così selezione e ricerca atterrano esattamente sulle parole stampate

Scrivere un IPdfOcrProvider

Il riconoscimento in sé sta dietro a una sola interfaccia. IPdfOcrProvider.RecognizePage riceve una TPdfOcrImage (numero di pagina, larghezza, altezza, stride, DPI, formato pixel e un buffer TBytes di righe BGRA top-down), più un token di cancellazione, e restituisce un array di record TPdfOcrWord: testo Unicode, una confidence tra 0 e 1, e un quad a quattro angoli in pixel immagine. L'edizione include un provider pronto, CreatePdfTesseractOcrProvider in FPdfOcrTesseract, che si aggancia a una libreria Tesseract e a una directory traineddata che fornite voi. Qualsiasi altro motore, un'API cloud o un SDK commerciale, si collega attraverso una classe come questa:

uses
  System.SysUtils, PDFium, FPdfAsync, FPdfSmallBusiness;

type
  TMyOcrProvider = class(TInterfacedObject, IPdfOcrProvider)
  public
    function RecognizePage(const Image: TPdfOcrImage;
      const CancellationToken: IPdfCancellationToken;
      out Words: TPdfOcrWords; out ErrorMessage: string): Boolean;
  end;

function TMyOcrProvider.RecognizePage(const Image: TPdfOcrImage;
  const CancellationToken: IPdfCancellationToken;
  out Words: TPdfOcrWords; out ErrorMessage: string): Boolean;
var
  I, Count: Integer;
begin
  // Le routine Engine* qui sotto rappresentano il binding al vostro motore OCR
  Count := EngineRecognize(Image.Pixels, Image.Width, Image.Height,
    Image.Stride, Image.Dpi);
  CancellationToken.ThrowIfCancelled;   // un cancel va riportato come cancel

  SetLength(Words, Count);
  for I := 0 to Count - 1 do
  begin
    Words[I].Text := EngineWordText(I);
    // Molti motori riportano 0..100; il layer si aspetta 0..1
    Words[I].Confidence := EngineWordConfidence(I) / 100;
    Words[I].Quad := TPdfOcrQuad.FromRectangle(
      EngineLeft(I), EngineTop(I), EngineRight(I), EngineBottom(I));
  end;
  ErrorMessage := '';
  Result := True;
end;

Un provider che fa passare dritto l'87,5 di Tesseract vede rifiutare ogni parola. Tesseract, per dire, riporta la confidence delle parole come percentuale, e l'adapter incluso la divide prima di restituirla; un provider custom deve fare lo stesso, perché ApplyOcrSearchLayer considera una confidence sopra 1 un input non valido. Il sintomo è inequivocabile una volta che sapete dove guardare: Report.RejectedWordCount è uguale a Report.DetectedWordCount e il file salvato non contiene alcun testo

La chiamata al token conta per un motivo diverso. Se il provider si accorge della cancellazione e restituisce semplicemente False, la pagina viene registrata come popsFailed con il messaggio che avete impostato. Chiamare ThrowIfCancelled solleva invece EPdfOperationCancelled, che il layer cattura e registra come popsCancelled, con Report.Cancelled impostato e il loop fermato. Il token non è mai nil dentro un provider; quando il chiamante non ne passa uno, viene fornito un token che non può essere cancellato

Quad e parole che il layer rifiuta

Le scansioni sono raramente allineate alla pagina, quindi una parola su un foglio leggermente inclinato occupa un parallelogramma. TPdfOcrQuad porta i punti TopLeft, TopRight, BottomRight e BottomLeft proprio per quel caso, e FromRectangle costruisce la versione allineata agli assi per i motori che riportano solo box. Una parola viene saltata e conteggiata in RejectedWordCount quando il suo testo è vuoto o più lungo di MaxWordCharacters, quando la sua confidence è NaN, sotto MinConfidence o sopra 1, quando un qualsiasi angolo cade fuori dalla bitmap, o quando il quad collassa in una fettina più stretta di 0,01 pt dopo la mappatura

Perché lo scaling proporzionale sposta di posto le parole OCR

Lo scaling proporzionale è corretto solo quando la pagina non ha una voce /Rotate e il suo CropBox inizia a (0, 0). Tante scansioni violano una delle due condizioni: un foglio in orizzontale spesso viene conservato come pagina verticale con /Rotate impostato, e i crop box si spostano quando qualcuno taglia i margini in un editor. L'esempio iniziale è il guasto lieve; con la rotazione l'errore smette di essere un offset e diventa un asse scambiato

ApplyOcrSearchLayer fa passare ognuno dei quattro angoli per FPDF_DeviceToPage, usando le stesse dimensioni della bitmap e la stessa rotazione che hanno prodotto i pixel visti dal provider. Rotazione e offset del crop box sono quindi gestiti dalla stessa trasformazione usata dal renderer. Gli angoli vengono arrotondati a pixel interi all'ingresso, il che con i 300 DPI di default è un passo di quantizzazione di 0,24 pt, molto al di sotto di ciò che un'evidenziazione di selezione può mostrare

Dai punti mappati, gli angoli in basso a sinistra, in basso a destra e in alto a sinistra definiscono una matrice affine. Tre punti bastano a esprimere posizione, scala, rotazione e shear, ed è per questo che il quarto angolo viene solo validato, mai usato per il fitting. L'oggetto di testo viene creato con un corpo font di 1, i suoi bounds reali vengono misurati, e la matrice mappa quei bounds misurati sul quad di destinazione. Indovinare un corpo in punti dall'altezza del quad introdurrebbe deviazioni legate all'ascent e al descent di ogni font; misurare prima rende il fit indipendente dal font che Options.FontName nomina

PDFium Component: FPDF_DeviceToPage mappa singolarmente ogni angolo delle parole OCR così i quad del testo invisibile restano precisi sulle pagine PDF scansionate ruotate, dove lo scaling proporzionale ingenuo sbaglia
Ogni angolo di parola percorre la stessa trasformazione device-to-page usata dal renderer, così rotazione e crop box spostati non possono dislocare il testo nascosto

Il font conta comunque per l'estrazione anche se non viene disegnato nulla. TPdfOcrOptions.Default lo imposta a Arial. Se quel font non può essere caricato, il layer ripiega su Helvetica standard, uno dei 14 font standard, il cui encoding incorporato copre solo testo latino. Per output in cirillico, greco o CJK, impostate FontName a un font installato che copra quello script

Eseguire il layer e leggere il report

ApplyOcrSearchLayer restituisce True solo quando nessuna pagina è fallita e nulla è stato cancellato. Quel valore di ritorno è la cosa sbagliata su cui far riposare il salvataggio. Con ContinueOnError lasciato al suo default True, un job da 300 pagine con una pagina illeggibile restituisce False mentre 299 pagine portano un layer corretto, e la pagina fallita è già stata rimessa a posto com'era. Fondate il salvataggio sul report invece:

var
  Pdf: TPdf;
  Options: TPdfOcrOptions;
  Report: TPdfOcrReport;
  Cancel: IPdfCancellationTokenSource;
  I: Integer;
begin
  Cancel := TPdfCancellationTokenSource.New;  // tenetelo dove un pulsante Cancel lo può raggiungere
  Pdf := TPdf.Create(nil);
  try
    Pdf.FileName := 'scanned-contract.pdf';
    Pdf.LoadDocument;

    Options := TPdfOcrOptions.Default;      // 300 DPI, MinConfidence 0.5, Arial
    Options.MinConfidence := 0.6;
    Options.MaxTotalPixels := Int64(4000) * 1000 * 1000;

    Pdf.ApplyOcrSearchLayer(TMyOcrProvider.Create, Options, Report,
      Cancel.Token);

    for I := 0 to High(Report.Pages) do
      if Report.Pages[I].Status = popsFailed then
        Writeln(Format('page %d failed: %s',
          [Report.Pages[I].PageNumber, Report.Pages[I].ErrorMessage]));
    Writeln(Format('%d inserted, %d rejected, %d skipped, %d failed',
      [Report.InsertedWordCount, Report.RejectedWordCount,
       Report.SkippedPageCount, Report.FailedPageCount]));

    if not Report.Cancelled and (Report.InsertedWordCount > 0) then
      Pdf.SaveAs('scanned-contract-searchable.pdf');
  finally
    Pdf.Free;
  end;
end;

Non salvare dopo un cancel è una scelta di giudizio, ed è quella fatta qui. Un job cancellato lascia un file ricercabile nella prima parte e vuoto nel resto, e nulla nel PDF dice al lettore successivo dove il layer si ferma. Rilanciare l'intero documento più tardi costa meno che spiegare un archivio indicizzato a metà

SkipPagesWithText vale True di default e controlla se la pagina produce già caratteri estraibili. Questo tiene fuori dall'OCR le pagine born-digital, evita un secondo layer sui file già elaborati, e rende un secondo giro sullo stesso output un no-op. Il rovescio della medaglia è che un singolo carattere reale basta: una scansione con un numero Bates impresso come testo vero viene riportata come popsSkippedExistingText e non riceve alcun layer. Gli archivi costruiti così hanno bisogno di SkipPagesWithText := False e di un intervallo di pagine accurato tramite FirstPage e LastPage, altrimenti le pagine già elaborate acquisiscono un layer duplicato e l'estrazione restituisce ogni parola due volte

Pipeline di pagine di ApplyOcrSearchLayer con filtraggio per confidence, tetri di budget, cancellazione e rollback per pagina nell'elaborazione OCR di PDF scansionati in Delphi
Il filtraggio per confidence tiene fuori dall'indice le parole deboli, e una pagina che fallisce a metà vede rimuovere gli oggetti di testo che le erano stati inseriti

Budget di pixel, cancellazione e rollback per pagina

Ogni quantità che un documento ostile o semplicemente enorme può gonfiare ha un tetto in TPdfOcrOptions, e i controlli sui pixel girano prima che una bitmap venga allocata. La dimensione di render è Ceil(PageWidth * Dpi / 72) per Ceil(PageHeight * Dpi / 72), quindi i numeri si possono calcolare in anticipo:

Pagina a 300 DPIBitmapPixel
US Letter, 612 × 792 pt2550 × 33008,415,000
A4, 595 × 842 pt2480 × 35098,702,320
A3, 842 × 1191 pt3509 × 496317,415,167
A0, 2384 × 3370 pt9934 × 14042139,493,228

I default sono 100 milioni di pixel per pagina e 1 miliardo su tutto il job. Un disegno A0 a 300 DPI supera quindi MaxPixelsPerPage da solo. Il budget a scala job si esaurisce prima di quello per pagina: a 8,415,000 pixel per pagina Letter, 118 pagine stanno sotto 1 miliardo e la pagina 119 fallisce con un messaggio che nomina MaxTotalPixels, e così tutte le successive. Per archivi scansionati lunghi, alzate MaxTotalPixels come fa l'esempio sopra, o spezzate il lavoro in intervalli con FirstPage e LastPage. Le pagine saltate non vengono mai renderizzate e non contano. L'adapter Tesseract incluso aggiunge il suo limite, TPdfTesseractOptions.MaxPixels, che di default vale 16,777,216; un foglio A3 a 300 DPI sta appena sopra, quindi i batch A3 richiedono di alzare il limite dell'adapter o di abbassare i DPI

I DPI devono stare tra 36 e 1200. Raddoppiarli da 300 a 600 quadruplica la bitmap, e ogni pixel costa 4 byte, quindi una pagina Letter passa da circa 34 MB di BGRA a circa 135 MB. Per le scansioni d'ufficio ordinarie 300 DPI bilanciano qualità del riconoscimento e memoria; 600 li vale per stampe piccole e note a piè di pagina, non per interi archivi. I conteggi di parole sono limitati da MaxWordsPerPage e MaxTotalWords, e un provider che restituisce più parole di quante la pagina consenta fa fallire quella pagina invece di essere troncato

Il token di cancellazione raggiunge il render progressivo, la chiamata al provider e il loop che inserisce le parole. Cancellare durante il riconoscimento della pagina 212 di un file da 400 pagine si ferma alla pagina 212, purché il provider onori il token che gli è stato consegnato. L'adapter Tesseract fa un passo in più e registra un callback di cancel con il motore, insieme a un timeout per pagina di 60,000 ms di default

Il contenimento è per pagina. Il layer conserva l'handle di ogni oggetto di testo che inserisce e chiama FPDFPage_GenerateContent una volta sola, dopo che l'ultima parola di quella pagina è stata piazzata. Se qualcosa fallisce nel frattempo, un font che rifiuta un carattere o un cancel che arriva a metà loop, gli oggetti già inseriti su quella pagina vengono rimossi in ordine inverso e il contenuto della pagina rigenerato, così la pagina torna a portare solo ciò che aveva prima. Il loop poi continua o si ferma secondo ContinueOnError, e qualunque pagina era attiva prima della chiamata è di nuovo attiva dopo

Controllare il risultato

Due controlli coprono la maggior parte di ciò che può andare storto. Il primo è visivo: renderizzate una pagina dal file originale e la stessa pagina dal file elaborato alla stessa dimensione con TPdf.RenderPage, poi confrontate le bitmap. Risultato atteso: identiche, perché la modalità 3 non disegna nulla e lo stream di immagine non è stato toccato; qualunque differenza di pixel significa che qualcosa altro oltre al livello di testo ha cambiato la pagina. Il secondo verifica che le parole esistano e stiano dove la scansione le mostra:

procedure CheckOcrPage(Pdf: TPdf; PageNo: Integer; const Probe: WString);
const
  TEXT_MODE_INVISIBLE = 3;   // FPDF_TEXTRENDERMODE_INVISIBLE
var
  TextObjects: TPdfIntegerArray;
  I, Invisible, Hit: Integer;
  Box: TPdfRectangle;
begin
  Pdf.PageNumber := PageNo;
  TextObjects := Pdf.GetObjectsByType(otText);
  Invisible := 0;
  for I := 0 to High(TextObjects) do
    if Pdf.GetTextRenderMode(TextObjects[I]) = TEXT_MODE_INVISIBLE then
      Inc(Invisible);
  Writeln(Format('page %d: %d invisible text objects', [PageNo, Invisible]));

  Hit := Pdf.FindFirst(Probe);
  if Hit >= 0 then
  begin
    Box := Pdf.CharacterRectangle[Hit];
    Writeln(Format('"%s" starts at x=%.1f, y=%.1f pt',
      [Probe, Box.Left, Box.Bottom]));
  end;
end;

Scegliete una parola sonda che riuscite a locare a occhio sulla scansione, un titolo o un totale, e confrontate le coordinate riportate con la sua posizione in un'immagine renderizzata. Sulla pagina col CropBox dell'apertura, il valore x dovrebbe partire da 36 in su, mai vicino allo zero. Il lato estrazione è approfondito in estrazione di testo dai documenti PDF, il rendering delle pagine per un overlay di allineamento in conversione delle pagine PDF in JPEG, e il pattern a token usato ovunque in render progressivo cancellabile

La stratificazione OCR sta accanto a rendering, estrazione testo e modifica di pagine sullo stesso oggetto TPdf, in Delphi, C++Builder e Lazarus. Edizioni e lista completa delle API sono sulla pagina di prodotto di PDFium Component for Delphi