スキャン済みPDFで請求書番号を検索すると、ヒットは見つかるのにハイライトが印刷された数字の36ポイント左、36ポイント下に現れることがあります。36ポイントはちょうど1/2インチで、問題のページのCropBoxは[36 36 576 756]です。そのテキストレイヤーを作った人は、ピクセル位置をビットマップ幅で割ってページ幅を掛けることでページ位置に変換していました。これは表示領域が原点から始まるという想定です。/Rotate 90を持つページでは同じ式はもっとひどい結果になります。ビットマップのX軸がページのY軸に沿って走るため、単語はページのまったく別の場所に着地します
不可視テキストレイヤーとは正確には何か
スキャン済みページとは、コンテンツストリームが描いた1枚の大きな画像です。選択も検索もコピーも索引付けもできるものは何もありません。検索可能なテキストレイヤーは、その画像の上に通常のテキストオブジェクトを追加し、テキストレンダリングモードを3に設定します。ISO 32000-1 §9.3.6(表106)がフィルでもストロークでもないと定義するモードです。グリフは選択・検索・抽出のために存在し、ビューアは何も描画しません。うまくやれば、読者には元のスキャンが見え、Ctrl+Fは印刷された単語をその位置で正確に見つけ出します
PDFium Componentでは、仕事のすべてがTPdf.ApplyOcrSearchLayerの1回の呼び出しに集約されます。このメソッドは選択された各ページをレンダリングし、ピクセルをOCRプロバイダーに渡し、認識された単語を信頼度でフィルタリングし、生き残った単語を不可視テキストオブジェクトとして書き戻します。ページ画像はそのまま残されます。スキャンはデコードも再エンコードも置き換えもされないため、JBIG2やCCITT G4の画像は入ってきたときの圧縮バイト列をそのまま保ちます。このメソッドはSmall BusinessエディションとEnterpriseエディションに搭載されているため、プロジェクトの検索パスにLib\SmallBusinessが必要で、uses節にFPdfSmallBusinessが必要です。このユニットがないと呼び出しはEPdfSmallBusinessRequiredが発生します
IPdfOcrProviderを実装する
認識そのものは1つのインターフェースの背後に隠されています。IPdfOcrProvider.RecognizePageは、TPdfOcrImage(ページ番号、幅、高さ、ストライド、DPI、ピクセルフォーマット、上端から下方向のBGRA行を並べたTBytesバッファ)とキャンセルトークンを受け取り、TPdfOcrWordレコードの配列を返します。Unicodeテキスト、0から1の間の信頼度、画像ピクセル単位の4頂点クアッドです。エディションには完成品のプロバイダーが1つ付属します。FPdfOcrTesseractのCreatePdfTesseractOcrProviderで、利用者が用意するTesseractライブラリとtraineddataディレクトリにバインドします。それ以外のエンジン、クラウドAPI、市販SDKは、次のようなクラス経由で差し込みます:
uses
System.SysUtils, PDFium, FPdfAsync, FPdfSmallBusiness;
type
TMyOcrProvider = class(TInterfacedObject, IPdfOcrProvider)
public
function RecognizePage(const Image: TPdfOcrImage;
const CancellationToken: IPdfCancellationToken;
out Words: TPdfOcrWords; out ErrorMessage: string): Boolean;
end;
function TMyOcrProvider.RecognizePage(const Image: TPdfOcrImage;
const CancellationToken: IPdfCancellationToken;
out Words: TPdfOcrWords; out ErrorMessage: string): Boolean;
var
I, Count: Integer;
begin
// Engine* ルーチンは自分のOCRエンジン結合を表すものとします
Count := EngineRecognize(Image.Pixels, Image.Width, Image.Height,
Image.Stride, Image.Dpi);
CancellationToken.ThrowIfCancelled; // キャンセルはキャンセルとして報告する
SetLength(Words, Count);
for I := 0 to Count - 1 do
begin
Words[I].Text := EngineWordText(I);
// 多くのエンジンは0..100で返す。レイヤーは0..1を期待する
Words[I].Confidence := EngineWordConfidence(I) / 100;
Words[I].Quad := TPdfOcrQuad.FromRectangle(
EngineLeft(I), EngineTop(I), EngineRight(I), EngineBottom(I));
end;
ErrorMessage := '';
Result := True;
end;
Tesseractの87.5をそのまま渡すプロバイダーは、すべての単語を拒否されます。Tesseractは単語の信頼度をパーセンテージで返す代表的な例で、同梱のアダプターは返す前に割り算しています。カスタムプロバイダーも同じことをする必要があります。ApplyOcrSearchLayerは1を超える信頼度を不正な入力として扱うからです。症状は一度知ってしまえば見間違えようがありません。Report.RejectedWordCountがReport.DetectedWordCountと等しくなり、保存されたファイルにはテキストが一切ない状態です
トークンの呼び出しが重要なのは別の理由からです。プロバイダーがキャンセルに気づいて単にFalseを返すと、そのページは自分で設定したメッセージ付きのpopsFailedとして記録されます。ThrowIfCancelledを呼ぶと代わりにEPdfOperationCancelledが発生し、レイヤーはそれをキャッチしてpopsCancelledとして記録します。Report.Cancelledが立ち、ループは停止します。プロバイダー内部でトークンがnilになることはありません。呼び出し側が渡さなかった場合は、キャンセルされないトークンが供給されます
クアッド、そしてレイヤーが拒否する単語
スキャンはページに対して真っ直ぐとは限りません。わずかに傾いた用紙の単語は平行四辺形の領域を占めます。TPdfOcrQuadはまさにそのケースのためにTopLeft、TopRight、BottomRight、BottomLeftの4点を保持し、矩形しか報告しないエンジンのためにFromRectangleが軸に沿った版を組み立てます。単語は、テキストが空またはMaxWordCharactersより長い場合、信頼度がNaN、MinConfidence未満、1超の場合、いずれかの頂点がビットマップ外に出る場合、マッピング後にクアッドが0.01 ptより細いスリバーに潰れる場合に、スキップされてRejectedWordCountに数えられます
比例スケーリングではなぜOCR単語がずれるのか
比例スケーリングが正しいのは、ページに/Rotateエントリがなく、CropBoxの原点が (0, 0) の場合だけです。スキャンの多くはこの条件のどれかを満たしていません。横向きの用紙は/Rotate付きの縦向きページとして保存されていることがよくあり、クロップボックスはエディタで余白を切り取るとオフセットします。冒頭の例は軽度な失敗です。回転があると誤差はオフセットではなく軸の入れ替わりになります
ApplyOcrSearchLayerは4つの頂点それぞれをFPDF_DeviceToPageに通します。プロバイダーが見たピクセルを生成したときと同じビットマップサイズと回転を使うため、回転もクロップボックスのオフセットも、レンダラーが使ったのと同じ変換で処理されます。頂点は入力時に整数ピクセルに丸められますが、既定の300 DPIでは0.24 ptの量子化ステップで、選択ハイライトに見えるレベルをはるかに下回ります
マッピングされた点から、左下・右下・左上の3頂点でアフィン行列を定義します。位置、拡大縮小、回転、せん断を表現するには3点で十分であり、4つ目の頂点は検証にのみ使われ、フィッティングには使われません。テキストオブジェクトはフォントサイズ1で作成され、実際の境界が測定され、その測定された境界をターゲットのクアッドへマッピングする行列が組み立てられます。クアッドの高さからポイントサイズを推測すると、フォントごとのアセントとディセントでずれが蓄積します。先に測定すれば、フィットはOptions.FontNameが指すフォントに依存しなくなります
何も描画されなくても、フォントは抽出のために重要です。TPdfOcrOptions.DefaultはArialを設定します。このフォントを読み込めない場合、レイヤーは標準14フォントの1つであるHelveticaへフォールバックし、その組み込みエンコーディングがカバーするのはラテン文字だけです。キリル文字、ギリシャ文字、CJKの出力では、FontNameをその文字体系をカバーするインストール済みフォントに設定してください
レイヤーの実行とレポートの読み方
ApplyOcrSearchLayerは、失敗ページがなくキャンセルもなかった場合にのみTrueを返します。この戻り値を保存の可否に使うのは間違いです。ContinueOnErrorを既定のTrueのままにしていれば、読めないページが1つある300ページのジョブはFalseを返しますが、299ページには正しいレイヤーが乗っており、失敗したページはすでに元の状態に戻されています。保存の可否はレポートで判断してください:
var
Pdf: TPdf;
Options: TPdfOcrOptions;
Report: TPdfOcrReport;
Cancel: IPdfCancellationTokenSource;
I: Integer;
begin
Cancel := TPdfCancellationTokenSource.New; // キャンセルボタンから届く場所に置く
Pdf := TPdf.Create(nil);
try
Pdf.FileName := 'scanned-contract.pdf';
Pdf.LoadDocument;
Options := TPdfOcrOptions.Default; // 300 DPI、MinConfidence 0.5、Arial
Options.MinConfidence := 0.6;
Options.MaxTotalPixels := Int64(4000) * 1000 * 1000;
Pdf.ApplyOcrSearchLayer(TMyOcrProvider.Create, Options, Report,
Cancel.Token);
for I := 0 to High(Report.Pages) do
if Report.Pages[I].Status = popsFailed then
Writeln(Format('page %d failed: %s',
[Report.Pages[I].PageNumber, Report.Pages[I].ErrorMessage]));
Writeln(Format('%d inserted, %d rejected, %d skipped, %d failed',
[Report.InsertedWordCount, Report.RejectedWordCount,
Report.SkippedPageCount, Report.FailedPageCount]));
if not Report.Cancelled and (Report.InsertedWordCount > 0) then
Pdf.SaveAs('scanned-contract-searchable.pdf');
finally
Pdf.Free;
end;
end;
キャンセル後に保存しないのは判断の結果であり、ここではその判断をしています。キャンセルされたジョブが残すファイルは、前半だけ検索可能で後半は空白です。どこでレイヤーが止まったのかをPDFが次の読み手に伝える手段はありません。半分だけ索引されたアーカイブを説明するより、後で文書全体を再実行する方が安上がりです
SkipPagesWithTextは既定でTrueであり、ページがすでに抽出可能な文字を1つでも持っていないかを調べます。これにより、元からデジタルで作成されたページはOCRの対象外になり、以前に処理されたファイルに2つ目のレイヤーが乗るのを防ぎ、同じ出力への再実行は何もしない操作になります。裏返しとして、本物の文字が1つあればそれで十分です。本物のテキストとしてベイツ番号が押印されたスキャンはpopsSkippedExistingTextとして報告され、レイヤーは付きません。そういう構成のアーカイブではSkipPagesWithText := Falseにして、FirstPageとLastPageで慎重にページ範囲を絞る必要があります。そうしないと処理済みのページに重複レイヤーが乗り、抽出はすべての単語を2回返します
ピクセル予算、キャンセル、ページごとのロールバック
敵対的な、あるいは単に巨大なドキュメントが膨らませ得るあらゆる量には、TPdfOcrOptionsに上限があり、ピクセルチェックはビットマップを確保するより前に走ります。レンダサイズはCeil(PageWidth * Dpi / 72) × Ceil(PageHeight * Dpi / 72)なので、数値は前もって計算できます:
| 300 DPIでのページ | ビットマップ | ピクセル |
|---|---|---|
| US Letter、612 × 792 pt | 2550 × 3300 | 8,415,000 |
| A4、595 × 842 pt | 2480 × 3509 | 8,702,320 |
| A3、842 × 1191 pt | 3509 × 4963 | 17,415,167 |
| A0、2384 × 3370 pt | 9934 × 14042 | 139,493,228 |
既定値はページあたり1億ピクセル、ジョブ全体で10億ピクセルです。したがって300 DPIのA0図面は、それだけでMaxPixelsPerPageを超えます。ジョブ全体の予算はページごとの予算より先に尽きます。Letterページが8,415,000ピクセルなら、10億の下には118ページが収まり、119ページ目はMaxTotalPixelsの名前を出したメッセージで失敗し、その後のすべてのページも同様です。長いスキャンアーカイブでは、上の例のようにMaxTotalPixelsを引き上げるか、FirstPageとLastPageで作業を範囲に分割します。スキップされたページはレンダリングされず、カウントにも入りません。同梱のTesseractアダプターは独自の上限TPdfTesseractOptions.MaxPixels(既定16,777,216)を持ちます。300 DPIのA3用紙はこれをわずかに超えるため、A3のバッチではアダプター上限の引き上げかDPIの低下が必要です
DPIは36から1200の間でなければなりません。300から600への倍増はビットマップを4倍にします。1ピクセル4バイトなので、Letterページは約34 MBのBGRAから約135 MBになります。普通のオフィススキャンでは300 DPIが認識品質とメモリのバランス点です。600が価値を持つのは小さな文字や脚注であって、アーカイブ全体ではありません。単語数はMaxWordsPerPageとMaxTotalWordsで上限があり、ページの許容量より多くの単語を返したプロバイダーは切り詰められるのではなく、そのページを失敗させます
キャンセルトークンはプログレッシブレンダリング、プロバイダー呼び出し、単語挿入ループのすべてに届いています。400ページのファイルの212ページ目を認識中にキャンセルすると、プロバイダーが渡されたトークンを尊重していれば、その場で停止します。Tesseractアダプターはさらに一歩進んで、エンジンにキャンセルコールバックを登録します。ページごとのタイムアウトは既定で60,000 msです
封じ込めはページ単位です。レイヤーは挿入したすべてのテキストオブジェクトのハンドルを覚えておき、そのページの最後の単語を配置した後に一度だけFPDFPage_GenerateContentを呼びます。途中で何かが失敗した場合——文字を拒むフォント、ループ途中に届いたキャンセル——そのページに挿入済みのオブジェクトは逆順に取り除かれ、ページコンテンツは再生成されます。ページは呼び出し前の状態に戻ります。ループはその後ContinueOnErrorに従って続行または停止し、呼び出し前にアクティブだったページが再びアクティブになります
結果の検証
2つのチェックで、起こり得る問題のほとんどをカバーできます。1つ目は目視です。元のファイルから1ページと、処理済みファイルの同じページを、TPdf.RenderPageで同じサイズにレンダリングし、ビットマップを比較します。期待する結果は一致です。モード3は何も描画せず、画像ストリームは触られていないので、1ピクセルでも違えばテキストレイヤー以外の何かがページを変えたことになります。2つ目は、単語が存在し、スキャンが示す位置に乗っていることを確認します:
procedure CheckOcrPage(Pdf: TPdf; PageNo: Integer; const Probe: WString);
const
TEXT_MODE_INVISIBLE = 3; // FPDF_TEXTRENDERMODE_INVISIBLE
var
TextObjects: TPdfIntegerArray;
I, Invisible, Hit: Integer;
Box: TPdfRectangle;
begin
Pdf.PageNumber := PageNo;
TextObjects := Pdf.GetObjectsByType(otText);
Invisible := 0;
for I := 0 to High(TextObjects) do
if Pdf.GetTextRenderMode(TextObjects[I]) = TEXT_MODE_INVISIBLE then
Inc(Invisible);
Writeln(Format('page %d: %d invisible text objects', [PageNo, Invisible]));
Hit := Pdf.FindFirst(Probe);
if Hit >= 0 then
begin
Box := Pdf.CharacterRectangle[Hit];
Writeln(Format('"%s" starts at x=%.1f, y=%.1f pt',
[Probe, Box.Left, Box.Bottom]));
end;
end;
プローブ単語は、スキャン上で目視で探せる見出しや合計額などから選び、報告された座標をレンダリング画像での位置と比べます。冒頭のCropBoxページでは、xの値は36以上から始まるはずで、ゼロ近辺はあり得ません。抽出側の詳細はPDFドキュメントからのテキスト抽出、位置合わせオーバーレイ用のページレンダリングはPDFページのJPEG変換、全体を貫くトークンのパターンはキャンセル可能なプログレッシブレンダリングでそれぞれ扱っています
OCRレイヤリングは、レンダリング、テキスト抽出、ページ編集と並んで、Delphi、C++Builder、Lazarusのいずれでも同じTPdfオブジェクト上で動作します。エディションと完全なAPI一覧はPDFium Component for Delphi製品ページにあります