스캔한 PDF에서 송장 번호를 검색하면 단어는 잡히는데, 하이라이트는 인쇄된 숫자에서 0.5인치 왼쪽, 0.5인치 아래에 찍힌다. 0.5인치는 36포인트이고, 문제의 페이지는 CropBox가 [36 36 576 756]이다. 그 텍스트 레이어를 만든 사람은 픽셀 위치를 비트맵 폭으로 나눈 다음 페이지 폭을 곱해 페이지 좌표로 바꿨는데, 이 방식은 가시 영역이 원점에서 시작한다고 가정한다. /Rotate 90이 걸린 페이지에서는 같은 공식이 더 크게 어긋난다. 비트맵의 x축이 페이지의 y축을 따라 달리기 때문에 단어는 페이지의 완전히 엉뚱한 곳에 떨어진다
보이지 않는 텍스트 레이어란 무엇인가
스캔 페이지는 콘텐츠 스트림이 그려 넣은 커다란 이미지 하나다. 선택할 것도, 검색할 것도, 복사하거나 인덱싱할 것도 없다. 검색 가능한 텍스트 레이어는 그 이미지 위에 평범한 텍스트 객체를 얹고 텍스트 렌더링 모드를 3으로 설정한다. ISO 32000-1 §9.3.6(표 106)이 채우기도 스트로크도 아닌 상태로 정의하는 모드여서, 글리프는 선택·검색·추출을 위해 존재하지만 뷰어가 그리는 것은 아무것도 없다. 제대로 만들어 두면 독자에게는 원본 스캔이 그대로 보이고 Ctrl+F는 글자가 인쇄된 바로 그 위치에서 단어를 찾는다
PDFium Component에서 이 모든 작업은 호출 하나, TPdf.ApplyOcrSearchLayer로 끝난다. 선택된 각 페이지를 렌더링하고, 픽셀을 OCR 프로바이더에 넘기고, 인식된 단어를 신뢰도로 걸러서 살아남은 단어를 보이지 않는 텍스트 객체로 기록한다. 페이지 이미지는 그대로 둔다. 스캔을 디코딩하거나 재인코딩하거나 교체하지 않으므로 JBIG2나 CCITT G4 이미지는 원래 들어 있던 압축 바이트를 그대로 유지한다. 이 메서드는 Small Business 에디션과 Enterprise 에디션에 들어 있으므로 프로젝트는 검색 경로에 Lib\SmallBusiness를 두어야 하고 uses 절에 FPdfSmallBusiness를 넣어야 한다. 이 유닛이 없으면 호출이 EPdfSmallBusinessRequired를 일으킨다
IPdfOcrProvider 작성하기
인식 자체는 인터페이스 하나 뒤에 있다. IPdfOcrProvider.RecognizePage는 TPdfOcrImage(페이지 번호, 폭, 높이, 스트라이드, DPI, 픽셀 포맷, 위에서 아래로 읽는 BGRA 행을 담은 TBytes 버퍼)와 취소 토큰을 받고, TPdfOcrWord 레코드 배열을 돌려준다. 레코드에는 유니코드 텍스트, 0에서 1 사이의 신뢰도, 이미지 픽셀 좌표의 네 모서리 쿼드가 들어간다. 에디션은 바로 쓸 수 있는 프로바이더를 하나 제공하는데, FPdfOcrTesseract의 CreatePdfTesseractOcrProvider로, 여러분이 준비한 Tesseract 라이브러리와 traineddata 디렉터리에 바인딩된다. 그 밖의 엔진이든 클라우드 API든 상용 SDK든 다음과 같은 클래스를 통해 끼워 넣는다:
uses
System.SysUtils, PDFium, FPdfAsync, FPdfSmallBusiness;
type
TMyOcrProvider = class(TInterfacedObject, IPdfOcrProvider)
public
function RecognizePage(const Image: TPdfOcrImage;
const CancellationToken: IPdfCancellationToken;
out Words: TPdfOcrWords; out ErrorMessage: string): Boolean;
end;
function TMyOcrProvider.RecognizePage(const Image: TPdfOcrImage;
const CancellationToken: IPdfCancellationToken;
out Words: TPdfOcrWords; out ErrorMessage: string): Boolean;
var
I, Count: Integer;
begin
// 아래 Engine* 루틴은 자신이 만든 OCR 엔진 바인딩을 대신한다
Count := EngineRecognize(Image.Pixels, Image.Width, Image.Height,
Image.Stride, Image.Dpi);
CancellationToken.ThrowIfCancelled; // 취소는 취소로 보고한다
SetLength(Words, Count);
for I := 0 to Count - 1 do
begin
Words[I].Text := EngineWordText(I);
// 0..100으로 보고하는 엔진이 많다. 레이어는 0..1을 기대한다
Words[I].Confidence := EngineWordConfidence(I) / 100;
Words[I].Quad := TPdfOcrQuad.FromRectangle(
EngineLeft(I), EngineTop(I), EngineRight(I), EngineBottom(I));
end;
ErrorMessage := '';
Result := True;
end;
테서랙트가 내놓은 87.5를 그대로 통과시키는 프로바이더는 단어를 전부 거부당한다. Tesseract는 단어 신뢰도를 백분율로 보고하는 대표적 사례이고, 함께 제공되는 어댑터는 돌려주기 전에 나누어 줄인다. 커스텀 프로바이더도 같은 일을 해야 한다. ApplyOcrSearchLayer는 1을 넘는 신뢰도를 잘못된 입력으로 취급하기 때문이다. 어디를 봐야 할지 알면 증상은 틀림없다. Report.RejectedWordCount가 Report.DetectedWordCount와 같아지고 저장된 파일에는 텍스트가 하나도 없다
토큰 호출이 중요한 이유는 따로 있다. 프로바이더가 취소를 알아채고 그저 False를 돌려주면 페이지는 지정한 메시지와 함께 popsFailed로 기록된다. 대신 ThrowIfCancelled를 호출하면 EPdfOperationCancelled가 올라오고, 레이어는 이를 잡아 popsCancelled로 기록하며 Report.Cancelled를 세팅하고 루프를 멈춘다. 프로바이더 안에서 토큰이 nil인 일은 없다. 호출자가 아무것도 넘기지 않으면 절대 취소되지 않는 토큰이 공급된다
쿼드, 그리고 레이어가 거부하는 단어
스캔본은 페이지에 정방향으로 놓여 있지 않은 경우가 많아서, 살짝 기울어진 용지의 단어는 평행사변형을 차지한다. TPdfOcrQuad는 바로 그 경우를 위해 TopLeft, TopRight, BottomRight, BottomLeft 네 점을 담고, 박스만 보고하는 엔진을 위해 FromRectangle이 축에 정렬된 버전을 만들어 준다. 단어는 텍스트가 비어 있거나 MaxWordCharacters보다 길 때, 신뢰도가 NaN이거나 MinConfidence 미만이거나 1을 넘을 때, 네 모서리 중 하나라도 비트맵 밖으로 나갈 때, 매핑 후 쿼드가 0.01pt보다 좁은 조각으로 눌릴 때 건너뛰어지고 RejectedWordCount에 더해진다
비례 스케일링이 OCR 단어를 엉뚱한 곳에 놓는 이유
비례 스케일링이 맞는 것은 페이지에 /Rotate 항목이 없고 CropBox가 (0, 0)에서 시작할 때뿐이다. 스캔본은 이 조건을 하나쯤 어기는 일이 흔하다. 가로 용지는 /Rotate가 설정된 세로 페이지로 저장되는 경우가 잦고, 편집기에서 여백을 잘라 내면 crop box가 밀려난다. 도입부의 예시는 순한 실패다. 회전이 얽히면 오차는 오프셋이 아니라 뒤바뀐 축이 된다
ApplyOcrSearchLayer는 네 모서리를 각각 FPDF_DeviceToPage에 통과시킨다. 이때 프로바이더가 본 픽셀을 만들어 낸 그 비트맵 크기와 회전을 그대로 쓰기 때문에, 회전과 crop box 오프셋은 렌더러가 쓴 것과 동일한 변환으로 처리된다. 모서리는 들어가는 길에 정수 픽셀로 반올림되는데, 기본값인 300 DPI에서 그 양자화 폭은 0.24pt다. 선택 하이라이트가 표현할 수 있는 크기보다 훨씬 아래다
매핑된 점들 가운데 왼쪽 아래, 오른쪽 아래, 왼쪽 위 모서리가 아핀 행렬을 정의한다. 위치, 크기, 회전, 전단을 표현하는 데는 세 점이면 충분하므로 네 번째 모서리는 검증에만 쓰이고 피팅에는 절대 쓰이지 않는다. 텍스트 객체는 폰트 크기 1로 만들어 실제 경계를 측정하고, 행렬이 그 측정된 경계를 대상 쿼드 위로 사상한다. 쿼드 높이에서 포인트 크기를 짐작하는 방식은 폰트마다 어센트와 디센트가 달라 어긋나기 마련이다. 먼저 측정하고 나면 피팅은 Options.FontName이 가리키는 폰트와 무관해진다
아무것도 그려지지 않아도 추출에는 폰트가 여전히 중요하다. TPdfOcrOptions.Default는 폰트를 Arial로 맞춘다. 이 폰트를 불러올 수 없으면 레이어는 표준 14 폰트 가운데 하나인 표준 Helvetica로 폴백하는데, 이 폰트의 내장 인코딩은 라틴 문자만 커버한다. 키릴 문자, 그리스 문자, CJK 출력에는 FontName을 해당 문자 체계를 커버하는 설치된 폰트로 지정하라
레이어 실행과 리포트 읽기
ApplyOcrSearchLayer는 어떤 페이지도 실패하지 않고 취소된 것도 없을 때만 True를 돌려준다. 이 반환값을 저장의 조건으로 삼는 것은 잘못된 판단이다. ContinueOnError를 기본값인 True로 두면, 읽을 수 없는 페이지 하나 섞인 300페이지 작업은 299페이지에 올바른 레이어가 들어 있어도 False를 돌려주고, 실패한 페이지는 이미 원래대로 되돌려져 있다. 저장은 대신 리포트를 보고 게이트하라:
var
Pdf: TPdf;
Options: TPdfOcrOptions;
Report: TPdfOcrReport;
Cancel: IPdfCancellationTokenSource;
I: Integer;
begin
Cancel := TPdfCancellationTokenSource.New; // 취소 버튼이 닿을 수 있는 범위에 들고 있어라
Pdf := TPdf.Create(nil);
try
Pdf.FileName := 'scanned-contract.pdf';
Pdf.LoadDocument;
Options := TPdfOcrOptions.Default; // 기본값은 300 DPI, MinConfidence 0.5, Arial
Options.MinConfidence := 0.6;
Options.MaxTotalPixels := Int64(4000) * 1000 * 1000;
Pdf.ApplyOcrSearchLayer(TMyOcrProvider.Create, Options, Report,
Cancel.Token);
for I := 0 to High(Report.Pages) do
if Report.Pages[I].Status = popsFailed then
Writeln(Format('page %d failed: %s',
[Report.Pages[I].PageNumber, Report.Pages[I].ErrorMessage]));
Writeln(Format('%d inserted, %d rejected, %d skipped, %d failed',
[Report.InsertedWordCount, Report.RejectedWordCount,
Report.SkippedPageCount, Report.FailedPageCount]));
if not Report.Cancelled and (Report.InsertedWordCount > 0) then
Pdf.SaveAs('scanned-contract-searchable.pdf');
finally
Pdf.Free;
end;
end;
취소 후 저장하지 않는 것은 판단의 영역이고, 여기서는 그렇게 판단했다. 취소된 작업이 남기는 파일은 앞부분만 검색되고 나머지는 비어 있으며, 레이어가 어디까지 깔렸는지 PDF 안에는 다음 독자에게 알려 주는 표시가 없다. 절반만 인덱싱된 아카이브를 두고 설명하는 것보다 문서 전체를 나중에 다시 돌리는 편이 싸다
SkipPagesWithText의 기본값은 True이며 페이지가 이미 추출 가능한 문자를 하나라도 내놓는지 검사한다. 덕분에 태어날 때부터 디지털인 페이지는 OCR을 거치지 않고, 이전에 처리된 파일에 레이어가 이중으로 깔리는 일도 막히며, 같은 출력물에 다시 돌려도 아무 일도 일어나지 않는다. 대가는 실제 문자 하나만 있어도 걸린다는 점이다. Bates 번호가 실제 텍스트로 찍힌 스캔본은 popsSkippedExistingText로 보고되고 레이어를 얻지 못한다. 그런 식으로 만들어진 아카이브는 SkipPagesWithText := False로 두고 FirstPage와 LastPage로 페이지 범위를 신중하게 잡아야 한다. 그러지 않으면 이전에 처리된 페이지에 레이어가 겹쳐지고 추출은 모든 단어를 두 번씩 돌려준다
픽셀 예산, 취소, 페이지별 롤백
악의적인 문서든 그저 엄청나게 큰 문서든 부풀릴 수 있는 모든 수량에는 TPdfOcrOptions에 상한이 마련되어 있고, 픽셀 검사는 비트맵이 할당되기 전에 돌아간다. 렌더링 크기는 Ceil(PageWidth * Dpi / 72) × Ceil(PageHeight * Dpi / 72)이므로 숫자는 미리 계산해 볼 수 있다:
| 300 DPI 페이지 | 비트맵 | 픽셀 |
|---|---|---|
| US Letter, 612 × 792 pt | 2550 × 3300 | 8,415,000 |
| A4, 595 × 842 pt | 2480 × 3509 | 8,702,320 |
| A3, 842 × 1191 pt | 3509 × 4963 | 17,415,167 |
| A0, 2384 × 3370 pt | 9934 × 14042 | 139,493,228 |
기본값은 페이지당 1억 픽셀, 작업 전체로는 10억 픽셀이다. 따라서 300 DPI의 A0 도면은 그것 하나로 MaxPixelsPerPage를 넘긴다. 작업 전체 예산이 페이지별 예산보다 먼저 닳는다. Letter 페이지가 8,415,000픽셀이므로 10억 아래에는 118페이지까지 들어가고, 119페이지는 MaxTotalPixels를 지목하는 메시지와 함께 실패하며 그 뒤의 모든 페이지도 마찬가지다. 긴 스캔 아카이브라면 위 예제처럼 MaxTotalPixels를 올리거나 FirstPage와 LastPage로 작업을 범위별로 나눠라. 건너뛴 페이지는 렌더링되지 않으므로 셈에 들지 않는다. 함께 제공되는 Tesseract 어댑터는 자체 상한 TPdfTesseractOptions.MaxPixels을 하나 더 두는데 기본값은 16,777,216이다. 300 DPI의 A3 용지는 이 값을 겨우 넘으므로 A3 배치는 어댑터 상한을 올리거나 DPI를 낮춰야 한다
DPI는 36과 1200 사이여야 한다. 300에서 600으로 두 배 올리면 비트맵은 네 배가 되고, 픽셀 하나가 4바이트이므로 Letter 페이지는 BGRA 기준 약 34MB에서 약 135MB로 늘어난다. 평범한 사무실 스캔에는 300 DPI가 인식 품질과 메모리 사이의 균형점이다. 600은 작은 활자와 각주에 쓸 만하지만 아카이브 전체에 쓸 값은 아니다. 단어 수는 MaxWordsPerPage와 MaxTotalWords로 제한되며, 페이지가 허용하는 것보다 많은 단어를 돌려주는 프로바이더는 잘리는 대신 그 페이지를 실패시킨다
취소 토큰은 점진 렌더링과 프로바이더 호출, 단어를 삽입하는 루프까지 닿는다. 400페이지 파일의 212페이지 인식 도중에 취소하면 212페이지에서 멈춘다. 프로바이더가 넘겨받은 토큰을 존중한다는 전제에서다. Tesseract 어댑터는 한 걸음 더 나아가 엔진에 취소 콜백을 등록하고, 기본 60,000ms의 페이지별 타임아웃도 함께 둔다
격리는 페이지 단위다. 레이어는 삽입하는 모든 텍스트 객체의 핸들을 쥐고 있다가 그 페이지의 마지막 단어가 놓인 뒤 FPDFPage_GenerateContent를 한 번 호출한다. 도중에 무엇이든 실패하면, 문자를 거부하는 폰트든 루프 한가운데 도착하는 취소든, 그 페이지에 이미 삽입된 객체는 역순으로 제거되고 페이지 콘텐츠를 다시 생성한다. 페이지는 그 전에 지녔던 것만 가지고 돌아간다. 루프는 이어서 ContinueOnError 값에 따라 계속하거나 멈추고, 호출 전에 활성화돼 있던 페이지가 다시 활성화된다
결과 확인
두 가지 검사가 대부분의 문제를 잡아 준다. 첫 번째는 눈으로 하는 검사다. 원본 파일의 한 페이지와 처리된 파일의 같은 페이지를 TPdf.RenderPage로 같은 크기로 렌더링한 다음 비트맵을 비교한다. 기대 결과는 동일함이다. 모드 3은 아무것도 그리지 않고 이미지 스트림은 건드리지 않았기 때문이다. 픽셀 차이가 조금이라도 있으면 텍스트 레이어가 아닌 다른 무언가가 페이지를 바꿨다는 뜻이다. 두 번째 검사는 단어가 존재하고 스캔이 보여 주는 자리에 앉아 있는지 확인한다:
procedure CheckOcrPage(Pdf: TPdf; PageNo: Integer; const Probe: WString);
const
TEXT_MODE_INVISIBLE = 3; // FPDF_TEXTRENDERMODE_INVISIBLE
var
TextObjects: TPdfIntegerArray;
I, Invisible, Hit: Integer;
Box: TPdfRectangle;
begin
Pdf.PageNumber := PageNo;
TextObjects := Pdf.GetObjectsByType(otText);
Invisible := 0;
for I := 0 to High(TextObjects) do
if Pdf.GetTextRenderMode(TextObjects[I]) = TEXT_MODE_INVISIBLE then
Inc(Invisible);
Writeln(Format('page %d: %d invisible text objects', [PageNo, Invisible]));
Hit := Pdf.FindFirst(Probe);
if Hit >= 0 then
begin
Box := Pdf.CharacterRectangle[Hit];
Writeln(Format('"%s" starts at x=%.1f, y=%.1f pt',
[Probe, Box.Left, Box.Bottom]));
end;
end;
스캔에서 눈으로 찾을 수 있는 단어를 하나 골라라. 제목이든 합계든 좋다. 보고된 좌표를 렌더링 이미지 속 그 단어의 위치와 비교하라. 도입부의 CropBox 페이지라면 x 값은 36 이상에서 시작해야지 0 근처가 나오면 안 된다. 추출 쪽은 PDF 문서에서 텍스트 추출에서 더 깊이 다룬다. 정렬 오버레이를 위한 페이지 렌더링은 PDF 페이지를 JPEG로 변환에서, 곳곳에 쓰인 토큰 패턴은 취소 가능한 점진 렌더링에서 볼 수 있다
OCR 레이어링은 렌더링, 텍스트 추출, 페이지 편집과 나란히 같은 TPdf 객체 위에서 제공된다. Delphi와 C++Builder, Lazarus에서 모두 쓸 수 있다. 에디션과 전체 API 목록은 Delphi용 PDFium Component 제품 페이지에 있다