세로 위치순으로 정렬된 2단 학회 논문은 Abstract We measure the 2 Related work Earlier studies 같은 첫 줄로 돌아옵니다. 왼쪽 단의 첫 단어들과 오른쪽 단의 첫 단어들이 같은 베이스라인에 앉아 있다는 이유로 접착된 것입니다. 파서는 아무 잘못도 없습니다. PDF 페이지는 텍스트에 대해 두 가지 그럴듯한 순서를 제안합니다. 콘텐츠 스트림이 그리는 순서와 모든 글리프의 페이지상 위치이고, 많은 레이아웃에서 이 둘은 어긋납니다. 문자열 하나 대신 위치 잡힌 블록을 돌려주는 추출기라면 어떤 순서를 받았는지 보고, 앞에 놓인 페이지에 맞지 않을 때 갈아탈 수 있습니다
GetStructuredText가 돌려주는 것
PDFium Component의 TPdf.GetStructuredText는 현재 페이지에 대해 TPdfStructuredTextPage를 돌려줍니다. 블록의 배열이고 각 블록은 줄의 배열, 각 줄은 스타일 스팬의 배열입니다. 모든 계층이 자체 Text와 PDF 포인트 단위의 페이지 공간 Bounds 사각형을 갖므로 제목, 한 줄, 볼드 구문을 두 번째 조회 없이 페이지 위에 위치시킬 수 있습니다. 페이지 레코드는 Width, Height, CharacterCount와 아래에서 더 설명할 품질 카운터 둘을 추가합니다
평탄화된 Page.Text는 날 문자 스트림이 아니라 블록에서 만들어집니다. 블록 안의 줄들은 CRLF 하나로 이어지고 블록들은 빈 줄로 갈라지므로, Page.Text의 플레인 텍스트 덤프만 봐도 추출기가 어디에 블록 경계를 그었는지 보입니다. 페이지가 이상하게 읽힐 때 가장 빨리 찍어 볼 것이 바로 이것입니다
이 모든 것은 작은 옵션 레코드가 움직입니다. TPdfStructuredTextOptions.Default는 ReadingOrder를 roPhysicalLayout으로 두고 IncludeFontInfo와 IncludeSemantics를 켜며 MaxCharacters를 1,000,000으로 둡니다. 출력의 모양을 가장 크게 바꾸는 필드는 reading order입니다
두 reading order가 줄과 블록을 만드는 방식
roContentOrder는 생산 도구의 그리기 순서를 유지하고 roPhysicalLayout은 글리프 위치에서 순서를 다시 세웁니다. 차이가 처음 드러나는 곳은 줄이 형성되는 방식입니다. 콘텐츠 순서에서는 문자가 페이지가 그리는 순서대로 받아집니다. 새 줄은 명시적 줄바꿈에서, 혹은 다음 문자가 현재 줄과 세로로 더는 겹치지 않을 때 시작합니다. 줄은 두 줄이 더 좁은 폭의 5분의 1 이상 가로로 겹치고 세로 간격이 대략 줄 높이 2.25배 이하일 때만 바로 앞의 블록에 합류하고, 그렇지 않으면 새 블록을 엽니다. 블록들은 그리기 순서를 유지합니다
물리 레이아웃은 그리기 순서를 버립니다. 상자가 알려진 모든 문자는 그 상자의 세로 중심, 페이지 위쪽 먼저, 그다음 왼쪽 끝 순으로 정렬됩니다. 세로 범위가 충분히 겹치는 문자들이 한 줄을 공유하는데 그 검사는 높이만 봅니다. 가로 거리는 아무 역할도 하지 않습니다. 각 줄은 같은 겹침-간격 규칙으로 페이지 어디든 가장 잘 맞는 기존 블록에 합류하고, 완성된 블록들은 위 끝 순으로 정렬되며 반 포인트 이내의 동률은 왼쪽 끝이 가릅니다
도입부 예제는 바로 이 둘째 규칙에서 나옵니다. 논문의 두 단이 베이스라인 그리드를 공유하면 왼쪽 단의 첫 줄과 오른쪽 단의 첫 줄이 세로로 겹치고 물리 레이아웃은 그 둘을 한 줄에 놓습니다. 여백(gutter)의 간격은 폰트 크기의 4분의 1보다 넓으므로 추출기는 공백 하나를 넣고 계속 갑니다. 본문의 모든 줄이 똑같이 굴고, 합쳐진 줄들이 서로 가로로 겹치며, 2단 본문 전체가 여백을 가로질러 읽히는 하나의 넓은 블록이 됩니다
생산 도구가 1단을 먼저 2단을 나중에 썼다면, 곧 워드 프로세서와 조판 시스템이 보통 그러하듯 썼다면 콘텐츠 순서가 그 페이지를 잘 처리합니다. 왼쪽 단의 줄들이 블록으로 쌓이고, 오른쪽 단의 첫 줄은 가로 겹침이 없어 새 블록을 열며, 블록들은 저자가 쓴 순서대로 나옵니다. 물리 레이아웃이 제 몫을 하는 페이지는 다른 종류입니다. 송장, 거래 명세서, 양식, 슬라이드에서 라벨과 값이 같은 베이스라인에 앉고 행을 왼쪽에서 오른쪽으로 읽는 것이 정확히 원하는 바일 때입니다. 그리기 순서가 무의미한 경우, 곧 폰트별로 텍스트가 그려졌거나 작은 오버레이 여럿으로 조립된 페이지에도 이 모드가 답입니다
섞인 컬렉션은 문서 유형으로 선택을 갈라 놓으세요. 알려진 저작 도구가 낸 기사, 보고서, 매뉴얼은 roContentOrder로, 양식과 거래 문서는 roPhysicalLayout 기본값에 둡니다. 다음 루틴은 한 페이지의 블록들을 콘텐츠 순서로 출력하며 파일에 태그가 있으면 제목을 표시합니다
uses
SysUtils, PDFium;
procedure DumpBlocks(Pdf: TPdf; PageNumber: Integer);
var
Options: TPdfStructuredTextOptions;
Page: TPdfStructuredTextPage;
B, L: Integer;
begin
Pdf.PageNumber := PageNumber; // 1 기반
Options := TPdfStructuredTextOptions.Default;
Options.ReadingOrder := roContentOrder; // 단별로 쓰는 생산 도구용
Page := Pdf.GetStructuredText(Options);
if Page.Source = rosStructure then
Writeln('block kinds come from the structure tree')
else
Writeln('block kinds are inferred from layout');
for B := 0 to High(Page.Blocks) do
begin
if Page.Blocks[B].Kind = cfHeading then
Writeln(Format('[%d] H%d %s',
[B, Page.Blocks[B].HeadingLevel, Page.Blocks[B].Text]))
else
begin
Writeln(Format('[%d] x=%.0f..%.0f, %d line(s)',
[B, Page.Blocks[B].Bounds.Left, Page.Blocks[B].Bounds.Right,
Length(Page.Blocks[B].Lines)]));
for L := 0 to High(Page.Blocks[B].Lines) do
Writeln(' ', Page.Blocks[B].Lines[L].Text);
end;
end;
end;
여백을 가로지르는 줄은 어떻게 탐지하는가
합쳐진 줄은 스팬으로 정체를 드러냅니다. GetStructuredText는 다음 문자가 페이지 원본 문자 순서에서 이전 문자의 직계 후속이 아닐 때마다 새 스팬을 엽니다. 아래서 다룰 스타일 변화에 더한 것입니다. 한 단 안에서는 이어지는 단어들이 보통 원본에서도 이어집니다. 합쳐진 줄의 여백 지점에서는 원본 인덱스가 수백 문자를 뛰어 넘고 두 스팬 사이의 가로 간격이 어떤 워드 스페이스보다 훨씬 넓습니다
이 두 신호를 함께 놓으면 믿을 만한 검사가 되고, 페이지가 콘텐츠 순서를 필요로 하는지 판단하기 전에 기본 출력 위에서 돌려 볼 수 있습니다. GetStructuredText가 읽는 문자 데이터 스냅샷은 페이지별로 캐시되는데 기본 8페이지입니다. 같은 페이지를 다른 ReadingOrder로 두 번째 요청하면 페이지를 다시 추출하는 대신 이미 메모리에 있는 데이터를 재분류합니다
// LineCrossesGutter는 직접 추가하는 헬퍼다.
// 페이지에서 멀리 떨어지고 원본 문자 순서에서 이웃하지 않은
// 두 이웃 스팬을 품은 줄에 표시를 한다
function LineCrossesGutter(const Line: TPdfStructuredTextLine;
MinGap: Double): Boolean;
var
S: Integer;
Prev, Cur: TPdfStructuredTextSpan;
begin
Result := False;
for S := 1 to High(Line.Spans) do
begin
Prev := Line.Spans[S - 1];
Cur := Line.Spans[S];
if (Prev.SourceStartIndex < 0) or (Cur.SourceStartIndex < 0) then
Continue; // 대체 텍스트 블록
if (Cur.Bounds.Left - Prev.Bounds.Right > MinGap) and
(Cur.SourceStartIndex <>
Prev.SourceStartIndex + Prev.SourceCharacterCount) then
Exit(True);
end;
end;
function ExtractWithFallback(Pdf: TPdf): TPdfStructuredTextPage;
var
Options: TPdfStructuredTextOptions;
B, L, Lines, Crossing: Integer;
begin
Options := TPdfStructuredTextOptions.Default; // roPhysicalLayout
Result := Pdf.GetStructuredText(Options);
Lines := 0;
Crossing := 0;
for B := 0 to High(Result.Blocks) do
for L := 0 to High(Result.Blocks[B].Lines) do
begin
Inc(Lines);
if LineCrossesGutter(Result.Blocks[B].Lines[L], 18) then
Inc(Crossing);
end;
// 간격을 건너는 줄이 4분의 1이면 양식 행이 아니라 단이다
if (Lines > 0) and (Crossing * 4 >= Lines) then
begin
Options.ReadingOrder := roContentOrder;
Result := Pdf.GetStructuredText(Options);
end;
end;
18포인트는 4분의 1인치로 본문 텍스트의 워드 스페이스보다 넉넉히 넓고 대부분의 여백보다 좁습니다. 넷 중 하나 임계값 덕에 라벨-금액 행 몇 개의 송장은 물리 레이아웃에 머물고 거의 모든 줄이 건너는 진짜 2단 본문은 갈아탑니다. 생산 도구가 페이지를 두 단에 걸쳐 행별로 썼다면 원본 인덱스가 연속적이고 검사는 발동하지 않으며 어느 순서도 단을 갈라 주지 않습니다. 그런 페이지는 readable-content API의 단 모드가 필요하고, 가로지르는 제목과 함께 두 단 읽기에서 설명합니다
IncludeSemantics는 무엇을 바꾸고 무엇을 그대로 두는가
IncludeSemantics는 블록에 라벨을 붙입니다. 순서는 바꾸지 않습니다. 옵션을 켜면 GetStructuredText가 페이지의 readable content를 읽고 각 블록에 가장 큰 면적으로 겹치는 조각의 종류를 부여합니다. 쓸 수 있는 종류는 cfParagraph, HeadingLevel을 동반하는 cfHeading, cfListItem, cfTableCell, cfCaption, cfFigure, cfLink, 나머지 태그용 cfOther, 아무것도 안 맞았을 때 cfPlain입니다. 각 블록은 구조 트리의 원소와 자기를 이어 주는 Language와 StructElementIndex도 얻습니다
Source 필드는 라벨의 출처를 말합니다. ISO 32000-1 §14.7의 의미로 쓸 만한 구조 트리가 페이지에 있으면 rosStructure, 종류들이 추론됐으면 rosHeuristic입니다. Page.Source는 페이지 전체에 대해 같은 답을 줍니다. rosStructure로 보고된 제목은 저자가 태그했기 때문에 제목이고, rosHeuristic로 보고된 것은 교육된 추측이므로 제목에 가중치를 두는 인덱싱 파이프라인은 둘을 다르게 취급해야 합니다. 블록 순서는 어느 쪽이든 여전히 ReadingOrder에서 나옵니다. 의미 패스는 readable-content 기본값을 쓰므로 ReadableContentOptions로 건 단 설정은 GetStructuredText에 닿지 않습니다
그림에는 한 규칙이 더 붙습니다. 태그 페이지에서 텍스트 블록과 매칭되지 않은 Figure 원소나 대체 텍스트는 자기 블록으로 덧붙어 대체 설명을 텍스트로 갖습니다. 그런 블록은 줄 하나, 스팬 하나이며 SourceStartIndex가 -1인데, 페이지의 어떤 글리프도 이것을 만들지 않았기 때문입니다. 스팬을 문자로 역매핑하는 코드는 그 값을 건너뛰어야 하고 위의 여백 검사가 그 값을 검사하는 이유입니다. 구조 트리 검사 자체는 PDF/UA 구조 트리 검증에서 다룹니다
스팬, bounds, 문자로 돌아가는 길
각 TPdfStructuredTextSpan은 텍스트, bounds, FontName, FontSize, FontWeight, Angle에 더해 SourceStartIndex와 SourceCharacterCount를 실어 다닙니다. IncludeFontInfo가 켜져 있으면 네 스타일 값 중 하나라도 바뀌는 곳마다 스팬이 끊기므로, 한가운데 볼드 단어 셋을 지닌 문장은 스팬 셋으로 도착하고 강조는 폰트 이름으로 추측하는 대신 FontWeight에서 재건할 수 있습니다. IncludeFontInfo가 꺼져 있으면 스타일 필드는 비어 있고 스팬은 원본 순서가 끊기는 곳에서만 끊깁니다
각도는 스탬프 있는 페이지에서 중요합니다. 비스듬한 DRAFT 워터마크는 본문 텍스트와 같은 좌표 공간에 살고 물리 레이아웃에서는 세로로 교차하는 본문 줄 위에 글자들이 떨어질 수 있습니다. 0이 아닌 Angle을 가진 스팬은 인덱싱용 텍스트를 합치기 전에 버리기 쉽습니다
두 원본 필드가 검색 히트를 그릴 수 있는 것으로 바꿉니다. 페이지의 문자 순서에 대한 인덱스이므로 블록에서 찾은 구문은 문자 상자로 시각적 텍스트 줄 선택하기의 방식을 써 하이라이트용 문자 상자들로 곧장 변환됩니다. 페이지의 reflow 형태나 HTML 형태가 목표라면 같은 블록이 reflow 모델과 그 HTML export의 먹이가 됩니다
문자 예산과 두 개의 품질 카운터
MaxCharacters는 허용량보다 많은 문자를 지닌 페이지를 아예 거부합니다. GetStructuredText는 작업 배열을 하나도 할당하기 전에 개수를 검사하고, 초과 페이지는 Structured text character budget exceeded 메시지의 EPdfError를 일으키며 부분 페이지는 결코 돌려주지 않습니다. 값은 양수여야 합니다. 메서드가 읽는 페이지별 문자 스냅샷에는 자체 기본 상한, 1,000,000자와 100,000 텍스트 객체가 있고 초과 시 Text snapshot budget exceeded로 보고되므로 MaxCharacters를 백만 넘게 잡는다고 더 큰 페이지가 통과되지는 않습니다
UnmappedCharacterCount는 PDFium이 유니코드 값을 전혀 만들지 못한 문자를 셉니다. 그 문자들은 모든 Text 필드에서 U+FFFD로 나타납니다. 흔한 원인은 커스텀 인코딩에 /ToUnicode CMap이 없는 서브셋 폰트, 곧 ISO 32000-1 §9.10.2가 기술하는 사례로 텍스트는 올바르게 렌더링되지만 신뢰성 있게 추출되지는 못합니다. 카운터는 빠진 매핑만 잽니다. /ToUnicode 항목이 엉터리 코드 포인트를 가리키는 글리프는 mapped로 치므로 그럴듯해 보이는 쓰레기 페이지가 0을 보고할 수도 있습니다
GeometryFailureCount는 쓸 만한 상자가 없는 문자를 세되 줄바꿈은 제외합니다. 콘텐츠 순서에서 그런 문자들은 이웃을 따라갈 뿐입니다. 물리 레이아웃에서는 정렬할 위치가 없어 위치 잡힌 모든 문자 뒤에 놓이고 페이지 마지막 줄에 붙어 끝납니다. 기하 카운터가 0이 아니고 마지막 줄에 이상한 조각이 얹힌 페이지는 바로 그것을 보여 주는 중입니다
// LogRejected와 LogQuality는 자체 로깅 루틴이다
function ExtractForIndex(Pdf: TPdf; PageNumber: Integer;
out Page: TPdfStructuredTextPage): Boolean;
var
Options: TPdfStructuredTextOptions;
begin
Result := False;
Pdf.PageNumber := PageNumber;
Options := TPdfStructuredTextOptions.Default;
Options.MaxCharacters := 200000; // 이 파이프라인의 유입 한도
try
Page := Pdf.GetStructuredText(Options);
except
on E: EPdfError do
begin
LogRejected(PageNumber, E.Message); // 문자 또는 스냅샷 예산
Exit;
end;
end;
if Page.UnmappedCharacterCount * 20 > Page.CharacterCount then
LogQuality(PageNumber, Format('%d of %d characters have no Unicode value',
[Page.UnmappedCharacterCount, Page.CharacterCount]));
if (Options.ReadingOrder = roPhysicalLayout) and
(Page.GeometryFailureCount > 0) then
LogQuality(PageNumber, Format('%d characters without a box; check the last line',
[Page.GeometryFailureCount]));
Result := True;
end;
문자열로만 필요한 페이지라면 PDF 문서에서 텍스트 추출하기가 더 단순한 호출들을 다루고, BDC와 MCID 마킹 콘텐츠 읽고 쓰기는 구조 트리보다 한 계층 아래로 내려갑니다. 구조화 페이지 모델, readable-content 리더, reflow export는 모두 PDFium Component 제품 페이지에 설명된 Delphi·Lazarus 컴포넌트에 실려 나갑니다