Dikey konuma göre sıralanmış iki sütunlu bir konferans bildirisi, Abstract We measure the 2 Related work Earlier studies gibi bir ilk satırla döner: sol sütunun açılış kelimeleriyle sağ sütunun açılış kelimeleri, ikisi de aynı baseline üzerinde oturduğu için birbirine yapışmıştır. Ayrıştırıcıda yanlış giden hiçbir şey yoktur. Bir PDF sayfası metni için savunulabilir iki sıra sunar: içerik akışının onu çizdiği dizi ve her glyphin sayfadaki konumu; pek çok düzende bu iki sıra çelişir. Tek bir dize yerine konumlanmış bloklar döndüren bir çıkarıcı, hangi sırayı aldığınızı görmenizi ve elinizdeki sayfa için yanlış olan olduğunda değiştirmenizi sağlar
GetStructuredText ne döndürür
PDFium Component'teki TPdf.GetStructuredText, güncel sayfa için bir TPdfStructuredTextPage döndürür: bloklardan kurulu bir dizi, her blok satırlardan kurulu bir dizi, her satır stillendirilmiş yayılmalardan kurulu bir dizi. Her düzey kendi Textini ve PDF punto cinsinden sayfa-uzayı bir Bounds dikdörtgenini taşır; böylece bir başlık, tek bir satır ya da koyu bir ifade ikinci bir aramaya gerek kalmadan sayfada konumlanabilir. Sayfa kaydı Width, Height, CharacterCount ve aşağıda tarif edilen iki kalite sayacı ekler
Düzleştirilmiş Page.Text, ham karakter akışından değil bloklardan kurulur. Bir bloğun içindeki satırlar tek bir CRLF ile birleştirilir ve bloklar boş bir satırla ayrılır; yani Page.Textin düz metin dökümü, çıkarıcının blok sınırlarını nereye çizdiğini hâlihazırda gösterir. Bu, bir sayfa tuhaf okunduğunda basılacak en çabuk şey yapar
Bütün bunlar küçük bir seçenek kaydıyla yürütülür. TPdfStructuredTextOptions.Default, ReadingOrderu roPhysicalLayouta kurar, IncludeFontInfo ile IncludeSemanticsi açar ve MaxCharactersı 1.000.000a çeker. Çıkışın biçimini en çok değiştiren alan, okuma sırası alanıdır
İki okuma sırası satırları ve blokları nasıl kurar
roContentOrder üreticinin çizim dizisini korur; roPhysicalLayout ise sırayı glyph konumlarından yeniden kurar ve fark, önce satırların nasıl kurulduğunda ortaya çıkar. İçerik sırasında karakterler, sayfanın çizdiği sırada alınır. Yeni bir satır, açık bir satır sonunda ya da sonraki karakter artık güncel satırla düşeyde örtüşmediğinde başlar. Bir satır, hemen önündeki bloğa ancak ikisi dar olanın genişliğinin en az beşte biri kadar yatayda örtüşüyorsa ve düşey boşluk kabaca 2.25 satır yüksekliğini aşmıyorsa katılır; aksi hâlde yeni bir blok açar. Bloklar çizim sırasında kalır
Fiziksel düzen çizim dizisini çöpe atar. Bilinen bir kutusu olan her karakter, o kutunun düşey merkezine göre — sayfanın tepesi önce — sonra sol kenarına göre sıralanır. Düşey kapsamları yeterince örtüşen karakterler bir satırı paylaşır ve o test yalnızca yüksekliğe bakar. Yatay uzaklığın ortada hiçbir payı yoktur. Her satır sonra, aynı örtüşme-ve-boşluk kuralıyla, sayfanın herhangi bir yerindeki mevcut bloklardan hangisi en iyi oturuyorsa ona katılır ve biten bloklar üst kenarlarına göre sıralanır; yarı punto içindeki eşitlikleri sol kenar kırar
Açılış örneği o ikinci kuraldan çıkar. Bir bildirinin iki sütunu aynı baseline ızgarasını paylaşırken sol sütunun ilk satırı ile sağ sütunun ilk satırı düşeyde örtüşür; fiziksel düzen onları tek satıra koyar. Ortadaki boşluk font boyutunun dörttebirinden geniştir; çıkarıcı bir space ekler ve yoluna devam eder. Gövdenin her satırı aynısını yapar, birleşen satırlar birbirleriyle yatayda örtüşür ve iki sütunlu gövdenin tamamı, ortadaki boşluğu dümdüz aşarak okunan tek bir geniş bloğa dönüşür
İçerik sırası, üretici birinci sütunu ikinciden önce yazdığı sürece o sayfayı iyi halleder; kelime işlemcileri ve dizgi sistemlerinin normalde yaptığı da budur. Sol sütunun satırları bloklara yığılır, sağ sütunun ilk satırı onlarla yatayda örtüşmez ve taze bir blok açar, bloklar da yazarın yazdığı sırada çıkar. Fiziksel düzen ise başka tür bir sayfada yerini hak eder: faturalar, ekstreler, formlar ve slaytlar — etiketle değeri aynı baseline üzerinde oturur ve satırı soldan sağa okumak tam olarak istediğiniz şeydir. Çizim dizisinin anlamsız olduğu durumda da kullanılacak mod odur; örneğin font font çizilmiş metin ya da pek çok küçük katmandan derlenmiş bir sayfa gibi
Karışık bir koleksiyon için seçimi belge türüne göre bölün. Bilinen bir yazım aracından gelen makale, rapor ve kılavuzlar roContentOrderdan geçer; formlar ve işlem belgeleri roPhysicalLayout öntanımlısında kalır. Aşağıdaki rutin bir sayfanın bloklarını içerik sırasıyla basar; dosya etiketliyken başlıkları işaretler
uses
SysUtils, PDFium;
procedure DumpBlocks(Pdf: TPdf; PageNumber: Integer);
var
Options: TPdfStructuredTextOptions;
Page: TPdfStructuredTextPage;
B, L: Integer;
begin
Pdf.PageNumber := PageNumber; // 1 tabanlı
Options := TPdfStructuredTextOptions.Default;
Options.ReadingOrder := roContentOrder; // sütun sütun yazan üreticiler
Page := Pdf.GetStructuredText(Options);
if Page.Source = rosStructure then
Writeln('block kinds come from the structure tree')
else
Writeln('block kinds are inferred from layout');
for B := 0 to High(Page.Blocks) do
begin
if Page.Blocks[B].Kind = cfHeading then
Writeln(Format('[%d] H%d %s',
[B, Page.Blocks[B].HeadingLevel, Page.Blocks[B].Text]))
else
begin
Writeln(Format('[%d] x=%.0f..%.0f, %d line(s)',
[B, Page.Blocks[B].Bounds.Left, Page.Blocks[B].Bounds.Right,
Length(Page.Blocks[B].Lines)]));
for L := 0 to High(Page.Blocks[B].Lines) do
Writeln(' ', Page.Blocks[B].Lines[L].Text);
end;
end;
end;
Ortadaki boşluğu aşan bir satır nasıl saptanır?
Birleşmiş bir satır kendini yayılmalarıyla ele verir. GetStructuredText, sonraki karakter sayfanın özgün karakter dizisinde öncekinin doğrudan ardılı değilken yeni bir yayılma başlatır; aşağıda kapsanan biçim değişimlerine ek olarak. Tek bir sütunun içinde ardışık kelimeler kaynakta genellikle ardışıktır. Birleşmiş bir satırın ortasındaki boşlukta kaynak indeksi yüzlerce karakter atlar ve iki yayılma arasındaki yatay boşluk herhangi bir kelime boşluğundan çok daha geniştir
Bu iki sinyal birlikte güvenilir bir test kurar ve bir sayfanın içerik sırasına geçip geçmeyeceğine karar vermeden önce onu öntanımlı çıktı üzerinde koşturabilirsiniz. GetStructuredTextin okuduğu karakter verisi anlık görüntüsü sayfa başına önbelleklenir, öntanımlı olarak sekiz sayfa; aynı sayfayı farklı bir ReadingOrderla ikinci kez istemek, sayfayı yeniden çıkarmak yerine bellekteki veriyi yeniden gruplar
// LineCrossesGutter sizin ekleyeceğiniz bir yardımcı: sayfada birbirinden
// uzak duran ve kaynak karakter dizisinde komşu olmayan iki yanyana
// yayılmayı taşıyan bir satırı işaretler
function LineCrossesGutter(const Line: TPdfStructuredTextLine;
MinGap: Double): Boolean;
var
S: Integer;
Prev, Cur: TPdfStructuredTextSpan;
begin
Result := False;
for S := 1 to High(Line.Spans) do
begin
Prev := Line.Spans[S - 1];
Cur := Line.Spans[S];
if (Prev.SourceStartIndex < 0) or (Cur.SourceStartIndex < 0) then
Continue; // alternatif-metin blokları
if (Cur.Bounds.Left - Prev.Bounds.Right > MinGap) and
(Cur.SourceStartIndex <>
Prev.SourceStartIndex + Prev.SourceCharacterCount) then
Exit(True);
end;
end;
function ExtractWithFallback(Pdf: TPdf): TPdfStructuredTextPage;
var
Options: TPdfStructuredTextOptions;
B, L, Lines, Crossing: Integer;
begin
Options := TPdfStructuredTextOptions.Default; // roPhysicalLayout
Result := Pdf.GetStructuredText(Options);
Lines := 0;
Crossing := 0;
for B := 0 to High(Result.Blocks) do
for L := 0 to High(Result.Blocks[B].Lines) do
begin
Inc(Lines);
if LineCrossesGutter(Result.Blocks[B].Lines[L], 18) then
Inc(Crossing);
end;
// satırların dörttebirinin boşluk aşması sütunlara benzer, form satırına değil
if (Lines > 0) and (Crossing * 4 >= Lines) then
begin
Options.ReadingOrder := roContentOrder;
Result := Pdf.GetStructuredText(Options);
end;
end;
On sekiz punto, bir inçin dörttebiridir; gövde metnindeki bir kelime boşluğundan rahatça geniş, çoğu ortadaki boşluktan dardır. Dörttebir eşiği, birkaç etiket-değer satırı taşıyan bir faturayı fiziksel düzende tutarken neredeyse her satırın aşmış olduğu gerçek bir iki sütunlu gövdeyi diğer tarafa geçirir. Üretici sayfayı iki sütunu da katederek satır satır yazmışsa kaynak indeksleri bitişik kalır, test hiç tetiklenmez ve iki sıradan hiçbiri sütunları sizin için ayırmaz; o sayfa, kapsayan başlıkla iki sütunu okuma yazısında tarif edilen readable-content API'sinin sütun moduna muhtaçtır
IncludeSemantics neyi değiştirir, neye dokunmaz?
IncludeSemantics blokları etiketler; onları yeniden sıralamaz. Seçenek açıkken GetStructuredText, sayfanın okunabilir içeriğini okur ve her bloğa, en büyük alanla örtüştüğü parçanın türünü verir. Kullanılabilir türler cfParagraph, bir HeadingLevelle gelen cfHeading, cfListItem, cfTableCell, cfCaption, cfFigure, cfLink, başka herhangi bir etiket için cfOther ve hiçbir şey eşleşmediğinde cfPlaindir. Her blok ayrıca onu yapı ağacının bir ögesine bağlayan bir Language ve bir StructElementIndex alır
Source alanı etiketin nereden geldiğini söyler: sayfa, ISO 32000-1 §14.7 anlamında kullanılabilir bir yapı ağacı taşıdığında rosStructure; türler çıkarıldığında rosHeuristic. Page.Source sayfanın bütününe aynı cevabı verir. rosStructurela raporlanan bir başlık, yazar onu etiketlediği için başlıktır; rosHeuristicle raporlanan ise eğitilmiş bir tahmindir ve başlıklara ağırlık veren bir indeksleme hattı ikisine farklı davranmalıdır. Blok sırası, her iki durumda da yine ReadingOrderdan gelir. Anlamsal geçiş, readable-content öntanımlılarını kullanır; dolayısıyla ReadableContentOptions üzerinden uygulanan bir sütun ayarı GetStructuredTexte ulaşmaz
Figürler ek bir kural alır. Etiketli bir sayfada hiçbir metin bloğuyla eşleşmemiş bir Figure ögesi ya da alternatif metin, kendi bloğu olarak eklenir; alternatif tanımı metni olarak taşır. Böyle bir bloğun tek satırı ve tek yayılması vardır ve SourceStartIndex -1 kuruludur; onu sayfadaki hiçbir glyph üretmemiştir. Yayılmaları karakterlere geri eşleyen kod o değeri atlamak zorundadır; yukarıdaki gutter testi bu yüzden onu denetler. Yapı ağacı denetimlerinin kendisi PDF/UA yapı ağacı doğrulaması yazısında ele alınır
Yayılmalar, sınırlar ve karakterlere dönüş yolu
Her TPdfStructuredTextSpan metnini, sınırlarını, FontName, FontSize, FontWeight ve Angle değerlerini, artı SourceStartIndex ile SourceCharacterCountu taşır. IncludeFontInfo açıkken yayılma, dört biçim değerinden herhangi biri değiştiği her yerde biter; ortasında üç koyu kelime taşıyan bir cümle üç yayılma olarak gelir ve vurgu, font adlarından tahmin etmek yerine FontWeightten yeniden kurulabilir. IncludeFontInfo kapalıyken biçim alanları boş kalır ve yayılmalar yalnızca kaynak dizinin kesildiği yerde bölünür
Açı, damga taşıyan sayfalarda önemlidir. Çapraz bir DRAFT filigranı gövde metniyle aynı koordinat uzayında yaşar ve fiziksel düzende harfleri, düşeyde kestikleri gövde satırlarının üzerine düşebilir. İndeksleme için metni birleştirmeden önce sıfırdan farklı bir Anglelı yayılmaları atmak kolaydır
İki kaynak alan, bir arama isabetini çizebileceğiniz bir şeye çeviren şeydir. Sayfanın karakter dizisini indekslerler; böylece bir blokta bulunan bir ifade, karakter kutularıyla görsel metin satırı seçimi yaklaşımıyla doğrudan bir vurgulama için karakter kutularına dönüşür. Sayfanın yeniden akıtılmış ya da HTML biçimi hedefken aynı bloklar reflow modelini ve HTML çıktısını besler
Karakter bütçesi ve iki kalite sayacı
MaxCharacters, izin verilenden daha çok karakter taşıyan bir sayfayı tümüyle reddeder. GetStructuredText herhangi bir çalışma dizisi ayırmadan önce sayımı denetler ve aşırı büyük bir sayfa, mesajı Structured text character budget exceeded olan bir EPdfError fırlatır; kısmi bir sayfa asla döndürülmez. Değer pozitif olmak zorundadır. Metodun okuduğu sayfa başına karakter anlık görüntüsünün kendi öntanımlı üst sınırı vardır: 1.000.000 karakter ve 100.000 metin nesnesi; Text snapshot budget exceeded olarak raporlanır, yani MaxCharactersı bir milyonun üstüne çekmek daha büyük bir sayfayı içeri almaz
UnmappedCharacterCount, PDFium'un hiçbir Unicode değeri üretemediği karakterleri sayar. O karakterler her Text alanında U+FFFD olarak görünür. Sık karşılaşılan neden, özel bir kodlama kullanan ve /ToUnicode CMapi olmayan bir subset fonttur; ISO 32000-1 §9.10.2nin tarif ettiği vaka budur: metin doğru render edilir ama güvenilir biçimde çıkarılamaz. Sayaç yalnızca eksik eşlemeleri ölçer; /ToUnicode girdisi yanlış kod noktasını adlandıran bir glyph eşlenmiş sayılır, dolayısıyla inandırıcı görünen çöpten kurulu bir sayfa hâlâ sıfır raporlayabilir
GeometryFailureCount, kullanılabilir bir kutusu olmayan karakterleri sayar; satır sonları hariç. İçerik sırasında o karakterler basitçe komşularını izler. Fiziksel düzende sıralanacak bir konumları yoktur; her konumlanmış karakterden sonra yerleştirilirler ve sayfanın en alt satırına yapışmış olarak biterler. Sıfırdan farklı bir geometri sayısıyla son satırında tuhaf parçalar taşıyan bir sayfa tam olarak bunu gösterir
// LogRejected ile LogQuality sizin kendi günlük rutinleriniz
function ExtractForIndex(Pdf: TPdf; PageNumber: Integer;
out Page: TPdfStructuredTextPage): Boolean;
var
Options: TPdfStructuredTextOptions;
begin
Result := False;
Pdf.PageNumber := PageNumber;
Options := TPdfStructuredTextOptions.Default;
Options.MaxCharacters := 200000; // bu hattın giriş sınırı
try
Page := Pdf.GetStructuredText(Options);
except
on E: EPdfError do
begin
LogRejected(PageNumber, E.Message); // karakter ya da anlık görüntü bütçesi
Exit;
end;
end;
if Page.UnmappedCharacterCount * 20 > Page.CharacterCount then
LogQuality(PageNumber, Format('%d of %d characters have no Unicode value',
[Page.UnmappedCharacterCount, Page.CharacterCount]));
if (Options.ReadingOrder = roPhysicalLayout) and
(Page.GeometryFailureCount > 0) then
LogQuality(PageNumber, Format('%d characters without a box; check the last line',
[Page.GeometryFailureCount]));
Result := True;
end;
Bir sayfaya yalnızca dize olarak gereksinim duyuyorsanız PDF belgelerinden metin çıkarma daha basit çağrıları kapsar ve BDC ile MCID işaretli içeriği okuma yazma yapı ağacının bir katman altına iner. Yapılandırılmış sayfa modeli, readable-content okuyucusu ve reflow çıktısı, PDFium Component ürün sayfasında tanıtılan Delphi ve Lazarus componentiyle gelir