Teknik Makale

Delphide PDF metni çıkarma: boşluklar ve satır sonları

İçerik akışı parçası [(Reference)-333(Manual)] TJ, aralarında net bir boşlukla iki kelime çizer ama içinde hiç bir space karakteri yoktur. Boşluk, kalemin hareketidir: ISO 32000-1 §9.4.3, okuyucuya Manuali çizmeden önce sonraki glyphi font boyutunun binde 333 kadar sağa kaydırmayı söyler. Karakterleri kopyalayıp geometriyi yok sayan bir çıkarıcı ReferenceManual döndürür ve onunla beslenen bir arama dizini “Reference Manual” ifadesini asla eşlemez. TeX çıktısı, pek çok Distiller dosyası ve iki yana yaslanmış düzenlerin çoğu kelimeleri bu şekilde ayırır

Satır sonları öteki taraftan yanlış gider. Yükseltilmiş bir üst simge satırını ikiye böler, çapraz bir DRAFT filigranı satır başına bir karakter olarak gelir ve kırpılmış bir prova, hiçbir görüntüleyicinin göstermediği printer’ın slug satırıyla açılır. Bu dosyalardan hiçbiri bozuk değildir. Her biri, karakter kopyalayan bir çıkarıcının yanlış okuduğu yasal bir metin yerleştirme yöntemi kullanır

Glyph geometrisinden yeniden kurulan kelime boşlukları

HotPDF Delphi Component'teki THotPDF.ExtractLoadedPageText, kelime sonlarına glyph konumlarından karar verir; akıştaki bir space karakteri okuduğu sinyallerden yalnızca biridir. Önceki glyph’in yazma yönü boyunca, o glyph’in kendi genişliğinin sonundan güncel glyphin başlangıcına kadar olan mesafeyi ölçer ve mesafe, user space'te ascentten descente ölçülen güncel glyph’in kutu yüksekliğinin 0.15ını aşınca bir space ekler. Yukarıdaki TJ parçası için bir emin üçte biri, sıradan her metin yüzü için o çizginin rahatça ötesindedir; sayfa metni Reference Manual okur

İki koşul spacei geri tutar. Şu ana kadarki metin zaten bir boşlukla bitiyorsa ya da sonraki glyph boşluksa (space, tab, kırılmaz boşluk, ideografik boşluk) hiçbir şey eklenmez; böylece space gösteren üreticiler asla çift boşluk almaz. İki CJK karakteri arasına da hiçbir şey eklenmez. İdeograflar, kana, hangul ve tam genişlikli biçimlerin tamamı sayılır; çünkü iki yana yaslama bir Çince ya da Japonca satırı, o gerilme kelime sınırı anlamına gelmeden açar. İkisinden ayrı olarak sıfır yükseklikli bir glyph kutusu, yüksekliği olarak Tf boyutuna döner. Kuralın kullandığı her sayı glyph kayıtlarında saklanır; aralığı yanlış görünen bir dosya glyph glyph yeniden oynatılabilir

uses
  SysUtils, HPDFDoc, HPDFContentStream;

// ExtractLoadedPageTextin spacee çevireceği boşlukları yazar.
// Yalnızca yatay metin; ExtractLoadedPageGlyphs, sayfa içerik
// akışını Form XObject metni olmadan ve crop filtresi olmadan döndürür
procedure DumpWordGaps(Pdf: THotPDF; PageIndex: Integer);
var
  Glyphs: THPDFGlyphArray;
  I: Integer;
  Height, Gap: Double;
begin
  if not Pdf.ExtractLoadedPageGlyphs(PageIndex, Glyphs) then
    Exit;
  for I := 1 to High(Glyphs) do
  begin
    if Glyphs[I].Vertical or Glyphs[I - 1].Vertical then
      Continue;
    // glyph kutusunun ascent-descent yüksekliği, user space'te
    Height := Sqrt(Sqr(Glyphs[I].QuadX[3] - Glyphs[I].QuadX[0]) +
      Sqr(Glyphs[I].QuadY[3] - Glyphs[I].QuadY[0]));
    if Height <= 0 then
      Height := Abs(Glyphs[I].FontSize);
    // önceki glyphin kendi genişliğinin sonundan boşluk
    Gap := Glyphs[I].BaselineStartX - Glyphs[I - 1].GlyphEndX;
    if (Height > 0) and (Gap > 0.15 * Height) then
      Writeln(Format('U+%.4x gap %.2f height %.2f: space',
        [Glyphs[I].Unicode, Gap, Height]));
  end;
end;

Neden kalem konumundan değil glyph’in kendi genişliğinden ölçülür?

Çünkü glyphten sonraki kalem konumu, kelime sonlarıyla hiçbir ilgisi olmayan aralığı çoktan taşır. ISO 32000-1 §9.4.4, yatay yer değiştirmeyi glyph genişliği çarpı font boyutu artı karakter aralığı Tc artı kelime aralığı Tw olarak tanımlar, tamamı yatay ölçekleme Tzyle ölçeklenir. Her glyph kaydı iki ucu da taşır: BaselineEndX / BaselineEndY o tam yer değiştirmeyi tutarken GlyphEndX / GlyphEndY yalnızca font’un güncel boyuttaki advance değerini ve Tzyi tutar. İkisi, trackingi negatif bir Tcyle daraltıp her glyphten sonra boşluğu bir TJ ayarlamasıyla geri veren dosyalarda ayrışır. Kalemkten ölçüldüğünde her geri verme bir boşluk gibi görünür ve “95后” gibi bir Çince terim “9 5 后” olarak çıkar. Glyph’in kendi genişliğinden ölçüldüğünde ayarlama yalnızca Tcnin aldığını geri verir ve terim bütün kalır

Eşik, ilgili bir nedenle Tf boyutu yerine glyph kutu yüksekliğine bağlanır. Word çıktıları sık sık 1 Tf yazar ve gerçek boyutu ölçeklenmiş bir Tm ile taşır; font boyutu operandı 1 okurken metin 10 punto yükseklindedir. O operande bağlı bir kural böyle bir sayfada eşiği 0.15 puana koyar ve sıradan kerning çiftleri kelime sonları olarak okunmaya başlar. Kutu yüksekliği, her matris uygulandıktan sonra ölçülür; ölçeklenmiş matrisli 1 Tf ile düz bir 10 Tf aynı metni üretir

Delphide ExtractLoadedPageText için HotPDF kelime boşluğu kuralı: space yalnızca önceki glyphin GlyphEndXinden sonraki glyphin BaselineStartXine olan mesafe ascent-descent kutu yüksekliğinin 0.15ini aştığında girer, çünkü BaselineEndXdeki kalem konumu Tc, Tw ile Tzyi çoktan taşır ve iki yana yaslanmış tracking geri vermelerini 9 5 后 gibi sahte boşluklara çevirir
Kelimelerin nerede bittiğine space karakterleri değil geometri karar verir — glyph kayıtları aynı ölçümleri açığa verir, yani şaşırtıcı herhangi bir dosya için kararı yeniden oynatabilirsiniz

İki uç vaka doğrudan geometriden gelir. Harf aralığı çok gevşek kurulu bir başlık — Tcnin tek başına harfler arasında metin yüksekliğinin 0.15ından fazlasını açtığı durum — S P A C E D olarak çıkar. Sayfanın görüneni budur ve hangi geniş boşlukların tracking, hangilerinin kelime olduğunu tahmin eden bir sezgisel yöntem eklemektense onu döndürmeyi tercih ederiz; o tür bir tahmin, sıkı yaslanmış sütunlarda gerçek kelime sonlarını yutmaya başlar ve arama için daha kötü bir hatadır. Tek bir baseline üzerinde sıra dışı çizilen parçalar negatif bir boşluk üretir ve spacesiz birleşir. Gövde metninde o vaka nadirdir

Çıkarılan metinde yeni bir satır ne zaman başlar?

ExtractLoadedPageText, önceki glyph’in başlangıcından güncel sinkine olan hareketin, önceki yazma yönünün normaline izdüşümü, iki glyphin daha büyük kutu yüksekliğinin yarısını aştığında yeni bir satır başlatır. Baseline boyunca hareket, kalem ne kadar atlıyorsa atlasın, asla satır sonuna sayılmaz

Ham Y hareketini Tf boyutunun yarısıyla karşılaştıran bir kural iki yönde de yanılır. 1 Tf ve ölçeklenmiş bir Tm ile eşik yarım birime küçülür; text rise 0.4 ile yükseltilmiş bir üst simge satırı böler. Bazı düzen motorlarının koşular arasında bıraktığı küçük baseline titremesi de böler. Aynı kural X tamamen yok sayar. Döndürülmüş bir Tm altındaki metin — o çapraz filigran gibi — her glyphle sayfada aşağı adımlar ve satır başına bir karakter olarak çıkar; izdüşüm ise 45 derecelik bir koşuyu tam olarak bir yatay gibi işler

İki yükseklikten büyüğünü almak, boyutlar tek satırda karıştığında önem taşır. 36 puntoluk bir vitrin kelimesinin ardından birkaç punto aşağıda gelen 8 puntoluk bir altyazı, büyük glyph’in yüksekliğinin yarısına göre yargılanır; çift böylece birlikte kalır. Yalnızca küçük glyphe göre yargılansa altyazı kendi satırına düşerdi. Text rise, glyph başlangıcının parçasıdır; superscript’in yükseltilmiş baselineı bu yüzden aynı yarı yüksekliğe göre ölçülür

HotPDFin ExtractLoadedPageTexti Delphide satır sonlarına nasıl karar verir: glyph başlangıçları arasındaki hareket yazma yönünün normaline izdüşürülüp daha büyük kutu yüksekliğinin yarısıyla karşılaştırılır; böylece 1 Tf fontu altında küçük bir text rise ile yükseltilmiş üst simge ile döndürülmüş bir Tm altında sayfada aşağı adımlayan metin artık satır başına bir glyphe bölünmez
İzdüşüm döndürülmüş koşuları yataylar gibi davranıştırır ve iki kutu yüksekliğinden büyüğünü almak, büyük örnek kelimeyle küçük altyazısını aynı satırda tutar

Yazma modu 1 (§9.7.4.3) içindeki dikey metin ayrı bir yol izler. O glyphler başlangıç Xlerine göre, sütun toleransı olarak font boyutunun yarısı alınarak, sütunlara gruplanır; sonra sağdan sola ve yukarıdan aşağıya okunur, her sütun değişiminde bir satır sonu ile. Dikey bir Japonca gövdeyi yatay bir koşan başlıkla karıştıran bir sayfa da iki yön arasındaki her geçişte bir satır sonu alır

Hangi glyphler sayfa metnine girer

ExtractLoadedPageText, bir görüntüleyicinin gösterdiği metni döndürür. Yalnızca kutu merkezi GetLoadedPageVisibleBoxin — MediaBoxa kırpılmış CropBox (§14.11.2) — içine düşen glyphleri tutar; slug satırları ile kırpım alanının dışına text olarak konmuş öteki printer’ın işaretleri düşer. ExtractLoadedPageGlyphs, gerektiren işler için sayfa içerik akışının her glyphini, slug satırı dahil, döndürmeyi sürdürür. Filtre, glyph başına tek nokta üzerinde geometrik bir testtir. Bir kırpma yoluyla gizlenmiş, beyaz çizilmiş ya da bir görselle örtülmüş metin yine çıkar; gerçek görünürlüğe karar vermek sayfayı render etmek anlamına gelirdi

uses
  SysUtils, HPDFDoc, HPDFContentStream;

var
  Pdf: THotPDF;
  Raw, Merged: THPDFGlyphArray;
  PageText: UnicodeString;
  L, B, R, T: Single;
begin
  Pdf := THotPDF.Create(nil);
  try
    Pdf.LoadFromFile('trimmed-proof.pdf');
    if Pdf.GetLoadedPageVisibleBox(0, L, B, R, T) then
      Writeln(Format('Visible box: %.1f %.1f %.1f %.1f', [L, B, R, T]));
    // sayfa içerik akışının her glyphi, slug satırı dahil
    if Pdf.ExtractLoadedPageGlyphs(0, Raw) then
      Writeln(Length(Raw), ' glyphs in the page content stream');
    // sayfa akışı artı Form XObject metni, çizim sırasında, kırpımdan önce
    if Pdf.ExtractLoadedPageGlyphsWithForms(0, Merged) then
      Writeln(Length(Merged), ' glyphs including forms');
    // sayfanın gösterdiği: formlar eklenmiş, kırpım dışı glyphler atılmış
    if Pdf.ExtractLoadedPageText(0, PageText) then
      Writeln(PageText);
    // aynı aralık kuralları filtresiz akışa uygulanmış, diff için
    Writeln(HPDFAssemblePageText(Raw));
  finally
    Pdf.Free;
  end;
end.

Form XObjectler üzerinden çizilen metin, sayfa metninin parçasıdır. Başlıklar, damgalar ve filigranlar çoğu zaman formlarda yaşar ve yalnızca sayfa içerik akışını okuyan bir çıkarıcı onları asla görmez. HotPDF her Doyu o an geçerli CTM ile birlikte kaydeder, formu /Matrixinin o CTMyle çarpımıyla (§8.10.1) yorumlar ve form’un glyphlerini Donun konumuna ekler, iç içe formlara inerek. Kendi /Resourcesu olmayan bir form, onu çizen akışınkini ödünç alır; bu, §7.8.3 bölümünün tarif ettiği eski düzendir. Merkezi form’un /BBoxının dışına düşen glyphler dışarıda bırakılır; çünkü o kutu, form çizildiğinde onu kırpar. Kendini çizen bir form — doğrudan ya da başka bir form üzerinden — ikinci kez içine girilmez ve iç içe geçme 12 düzeyde durur

Form glyphleri TokenIndex = -1 ile ItemIndex = -1 taşır. Aynı neden ExtractLoadedPageGlyphsi sayfa akışı glyphleriyle sınırlı tutar: arama, değiştirme ve redaksiyon değişikliklerini TokenIndex üzerinden geri yazar ve o dizideki bir form glyphi onları başka bir akışın baytlarına yönlendirirdi. Glyph düzeyinde birleşik listeye gereksinim duyduğunuzda ExtractLoadedPageGlyphsWithForms onu çizim sırasıyla, visible-box filtresi koşmadan önce döndürür

Aralık kurallarından önce bir geçiş daha koşar. Üstüste basılmış logolar ve aynı metni küçük bir offsetle iki kez çizerek sahte koyulaştırma, aksi hâlde her harf ikilenmiş olarak çıkar olurdu. Bir glyph, önceki bir glyphin aynı karakterini aynı boyutta, baseline boyunca o boyutun onda biri, enine beşte biri içinde çiziyorsa yalnızca bir kopya tutulur; spaceler bu yolla asla kaldırılmaz. Metin çıkarmada sahte koyu ve ikilenmiş glyphler yazısı o vakayı ayrıntısıyla anlatır

Delphi'de PDF sayfa metnini çıkarırken HotPDF hangi glyphleri dahil eder: ExtractLoadedPageText yalnızca kutu merkezi GetLoadedPageVisibleBoxın — MediaBoxa kırpılmış CropBoxın — içine düşen glyphleri tutar, böylece printer slug satırları kaybolur; Form XObject glyphleri her Do konumuna TokenIndex -1 ile eklenir ve glyph düzeyindeki API yine de her şeyi döndürür
Visible-box testi yalnızca her glyphin merkezine bakar — beyaz metin, kırpma yolu ardındaki metin ve örtülü metin yine çıkar ve form metni sayfa metni sayılır

q ve Q arasında metin durumu

Bir Qdan sonraki metin, qda yalnızca CTM'i saklayan her çıkarıcıda yanlış çözümlenir. Metin durum parametreleri — font, boyut, Tc, Tw, Tz, TL, çizim modu ve rise — grafik durumuna aittir (§9.3.1); bu yüzden Q, onları yığındaki diğer her şeyle birlikte geri yüklemek zorundadır (§8.4.2). Bir kalıp hatayı çabuk ele verir: iki baytlık bir Identity-H font, tek bir tablo hücresi için q … Q içinde seçilir ve Qdan sonraki metin, kendi Tfsi olmaksızın tek baytlık WinAnsi dizeleri gösterir. İç fontu tutan bir yorumlayıcı o baytları çifter okur ve bir içindekiler sayfasının nokta dolguları, ilgisiz bir CJK karakter dizisine döner. HotPDF yorumlayıcısı sekiz metin durum değerinin tamamını her qda CTM ile birlikte iter ve her Qda çeker

Yukarıdaki her şey her sayfada geçerlidir; bütün bir belge tek çağrıyla bir UTF-8 dosyasına gidebilir. ExtractLoadedPagesTextToStream, 1 tabanlı bir sayfa aralığı (boş dize her sayfa demektir), sayfalar arasına yazılan bir ayırıcı ve bayt sırası işareti için bir bayrak alır ve çıkarılan sayfa sayısını döndürür. Çıktı stream’in güncel konumuna eklenir; bellekte tek bir page’in metninden daha büyük hiçbir şey tutulmaz

uses
  SysUtils, Classes, HPDFDoc;

var
  Pdf: THotPDF;
  Output: TFileStream;
  Pages: Integer;
begin
  Pdf := THotPDF.Create(nil);
  try
    Pdf.LoadFromFile('report.pdf');
    Output := TFileStream.Create('report.txt', fmCreate);
    try
      // boş aralık = her sayfa; sayfalar arası form feed; UTF-8 BOM
      Pages := Pdf.ExtractLoadedPagesTextToStream(Output, '', #12, True);
      Writeln(Pages, ' pages extracted');
    finally
      Output.Free;
    end;
  finally
    Pdf.Free;
  end;
end.

İş için metin API'sini seçmek

Arama ve indeksleme için doğru besleyici ExtractLoadedPageTexttr: içerik akışı sırasını izler ve sayfanın gösterdiğini yansıtır. Altındaki çözümleme zinciri, /ToUnicode haritalarından CID fontlarına, HotPDF ile yüklenmiş PDF'lerden metin çıkarma yazısında ele alınır. İçerik akışı sırası, üreticisi koşan başlığı en son yazmış ya da iki sütunu birbirine dokumuş etiketli belgelerde en zayıftır; onlar için yapı sırasıyla metin çıkarma, yapı ağacını geometriden çözeceğine yazım sırasında yürür. Tablolara kilitlenmiş veri için sayfa sonlarını aşan tip tablo çıkarma daha iyidir; hücreleri değerleriyle döndürür. Sayfayı düzenleyen kod ExtractLoadedPageGlyphse aittir; token indeksleri yeniden yazacağı baytları işaret eder

Bu örneklerde kullanılan glyph kayıt alanları, metin çıkarma API'sinin gerisi ve bir deneme derlemesiyle birlikte HotPDF Delphi PDF Component ürün sayfasında belgelenir