Taranmış bir PDF'de fatura numarasıyla yapılan arama sonucu bulur, ama vurgulama basılı rakamların yarım inç solunda ve yarım inç altında durur. Yarım inç 36 puandır ve söz konusu sayfanın CropBox'ı [36 36 576 756] değerindedir. O metin katmanını kim kurduysa piksel konumlarını, bitmap genişliğine bölüp sayfa genişliğiyle çarparak sayfa konumlarına çevirmiş; bu da görünür alanın orijinden başladığını varsayar. /Rotate 90 taşıyan bir sayfada aynı formül daha da kötü işler: bitmap'in x ekseni artık sayfanın y ekseni boyunca uzanır ve sözcükler sayfanın tamamen yanlış bölgesine düşer
Görünmez metin katmanı aslında nedir
Taranmış bir sayfa, içerik akışının boyadığı tek büyük bir görüntüdür; seçilecek, aranacak, kopyalanacak veya dizine eklenecek hiçbir şey yoktur. Aranabilir bir metin katmanı, o görüntünün üzerine sıradan metin nesneleri ekler ve bunların metin render modunu 3 yapar; ISO 32000-1 §9.3.6 (Tablo 106) bu modu ne dolgu ne de kontur olarak tanımlar: glifler seçim, arama ve çıkarma için var olur, görüntüleyici ise onlar için hiçbir şey çizmez. İyi yapıldığında okur özgün taramayı görür ve Ctrl+F, sözcükleri tam olarak basılı oldukları yerde bulur
PDFium Component'te işin tamamı tek bir çağrıdır: TPdf.ApplyOcrSearchLayer. Yöntem; seçilen her sayfayı render eder, pikselleri bir OCR sağlayıcısına verir, tanınan sözcükleri güvene göre filtreler ve kalanları görünmez metin nesneleri olarak geri yazar. Sayfa görüntüsü olduğu gibi bırakılır: tarama çözülmez (decode), yeniden kodlanmaz ya da değiştirilmez, dolayısıyla JBIG2 veya CCITT G4 görüntü geldiği sıkıştırılmış baytların aynısıyla kalır. Yöntem Small Business ve Enterprise sürümlerinde gelir; projenin arama yolunda Lib\SmallBusiness klasörünün ve bir uses cümlesinde FPdfSmallBusiness biriminin olması gerekir, o birim yoksa çağrı EPdfSmallBusinessRequired fırlatır
Bir IPdfOcrProvider yazmak
Tanımanın kendisi tek bir arayüzün arkasında durur. IPdfOcrProvider.RecognizePage; sayfa numarası, genişlik, yükseklik, stride, DPI, piksel biçimi ve üstten alta BGRA satırlarını tutan bir TBytes arabelleği taşıyan bir TPdfOcrImage ile birlikte bir iptal belirteci alır; Unicode metin, 0 ile 1 arasında bir güven ve görüntü piksellerinde dört köşeli bir dörtgen içeren TPdfOcrWord kayıtları dizisi döndürür. Sürüm, hazır tek bir sağlayıcıyla gelir: FPdfOcrTesseract içindeki CreatePdfTesseractOcrProvider, sizin sağladığınız bir Tesseract kütüphanesine ve traineddata dizinine bağlanır. Başka her motor — bir bulut API'si ya da ticari bir SDK — şu sınıfa benzer bir sınıfla takılır:
uses
System.SysUtils, PDFium, FPdfAsync, FPdfSmallBusiness;
type
TMyOcrProvider = class(TInterfacedObject, IPdfOcrProvider)
public
function RecognizePage(const Image: TPdfOcrImage;
const CancellationToken: IPdfCancellationToken;
out Words: TPdfOcrWords; out ErrorMessage: string): Boolean;
end;
function TMyOcrProvider.RecognizePage(const Image: TPdfOcrImage;
const CancellationToken: IPdfCancellationToken;
out Words: TPdfOcrWords; out ErrorMessage: string): Boolean;
var
I, Count: Integer;
begin
// Aşağıdaki Engine* yordamları, kendi OCR motoru bağlamanızı temsil eder
Count := EngineRecognize(Image.Pixels, Image.Width, Image.Height,
Image.Stride, Image.Dpi);
CancellationToken.ThrowIfCancelled; // iptali iptal olarak bildir
SetLength(Words, Count);
for I := 0 to Count - 1 do
begin
Words[I].Text := EngineWordText(I);
// Birçok motor 0..100 bildirir; katman 0..1 bekler
Words[I].Confidence := EngineWordConfidence(I) / 100;
Words[I].Quad := TPdfOcrQuad.FromRectangle(
EngineLeft(I), EngineTop(I), EngineRight(I), EngineBottom(I));
end;
ErrorMessage := '';
Result := True;
end;
Tesseract'ın 87.5 değerini olduğu gibi geçiren bir sağlayıcının her sözcüğü elenir. Tesseract söz konusu olduğunda sözcük güveni yüzde olarak bildirilir ve paketlenen adaptör, döndürmeden önce onu aşağı böler; özel bir sağlayıcı da aynısını yapmak zorundadır, çünkü ApplyOcrSearchLayer 1'in üzerindeki güveni geçersiz girdi sayar. Neyi arayacağınızı öğrendikten sonra belirti tartışmasızdır: Report.RejectedWordCount Report.DetectedWordCount ile eşittir ve kaydedilen dosyada hiç metin yoktur
Belirteç çağrısı başka bir nedenle önemlidir. Sağlayıcı iptali fark edip yalnızca False döndürürse, sayfa sizin belirlediğiniz mesajla popsFailed olarak kaydedilir. ThrowIfCancelled çağırmak ise EPdfOperationCancelled fırlatır; katman bunu yakalar, Report.Cancelled ayarlanmış ve döngü durdurulmuş biçimde durumu popsCancelled olarak kaydeder. Sağlayıcı içinde belirteç asla nil değildir; çağıran hiçbir şey geçirmediğinde, asla iptal edilmeyen bir belirteç sağlanır
Dörtgenler ve katmanın reddettiği sözcükler
Taramalar nadiren sayfaya tam dik açılıdır; hafif eğik bir kâğıttaki bir sözcük bir paralelkenar kaplar. TPdfOcrQuad tam da bu durum için TopLeft, TopRight, BottomRight ve BottomLeft noktalarını taşır; yalnızca kutu bildiren motorlar için FromRectangle eksene hizalı sürümü oluşturur. Bir sözcük; metni boşsa ya da MaxWordCharacters sınırını aşıyorsa, güveni NaN ise, MinConfidence sınırının altındaysa veya 1'in üzerindeyse, köşelerden herhangi biri bitmap'in dışına düşüyorsa ya da dörtgen, eşlemeden sonra 0.01 puandan dar bir şeride çökerse atılır ve RejectedWordCount sayacına yazılır
Oransal ölçekleme OCR sözcüklerini neden kaydırır
Oransal ölçekleme yalnızca sayfada /Rotate girdisi yokken ve CropBox (0, 0)'dan başlarken doğrudur. Birçok tarama bu koşullardan birini ihlal eder: yatay bir kâğıt çoğu zaman /Rotate ayarlı dikey bir sayfa olarak saklanır ve kırpma kutuları, biri düzenleyicide kenar boşluklarını kırptığında kayar. Açılıştaki örnek hafif tipte bir başarısızlıktır; döndürmeyle birlikte hata bir ofset olmaktan çıkıp takas edilmiş bir eksene dönüşür
ApplyOcrSearchLayer, dört köşenin her birini, sağlayıcının gördüğü pikselleri üreten aynı bitmap boyutu ve döndürme bilgisiyle FPDF_DeviceToPage'e gönderir. Döndürme ve kırpma kutusu ofsetleri bu yüzden render edicinin kullandığı dönüşümle halledilir. Köşeler girişte tam piksellere yuvarlanır; varsayılan 300 DPI'da bu 0.24 puantalık bir niceleme adımıdır ve bir seçim vurgusunun gösterebileceğinin çok altındadır
Eşlenen noktalardan sol alt, sağ alt ve sol üst köşeleri bir afin matris tanımlar. Üç nokta; konumu, ölçeği, döndürmeyi ve eğimi (shear) ifade etmek için yeterlidir, bu yüzden dördüncü köşe yalnızca doğrulanır, oturtma için asla kullanılmaz. Metin nesnesi 1 yazı tipi boyutuyla oluşturulur, gerçek sınırları ölçülür ve matris, ölçülen sınırları hedef dörtgene eşler. Dörtgen yüksekliğinden bir punto tahmin etmek her yazı tipinin artan ve azan değeriyle kayardı; önce ölçmek, uyumu Options.FontName seçiminden bağımsız kılar
Hiçbir şey çizilmese de yazı tipi çıkarma için hâlâ önemlidir. TPdfOcrOptions.Default onu Arial yapar. Bu yazı tipi yüklenemezse katman, yalnızca Latin metnini kapsayan yerleşik kodlamaya sahip standart 14 yazı tipinden biri olan Helvetica'ya düşer. Kiril, Yunanca veya CJK çıktı için FontName seçeneğini, o yazıyı kapsayan yüklü bir yazı tipine ayarlayın
Katmanı çalıştırmak ve raporu okumak
ApplyOcrSearchLayer yalnızca hiçbir sayfa başarısız olmadığında ve hiçbir şey iptal edilmediğinde True döndürür. Kaydetme kararını bu dönüş değerine bağlamak yanlış hamledir. ContinueOnError varsayılan True değerinde bırakıldığında, tek bir okunamayan sayfası olan 300 sayfalık bir iş False döndürürken 299 sayfa doğru katmanı taşır ve başarısız sayfa çoktan eski hâline konmuştur. Kaydetme kararını bunun yerine rapora bağlayın:
var
Pdf: TPdf;
Options: TPdfOcrOptions;
Report: TPdfOcrReport;
Cancel: IPdfCancellationTokenSource;
I: Integer;
begin
Cancel := TPdfCancellationTokenSource.New; // bir İptal düğmesinin erişebileceği yerde tutun
Pdf := TPdf.Create(nil);
try
Pdf.FileName := 'scanned-contract.pdf';
Pdf.LoadDocument;
Options := TPdfOcrOptions.Default; // 300 DPI, MinConfidence 0.5, Arial
Options.MinConfidence := 0.6;
Options.MaxTotalPixels := Int64(4000) * 1000 * 1000;
Pdf.ApplyOcrSearchLayer(TMyOcrProvider.Create, Options, Report,
Cancel.Token);
for I := 0 to High(Report.Pages) do
if Report.Pages[I].Status = popsFailed then
Writeln(Format('page %d failed: %s',
[Report.Pages[I].PageNumber, Report.Pages[I].ErrorMessage]));
Writeln(Format('%d inserted, %d rejected, %d skipped, %d failed',
[Report.InsertedWordCount, Report.RejectedWordCount,
Report.SkippedPageCount, Report.FailedPageCount]));
if not Report.Cancelled and (Report.InsertedWordCount > 0) then
Pdf.SaveAs('scanned-contract-searchable.pdf');
finally
Pdf.Free;
end;
end;
İptalden sonra kaydetmemek bir tercih meselesidir ve burada yapılan tercih budur. İptal edilmiş bir iş; ilk kısmı aranabilir, gerisi boş bir dosya bırakır ve PDF'in hiçbir yeri bir sonraki okura katmanın nerede bittiğini söylemez. Yarım dizinlenmiş bir arşivi açıklamaya çalışmaktan, belgenin tamamını sonra yeniden işlemek daha ucuzdur
SkipPagesWithText varsayılan olarak True değerindedir ve sayfanın hâlihazırda çıkarılabilir herhangi bir karakter verip vermediğini denetler. Bu, doğuştan dijital sayfaları OCR'ın dışında tutar, daha önce işlenmiş dosyalara ikinci bir katman eklenmesini önler ve aynı çıktı üzerindeki yinelenen bir çalıştırmayı işlemsiz kılar. Bedeli şudur: tek bir gerçek karakter bile sayılır; gerçek metin olarak damgalanmış bir Bates numarası taşıyan tarama popsSkippedExistingText olarak bildirilir ve katman almaz. Bu şekilde kurulmuş arşivler SkipPagesWithText := False yapıp FirstPage ve LastPage üzerinden dikkatli bir sayfa aralığı seçmelidir; aksi hâlde daha önce işlenmiş sayfalar ikinci bir katman kazanır ve çıkarma her sözcüğü iki kez döndürür
Piksel bütçeleri, iptal ve sayfa başına geri alma
Kötü niyetli ya da yalnızca devasa bir belgenin şişirebileceği her miktarın TPdfOcrOptions içinde bir tavanı vardır ve piksel denetimleri herhangi bir bitmap ayrılmadan önce çalışır. Render boyutu; Ceil(PageWidth * Dpi / 72) genişliğinde, Ceil(PageHeight * Dpi / 72) yüksekliğindedir, yani sayılar önceden hesaplanabilir:
| 300 DPI'da sayfa | Bitmap | Piksel |
|---|---|---|
| US Letter, 612 × 792 pt | 2550 × 3300 | 8,415,000 |
| A4, 595 × 842 pt | 2480 × 3509 | 8,702,320 |
| A3, 842 × 1191 pt | 3509 × 4963 | 17,415,167 |
| A0, 2384 × 3370 pt | 9934 × 14042 | 139,493,228 |
Varsayılanlar sayfa başına 100 milyon, iş genelinde 1 milyar pikseldir. 300 DPI'daki bir A0 çizim bu nedenle tek başına MaxPixelsPerPage sınırını aşar. İş genelindeki bütçe, sayfa başına olandan daha önce tükenir: Letter sayfa başına 8.415.000 piksel ile 1 milyarın altına 118 sayfa sığar ve 119. sayfa, adında MaxTotalPixels geçen bir mesajla başarısız olur; ondan sonraki her sayfa da öyle. Uzun taranmış arşivler için yukarıdaki örnekte yapıldığı gibi MaxTotalPixels değerini yükseltin ya da işi FirstPage ve LastPage ile aralıklara bölün. Atlanan sayfalar hiç render edilmez ve sayılmaz. Paketlenen Tesseract adaptörü kendi sınırını ekler: TPdfTesseractOptions.MaxPixels varsayılanı 16.777.216'dır; 300 DPI'daki bir A3 kâğıt bunun hemen üstündedir, bu yüzden A3 toplu işlerinde adaptör sınırının yükseltilmesi ya da DPI'nın düşürülmesi gerekir
DPI 36 ile 1200 arasında olmalıdır. 300'den 600'e çıkarmak bitmap'i dörde katlar ve her piksel 4 bayt eder; bir Letter sayfa böylece yaklaşık 34 MB BGRA'dan yaklaşık 135 MB'a çıkar. Sıradan ofis taramaları için 300 DPI, tanıma kalitesini bellekle dengeler; 600, küçük punto ve dipnotlar için değer, bütün arşivler için değil. Sözcük sayıları MaxWordsPerPage ve MaxTotalWords ile sınırlanır ve sayfanın izin verdiğinden fazla sözcük döndüren bir sağlayıcı kırpılmak yerine o sayfayı başarısız kılar
İptal belirteci aşamalı render'a, sağlayıcı çağrısına ve sözcükleri ekleyen döngüye kadar ulaşır. 400 sayfalık bir dosyanın 212. sayfasının tanınması sırasında iptal etmek, sağlayıcı kendisine verilen belirtece uyduğu sürece 212. sayfada durur. Tesseract adaptörü bir adım daha ileri gider ve motora bir iptal geri çağrısı kaydeder; yanında varsayılanı 60.000 ms olan sayfa başına bir zaman aşımı da vardır
Kapsama sayfa başınadır. Katman, eklediği her metin nesnesinin tanıtıcısını tutar ve FPDFPage_GenerateContent'i, o sayfadaki son sözcük yerleştirildikten sonra bir kez çağırır. Arada bir şey ters giderse — bir yazı tipi bir karakteri reddetse ya da döngünün ortasında bir iptal gelse — o sayfaya eklenmiş nesneler tersten kaldırılır ve sayfa içeriği yeniden oluşturulur; böylece sayfa, daha önce taşıdığından fazlasını taşımayan hâline döner. Döngü ardından ContinueOnError'a göre devam eder ya da durur ve çağrıdan önce etkin olan sayfa, çağrıdan sonra yeniden etkin olur
Sonucu denetlemek
İki denetim, ters gidebilecek şeylerin çoğunu kapsar. İlki görseldir: TPdf.RenderPage ile özgün dosyadan bir sayfayı ve işlenmiş dosyadan aynı sayfayı aynı boyutta render edin, sonra bitmap'leri karşılaştırın. Beklenen sonuç özdeşliklerdir; çünkü mod 3 hiçbir şey çizmez ve görüntü akışına dokunulmamıştır. Herhangi bir piksel farkı, sayfayı metin katmanı dışında bir şeyin değiştirdiği anlamına gelir. İkincisi, sözcüklerin var olduğunu ve taramanın gösterdiği yerde durduğunu denetler:
procedure CheckOcrPage(Pdf: TPdf; PageNo: Integer; const Probe: WString);
const
TEXT_MODE_INVISIBLE = 3; // FPDF_TEXTRENDERMODE_INVISIBLE
var
TextObjects: TPdfIntegerArray;
I, Invisible, Hit: Integer;
Box: TPdfRectangle;
begin
Pdf.PageNumber := PageNo;
TextObjects := Pdf.GetObjectsByType(otText);
Invisible := 0;
for I := 0 to High(TextObjects) do
if Pdf.GetTextRenderMode(TextObjects[I]) = TEXT_MODE_INVISIBLE then
Inc(Invisible);
Writeln(Format('page %d: %d invisible text objects', [PageNo, Invisible]));
Hit := Pdf.FindFirst(Probe);
if Hit >= 0 then
begin
Box := Pdf.CharacterRectangle[Hit];
Writeln(Format('"%s" starts at x=%.1f, y=%.1f pt',
[Probe, Box.Left, Box.Bottom]));
end;
end;
Taramada gözle bulabileceğiniz bir sonda sözcüğü seçin — bir başlık ya da bir toplam — ve bildirilen koordinatları, render edilmiş bir görüntüdeki konumuyla karşılaştırın. Açılıştaki CropBox'lı sayfada x değeri 36 veya üzerinde başlamalıdır, asla sıfıra yakın değil. Çıkarma tarafı PDF belgelerinden metin çıkarma yazısında daha derin ele alınır; hizalama bindirmesi için sayfaları render etme PDF sayfalarını JPEG'e dönüştürme yazısında, baştan sona kullanılan belirteç kalıbı ise iptal edilebilir aşamalı render yazısındadır
OCR katmanlama; render etme, metin çıkarma ve sayfa düzenlemenin yanında, aynı TPdf nesnesi üzerinde, Delphi, C++Builder ve Lazarus'ta durur. Sürümler ve tam API listesi Delphi için PDFium Component ürün sayfasındadır