Technisch artikel

Gestructureerde PDF-tekstextractie in Delphi met PDFium VCL

Een tweekoloms conferentieartikel dat op verticale positie wordt gesorteerd komt terug met een eerste regel als Abstract We measure the 2 Related work Earlier studies: de openingswoorden van de linkerkolom en de openingswoorden van de rechterkolom, aan elkaar geplakt omdat allebei op dezelfde baseline staan. Er ging niets mis in de parser. Een PDF-pagina biedt twee verdedigbare volgordes voor zijn tekst, de volgorde waarin de content stream hem tekent en de positie van elke glyph op de pagina, en voor veel layouts staan die twee volgordes op gespannen voet. Een extractor die gepositioneerde blokken teruggeeft in plaats van één string laat u zien welke volgorde u kreeg en laat u omschakelen wanneer het de verkeerde is voor de pagina die voor u ligt

Wat GetStructuredText teruggeeft

TPdf.GetStructuredText in PDFium Component geeft een TPdfStructuredTextPage terug voor de huidige pagina: een array van blokken, elk blok een array van regels, elke regel een array van gestileerde spans. Elk niveau draagt zijn eigen Text en een pagina-ruimte Bounds-rechthoek in PDF-punten mee, dus een kop, één regel of een vette zin kan op de pagina worden gelokaliseerd zonder tweede opzoeking. Het paginarecord voegt Width, Height, CharacterCount en twee kwaliteittellers toe die verderop worden beschreven

De afgeplatte Page.Text wordt uit de blokken opgebouwd in plaats van uit de kale karakterstroom. Regels binnen een blok worden met één CRLF samengevoegd en blokken worden gescheiden door een lege regel, wat betekent dat een platte-tekst-dump van Page.Text al laat zien waar de extractor zijn blokgrenzen trok. Dat maakt hem het snelste om af te drukken wanneer een pagina vreemd leest

Diagram van de hiërarchie van gestructureerde PDFium-tekst die in Delphi wordt geëxtraheerd: pagina, blokken, regels en gestileerde spans met bounds en bronkarakterindices
GetStructuredText geeft een pagina van blokken terug, elk met regels en gestileerde spans, met pagina-ruimte-bounds en bronkarakterindices op elk niveau

Al dit wordt aangedreven door een klein optiesrecord. TPdfStructuredTextOptions.Default zet ReadingOrder op roPhysicalLayout, zet IncludeFontInfo en IncludeSemantics aan en stelt MaxCharacters in op 1.000.000. Het veld ReadingOrder is degene die de vorm van de uitvoer het meest verandert

Hoe de twee leesvolgordes regels en blokken opbouwen

roContentOrder houdt de tekenvolgorde van de producent aan, terwijl roPhysicalLayout de volgorde herbouwt uit glyphposities, en het verschil toont zich eerst in hoe regels worden gevormd. In contentvolgorde worden karakters genomen in de volgorde waarin de pagina ze tekent. Een nieuwe regel begint bij een expliciet regeleinde of wanneer het volgende karakter niet langer verticaal overlapt met de huidige regel. Een regel voegt zich dan alleen bij het blok erdirect voor als de twee horizontaal met minstens een vijfde van de smalste breedte overlappen en de verticale afstand niet meer is dan ongeveer twee en een kwart regelhoogten; anders opent hij een nieuw blok. Blokken blijven in tekenvolgorde

Physical layout gooit de tekenvolgorde weg. Elk karakter met een bekende doos wordt gesorteerd op het verticale midden van die doos, bovenkant van de pagina eerst, daarna op zijn linkerrand. Karakters waarvan de verticale omvang genoeg overlappen delen een regel, en die test kijkt alleen naar hoogte. Horizontale afstand speelt er geen rol in. Elke regel voegt zich dan bij welk bestaand blok op de pagina hem ook het best past volgens dezelfde overlap-en-afstandsregel, en de voltooide blokken worden gesorteerd op hun bovenrand, met de linkerrand als tiebreaker binnen een halve punt

Die tweede regel is waar het openingsvoorbeeld vandaan komt. Als de twee kolommen van een artikel een raster van baselines delen, overlappen de eerste regel van de linkerkolom en de eerste regel van de rechterkolom verticaal, dus zet physical layout ze op één regel. De afstand bij de goot is wijder dan een kwart van de fontgrootte, dus voegt de extractor één spatie in en gaat door. Elke regel van de body doet hetzelfde, de samengevoegde regels overlappen elkaar allemaal horizontaal, en de hele tweekoloms body wordt één breed blok dat dwars door de goot leest

Diagram dat de leesvolgordes roPhysicalLayout en roContentOrder vergelijkt voor dezelfde tweekoloms PDF-pagina in de PDFium Delphi-component
Dezelfde tweekoloms pagina kan in tekenvolgorde worden doorlopen of op glyphpositie, en de optie ReadingOrder bepaalt welke wandeling u krijgt

Contentvolgorde doet die pagina goed zodra de producent kolom één vóór kolom twee heeft geschreven, wat tekstverwerkers en zetsystemen normaal doen. De regels van de linkerkolom stapelen zich tot blokken, de eerste regel van de rechterkolom heeft geen horizontale overlap ermee en opent een vers blok, en de blokken komen in de volgorde waarin de auteur ze schreef. Physical layout verdient zijn plaats op een ander soort pagina: facturen, bankafschriften, formulieren en slides, waar een label en zijn waarde op dezelfde baseline staan en de rij van links naar rechts lezen precies is wat u wilt. Het is ook de modus voor wanneer de tekenvolgorde betekenisloos is, bijvoorbeeld tekst die lettertype voor lettertype wordt geschilderd of een pagina die uit vele kleine overlays is opgebouwd

Voor een gemengde collectie splitst u de keuze op documenttype. Artikelen, rapporten en handleidingen uit een bekend authoringtool gaan door roContentOrder; formulieren en transactionele documenten blijven op de roPhysicalLayout-default. De routine hieronder drukt de blokken van één pagina in contentvolgorde af, met koppen gemarkeerd wanneer het bestand getagd is

uses
  SysUtils, PDFium;

procedure DumpBlocks(Pdf: TPdf; PageNumber: Integer);
var
  Options: TPdfStructuredTextOptions;
  Page: TPdfStructuredTextPage;
  B, L: Integer;
begin
  Pdf.PageNumber := PageNumber;                 // vanaf 1
  Options := TPdfStructuredTextOptions.Default;
  Options.ReadingOrder := roContentOrder;      // producenten die kolom voor kolom schrijven

  Page := Pdf.GetStructuredText(Options);
  if Page.Source = rosStructure then
    Writeln('block kinds come from the structure tree')
  else
    Writeln('block kinds are inferred from layout');

  for B := 0 to High(Page.Blocks) do
  begin
    if Page.Blocks[B].Kind = cfHeading then
      Writeln(Format('[%d] H%d  %s',
        [B, Page.Blocks[B].HeadingLevel, Page.Blocks[B].Text]))
    else
    begin
      Writeln(Format('[%d] x=%.0f..%.0f, %d line(s)',
        [B, Page.Blocks[B].Bounds.Left, Page.Blocks[B].Bounds.Right,
         Length(Page.Blocks[B].Lines)]));
      for L := 0 to High(Page.Blocks[B].Lines) do
        Writeln('      ', Page.Blocks[B].Lines[L].Text);
    end;
  end;
end;

Hoe spott u een regel die dwars door de goot loopt?

Een samengevoegde regel verraadt zichzelf via zijn spans. GetStructuredText begint een nieuwe span wanneer het volgende karakter niet de directe opvolger van de vorige is in de oorspronkelijke karaktervolgorde van de pagina, naast de stijlwijzigingen die hieronder worden behandeld. Binnen één kolom zijn opeenvolgende woorden meestal ook opeenvolgend in de bron. Bij de goot van een samengevoegde regel springt de bronindex met honderden karakters, en de horizontale afstand tussen de twee spans is veel wijder dan welke woordspatie ook

Die twee signalen samen vormen een betrouwbare test, en u kunt hem draaien op de defaultuitvoer voordat u beslist of een pagina contentvolgorde nodig heeft. De momentopname van karakterdata die GetStructuredText leest wordt per pagina gecachet, standaard acht pagina's, dus dezelfde pagina een tweede keer vragen met een andere ReadingOrder hergroepeert data die al in het geheugen staat in plaats van de pagina opnieuw te extraheren

// LineCrossesGutter is een helper die u zelf toevoegt: hij vlagt een regel met twee
// naburige spans die ver uit elkaar op de pagina staan en niet aan elkaar grenzen
// in de bronkaraktervolgorde
function LineCrossesGutter(const Line: TPdfStructuredTextLine;
  MinGap: Double): Boolean;
var
  S: Integer;
  Prev, Cur: TPdfStructuredTextSpan;
begin
  Result := False;
  for S := 1 to High(Line.Spans) do
  begin
    Prev := Line.Spans[S - 1];
    Cur := Line.Spans[S];
    if (Prev.SourceStartIndex < 0) or (Cur.SourceStartIndex < 0) then
      Continue;                                 // alternate-text-blokken
    if (Cur.Bounds.Left - Prev.Bounds.Right > MinGap) and
       (Cur.SourceStartIndex <>
        Prev.SourceStartIndex + Prev.SourceCharacterCount) then
      Exit(True);
  end;
end;

function ExtractWithFallback(Pdf: TPdf): TPdfStructuredTextPage;
var
  Options: TPdfStructuredTextOptions;
  B, L, Lines, Crossing: Integer;
begin
  Options := TPdfStructuredTextOptions.Default;   // roPhysicalLayout
  Result := Pdf.GetStructuredText(Options);

  Lines := 0;
  Crossing := 0;
  for B := 0 to High(Result.Blocks) do
    for L := 0 to High(Result.Blocks[B].Lines) do
    begin
      Inc(Lines);
      if LineCrossesGutter(Result.Blocks[B].Lines[L], 18) then
        Inc(Crossing);
    end;

  // een kwart van de regels die een afstand overschrijden lijkt op kolommen, niet op een formulierrij
  if (Lines > 0) and (Crossing * 4 >= Lines) then
  begin
    Options.ReadingOrder := roContentOrder;
    Result := Pdf.GetStructuredText(Options);
  end;
end;

Achttien punten is een kwart inch, ruim wijder dan een woordspatie in brontekst en smaller dan de meeste goten. De één-op-vier-drempel houdt een factuur met een paar label-en-bedrag-rijen op physical layout terwijl een echte tweekoloms body, waar bijna elke regel overschrijdt, omschakelt. Schreef de producent de pagina rij voor rij over beide kolommen, dan blijven de bronindices aaneengesloten, springt de test nooit aan en scheidt geen van beide volgordes de kolommen voor u; die pagina heeft de kolommodus van de readable-content-API nodig, beschreven in twee kolommen lezen met een overspannende kop

Wat verandert IncludeSemantics, en wat laat hij met rust?

IncludeSemantics labelt blokken; hij herschikt ze niet. Met de optie aan leest GetStructuredText de leesbare inhoud van de pagina en geeft elk blok de soort van het fragment dat hem met de grootste oppervlakte overlapt. De beschikbare soorten zijn cfParagraph, cfHeading met een HeadingLevel, cfListItem, cfTableCell, cfCaption, cfFigure, cfLink, cfOther voor elke andere tag, en cfPlain wanneer niets matchte. Elk blok pikt ook een Language en een StructElementIndex op die hem aan een element van de boomstructuur koppelt

Het veld Source zegt waar het label vandaan kwam: rosStructure wanneer de pagina een bruikbare boomstructuur heeft in de zin van ISO 32000-1 §14.7, rosHeuristic wanneer de soorten werden afgeleid. Page.Source geeft hetzelfde antwoord voor de pagina als geheel. Een kop die met rosStructure wordt gemeld is een kop omdat de auteur hem tagde; één die met rosHeuristic wordt gemeld is een onderbouwde gok, en een indexeringspipeline die titels weegt moet de twee anders behandelen. De blokvolgorde komt in beide gevallen nog steeds uit ReadingOrder. De semantische pass gebruikt de readable-content-defaults, dus een kolominstelling die via ReadableContentOptions wordt toegepast bereikt GetStructuredText niet

Figuren krijgen één extra regel. Op een getagde pagina wordt een Figure-element of alternatieve tekst die aan geen enkel tekstblok is gekoppeld als een blok op zich toegevoegd, met de alternatieve beschrijving als zijn tekst. Zo'n blok heeft één regel en één span met SourceStartIndex op -1, want geen glyph op de pagina heeft hem voortgebracht. Code die spans terug naar karakters mapt moet die waarde overslaan, wat de gotentest hierboven ook controleert. De controles op de boomstructuur zelf staan in PDF/UA-boomstructuurvalidatie

Spans, bounds en de weg terug naar karakters

Elke TPdfStructuredTextSpan draagt zijn tekst, zijn bounds, FontName, FontSize, FontWeight en Angle mee, plus SourceStartIndex en SourceCharacterCount. Met IncludeFontInfo aan eindigt een span waar ook maar een van de vier stijlwaarden verandert, dus een zin met drie vette woorden in het midden komt binnen als drie spans en nadruk kan worden herbouwd uit FontWeight in plaats van uit lettertypenamen worden geraden. Met IncludeFontInfo uit blijven de stijlvelden leeg en breken spans alleen waar de bronvolgorde wordt onderbroken

De hoek telt op pagina's met stempels. Een diagonale DRAFT-watermerk huist in dezelfde coördinatenruimte als de brontekst, en in physical layout kunnen zijn letters op bodyregels landen die ze verticaal kruisen. Spans met een niet-nul Angle zijn makkelijk weg te laten voordat u tekst voor indexering samenvoegt

De twee bronvelden zijn wat een zoektreffer omzet in iets dat u kunt tekenen. Ze indexeren de karaktervolgorde van de pagina, dus een zin die in een blok wordt gevonden zet direct om in karakterboxen voor een markering, met de aanpak uit visuele tekstregelselectie met karakterboxen. Wanneer de reflow- of HTML-vorm van de pagina het doel is, voeden dezelfde blokken het reflow-model en zijn HTML-export

Een karakterbudget en twee kwaliteittellers

MaxCharacters weigert een pagina ronduit wanneer hij meer karakters bevat dan is toegestaan. GetStructuredText controleert de telling voordat hij werkarrays alloceert, en een te grote pagina gooit EPdfError met de melding Structured text character budget exceeded; een partieel pagina wordt nooit teruggegeven. De waarde moet positief zijn. De karaktermomentopname per pagina die de methode leest heeft een eigen default-plafond van 1.000.000 karakters en 100.000 tekstobjecten, gemeld als Text snapshot budget exceeded, dus MaxCharacters boven de miljoen laat geen grotere pagina door

Diagram van het fail-closed MaxCharacters-budget en de twee kwaliteittellers die PDFium gestructureerde tekstextractie in Delphi meldt
MaxCharacters werkt als een fail-closed budget, terwijl UnmappedCharacterCount en GeometryFailureCount de extractiekwaliteit rechtstreeks melden

UnmappedCharacterCount telt karakters waarvoor PDFium helemaal geen Unicode-waarde kon produceren. Die karakters verschijnen als U+FFFD in elk Text-veld. De gebruikelijke oorzaak is een subsetlettertype met een eigen codering en geen /ToUnicode-CMap, het geval dat ISO 32000-1 §9.10.2 beschrijft, waarin tekst correct rendert en niet betrouwbaar te extraheren is. De teller meet alleen ontbrekende mappings: een glyph wiens /ToUnicode-entry het verkeerde codepunt noemt telt als gemapt, dus een pagina met geloofwaardelijk ogende rommel kan nog steeds nul melden

GeometryFailureCount telt karakters zonder bruikbare doos, regeleinden uitgezonderd. In contentvolgorde volgen zulke karakters simpelweg hun buren. In physical layout hebben ze geen positie om op te sorteren, dus worden ze na elk gepositioneerd karakter geplaatst en belanden ze aan de onderste regel van de pagina. Een pagina met een niet-nul geometrietelling en vreemde fragmenten op zijn laatste regel toont precies dat

// LogRejected en LogQuality zijn uw eigen logroutines
function ExtractForIndex(Pdf: TPdf; PageNumber: Integer;
  out Page: TPdfStructuredTextPage): Boolean;
var
  Options: TPdfStructuredTextOptions;
begin
  Result := False;
  Pdf.PageNumber := PageNumber;
  Options := TPdfStructuredTextOptions.Default;
  Options.MaxCharacters := 200000;              // intakelimiet voor deze pipeline
  try
    Page := Pdf.GetStructuredText(Options);
  except
    on E: EPdfError do
    begin
      LogRejected(PageNumber, E.Message);       // karakter- of momentopnamebudget
      Exit;
    end;
  end;

  if Page.UnmappedCharacterCount * 20 > Page.CharacterCount then
    LogQuality(PageNumber, Format('%d of %d characters have no Unicode value',
      [Page.UnmappedCharacterCount, Page.CharacterCount]));
  if (Options.ReadingOrder = roPhysicalLayout) and
     (Page.GeometryFailureCount > 0) then
    LogQuality(PageNumber, Format('%d characters without a box; check the last line',
      [Page.GeometryFailureCount]));
  Result := True;
end;

Voor een pagina die u alleen als string nodig heeft, behandelt tekst uit PDF-documenten extraheren de eenvoudigere aanroepen, en BDC- en MCID-marked content lezen en schrijven gaat één laag onder de boomstructuur. Het gestructureerde paginamodel, de readable-content-lezer en de reflow-export worden allemaal geleverd in de Delphi- en Lazarus-component die op de productpagina van PDFium Component wordt beschreven