Artykuł techniczny

Żarłocy pamięci PDF: grafy zależności obiektów HotPDF

Dla 400-stronicowego raportu z jedną osadzoną czcionką 2 MB rozliczanie każdej strony za wszystko, do czego się odwołuje, daje dziwną sumę: strony wychodzą na 800 MB czcionki w pliku, który na dysku może mieć 30 MB. Podzielisz czcionkę po równo i każda strona kosztuje jakieś 5 KB, więc nic nie wygląda na drogie, a pamięć jakby wzięła się znikąd. Żadna z tych liczb nie odpowiada jednak na właściwe pytanie: ile bajtów faktycznie uwolniłoby zniknięcie konkretnego obiektu

W analizie sterty ta liczba ma nazwę: rozmiar zatrzymany, a teoria grafów daje czysty sposób na jej wyliczenie. Obiekt rozlicza się na jego dominatora, czyli najbliższy obiekt, przez który każda ścieżka od korzenia musi przejść w drodze do niego. Obiekty współdzielone wypływają w górę, aż trafią na węzeł, który naprawdę jest ich właścicielem, wyłączne zostają na miejscu, a sumy składają się bez podwójnego liczenia

Rozmiar płytki, rozmiar zatrzymany i reguła dominatora w HotPDF

HotPDF wylicza to dla wczytanego dokumentu przez THotPDF.BuildLoadedObjectDependencyGraph. Wywołanie zwraca po jednym THPDFObjectDependencyNode na każdy wczytany obiekt pośredni i po jednej THPDFObjectDependencyEdge na każde odwołanie pośrednie, a potem uruchamia analizę dominatorów zakotwiczoną w katalogu dokumentu, czyli obiekcie wskazanym przez wpis /Root w trailerze (ISO 32000-1 §7.7.2). Każdy węzeł niesie dwa rozmiary. EstimatedShallowBytes to koszt samego obiektu. EstimatedRetainedBytes to jego własny koszt plus koszt płytki każdego obiektu, którym dominuje

Wróćmy do czcionki. Odwołuje się do niej każda strona, więc żadna pojedyncza strona nie jest jej dominatorem; ścieżki zbiegają się dopiero w węźle drzewa stron nad tymi stronami, co w płaskim drzewie jest korzeniowym obiektem /Pages. Tam ląduje te 2 MB czcionki i stamtąd zwija się w górę do katalogu. Obrazowy XObject rysowany na stronie 12 i nigdzie indziej to przypadek odwrotny: każda ścieżka do niego prowadzi przez stronę 12, więc rozmiar zatrzymany strony 12 obejmuje cały obraz. Szczyt listy zatrzymanej to więc lista obiektów, których usunięcie uwolniłoby pamięć

HotPDF: Graf zależności, gdzie dominator przypisuje zatrzymane bajty: obrazowy XObject trzymany przez jedną stronę obciąża tę stronę, podczas gdy czcionka współdzielona przez każdą stronę obciąża Catalog
Reguła dominatora rozlicza obraz XObject utrzymywany przy życiu przez pojedynczą stronę na tę stronę, podczas gdy czcionka, na którą powołuje się każda strona, zwija się do Catalog — sumy retained sumują się więc bez podwójnego liczenia

Ta sama arytmetyka daje przy okazji jedno darmowe sprawdzenie krzyżowe. THPDFObjectDependencyGraphInfo.CatalogRetainedBytes równa się zsumowanemu rozmiarowi płytki wszystkich obiektów osiągalnych z katalogu, a TotalEstimatedBytes to zsumowany rozmiar płytki wszystkich wczytanych obiektów, osiągalnych czy nie. Różnica między nimi to pamięć trzymana przez obiekty, na które dokument już nie wskazuje

Uruchamianie grafu i odczyt nieudanego wyniku

Metoda zwraca True tylko wtedy, gdy cała analiza została dokończona, i to właśnie tę wartość zwrotną trzeba sprawdzać. Wynik False nadal wypełnia rekord informacyjny, ale tablic nie nadaje się do raportowania. Gdy liczba obiektów przekracza MaxObjects (domyślnie 250 000), metoda zatrzymuje się, zanim zbuduje jakiekolwiek węzły, i ustawia ObjectCount na jeden więcej niż limit, więc dowiesz się, że limit był za mały, ale nie jak duży jest dokument. Gdy w trakcie skanu wyczerpie się budżet krawędzi (domyślnie 2 000 000) albo limit zagnieżdżenia obiektów bezpośrednich na 256 poziomach, węzły wracają z częściowymi rozmiarami płytki i w ogóle bez rozmiarów zatrzymanych oraz osiągalności

uses
  SysUtils, HPDFDoc;

procedure ProfileLoadedPdf(const FileName: string);
var
  Pdf: THotPDF;
  Nodes: THPDFObjectDependencyNodeArray;
  Edges: THPDFObjectDependencyEdgeArray;
  Info: THPDFObjectDependencyGraphInfo;
begin
  Pdf := THotPDF.Create(nil);
  try
    // LoadFromFile zwraca liczbę stron; 0 oznacza nieudane wczytanie
    if Pdf.LoadFromFile(FileName) = 0 then
      Exit;

    // Podniesione limity dla śledczej analizy offline
    if not Pdf.BuildLoadedObjectDependencyGraph(Nodes, Edges, Info,
      1000000, 8000000) then
    begin
      // Log to twoja własna rutyna logowania
      Log(Format('graph incomplete: %s (limit %s, invalid %s, objects %d)',
        [string(Info.Diagnostic), BoolToStr(Info.LimitExceeded, True),
         BoolToStr(Info.InvalidObjectGraph, True), Info.ObjectCount]));
      Exit; // nie sortuj ani nie sumuj częściowej tablicy węzłów
    end;

    Log(Format('%d objects, %d edges (%d unresolved), %d reachable',
      [Info.ObjectCount, Info.EdgeCount, Info.UnresolvedReferenceCount,
       Info.ReachableObjectCount]));
    Log(Format('estimated %d bytes, Catalog retains %d, unreachable %d',
      [Info.TotalEstimatedBytes, Info.CatalogRetainedBytes,
       Info.TotalEstimatedBytes - Info.CatalogRetainedBytes]));

    LogTopRetained(Nodes, Edges, 10);
  finally
    Pdf.Free;
  end;
end;

Dwie pozostałe flagi zasługują na obejrzenie w tej gałęzi błędu. InvalidObjectGraph ustawia się, gdy obiektu katalogu nie da się znaleźć wśród wczytanych obiektów albo gdy obiekt bezpośredni okaże się zawierać sam siebie, co zdarza się tylko w zniekształconym wejściu. LimitExceeded obejmuje też analizę dominatorów, która po 128 przebiegach wciąż się nie ustabilizowała. Diagnostic wyjaśnia każdy przypadek w jednym wierszu. Podanie zera albo wartości ujemnej w MaxObjects lub ujemnego MaxEdges podnosi EArgumentOutOfRangeException zamiast zwracać False

Gdy wywołanie polegnie na limicie, wyrzuć tablice i odpal je jeszcze raz z większymi ograniczeniami. Częściowe rozmiary płytki wyglądają w logu wiarygodnie i mylą dokładnie tak, że ludzie gonią za niewłaściwym obiektem. Limity istnieją, bo sam graf ma swój koszt: każda krawędź trzyma łańcuch Path, więc przebieg z ośmioma milionami krawędzi alokuje osiem milionów małych łańcuchów na dokładkę do mierzonego dokumentu. To narzędzie diagnostyczne, które ktoś odpala celowo

Co tak naprawdę liczy EstimatedShallowBytes?

EstimatedShallowBytes szacuje pamięć rezydentną, a nie bajty w pliku. Dla każdego obiektu dolicza rozmiar instancji sparsowanego obiektu i jego bezpośrednich dzieci, sloty trzymane przez listy słowników i tablic, długość każdego klucza, nazwy i łańcucha oraz ładunek strumienia, o ile ten ładunek jest w RAM: strumień pamięciowy albo leniwie wczytany strumień, który już trafił do pamięci. Strumień, którego bajty wciąż leżą w pliku źródłowym albo który został zrzucony do pliku tymczasowego, dokłada tylko swój narzut obiektowy

To ma praktyczną konsekwencję. Plik pełen skanów profilowany od razu po wczytaniu może pokazywać skromne rozmiary zatrzymane swoich obrazów, bo nikt ich jeszcze nie zdekodował. Uruchom graf po kroku, który spuchlił proces (renderowanie, ekstrakcja tekstu, scalanie), a zmaterializowane strumienie pokażą się z prawdziwą wagą. Dla powtarzalnego sprawdzenia profiluj ten sam plik dwa razy: raz tuż po LoadFromFile, raz po kosztownej operacji, i porównaj czołowe pozycje

ObjectType jest zgrubny. Podaje typ wartości PDF, otStream albo otDictionary i tak dalej, więc obraz, program czcionki i strumień treści strony czytają się wszystkie jako otStream. Rolę pokazuje dopiero krawędź przychodząca. THPDFObjectDependencyEdge.Path zapisuje, gdzie w obiekcie źródłowym znaleziono odwołanie, zaczynając od $, z /Key dla wpisów słownika, [n] dla elementów tablicy i /dictionary dla słownika strumienia. Ścieżka $/Resources/XObject/Im3 od strony albo $/XObject/Im3 od osobnego słownika zasobów oznacza, że obiekt jest używany jako XObject o nazwie Im3; $/FontFile2 idący od deskryptora czcionki to osadzony program TrueType; $/Contents[0] to treść strony

// Własna procedura, nie część biblioteki: porządkuje Count węzłów
// wg rozmiaru zatrzymanego i drukuje ścieżkę jednego odwołania do każdego
procedure LogTopRetained(const Nodes: THPDFObjectDependencyNodeArray;
  const Edges: THPDFObjectDependencyEdgeArray; Count: Integer);
var
  Taken: array of Boolean;
  I, J, Best: Integer;
  Via: AnsiString;
begin
  SetLength(Taken, Length(Nodes));
  for I := 1 to Count do
  begin
    Best := -1;
    for J := 0 to High(Nodes) do
      if (not Taken[J]) and ((Best < 0) or
         (Nodes[J].EstimatedRetainedBytes >
          Nodes[Best].EstimatedRetainedBytes)) then
        Best := J;
    if Best < 0 then
      Break;
    Taken[Best] := True;

    Via := '(no incoming reference)';
    for J := 0 to High(Edges) do
      if Edges[J].Resolved and
         (Edges[J].TargetObjectNumber = Nodes[Best].ObjectNumber) and
         (Edges[J].TargetGenerationNumber = Nodes[Best].GenerationNumber) then
      begin
        Via := Edges[J].Path;
        Break;
      end;

    Log(Format('%d %d obj  shallow %d  retained %d  refs in %d  via %s',
      [Nodes[Best].ObjectNumber, Nodes[Best].GenerationNumber,
       Nodes[Best].EstimatedShallowBytes, Nodes[Best].EstimatedRetainedBytes,
       Nodes[Best].IncomingReferenceCount, string(Via)]));
  end;
end;

Jedna ścieżka przychodząca wystarcza, by sklasyfikować większość obiektów. Dla obiektu współdzielonego IncomingReferenceCount mówi, ile jest odwołań, a ImmediateDominatorObjectNumber wraz z numerem generacji mówi, który obiekt jest jego właścicielem po analizie dominatorów. To pole ma wartość -1 dla katalogu i dla każdego obiektu, do którego katalog nie dociera. Krawędź z flagą Resolved ustawioną na False wskazuje numer obiektu, którego nie ma wśród wczytanych; takie przypadki liczy UnresolvedReferenceCount, a wysoki licznik w pliku, który poza tym wygląda na zdrowy, zwykle oznacza uszkodzoną sekcję odsyłaczy krzyżowych

Skąd biorą się obiekty nieosiągalne?

Węzeł z ReachableFromCatalog ustawionym na False jest wczytany i kosztuje pamięć, ale żaden łańcuch odwołań od katalogu do niego nie prowadzi, więc nic w strukturze dokumentu nie zawiedzie tam przeglądarki. Jego rozmiar zatrzymany równa się rozmiarowi płytki, bo analiza dominatorów biegnie tylko po obiektach osiągalnych. Suma EstimatedRetainedBytes po węzłach nieosiągalnych daje więc ten sam wynik, co TotalEstimatedBytes - CatalogRetainedBytes

Aktualizacje przyrostowe to częste źródło, choć nie w sposób, w jaki ludzie zwykle zakładają. Gdy późniejsza rewizja przedefiniowuje obiekt 2120, wygrywa najnowszy wpis odsyłaczy krzyżowych, a starsza definicja nigdy nie jest wczytywana, więc zastąpione kopie tego samego numeru obiektu w grafie nie występują. Pojawia się za to obiekt, do którego późniejsza rewizja po prostu przestała się odwoływać: adnotacja wypadła z przepisanego słownika /Annots, obraz zastąpiony nowym numerem obiektu, pole formularza usunięte z AcroForm. Nic w ISO 32000-1 §7.5.6 nie zobowiązuje aktualizacji do oznaczania tych wpisów jako wolnych i dopóki dane odsyłaczy krzyżowych figurują jako w użyciu, loader traktuje je jak żywe obiekty. Jak nakładają się rewizje, opisuje artykuł o strumieniach obiektów i aktualizacjach przyrostowych

HotPDF: Aktualizacja przyrostowa przekierowująca odwołanie na nowy obiekt i zostawiająca wcześniej wskazywany obiekt wczytany, lecz nieosiągalny z Catalog
Aktualizacja, która wskazuje dokument na nowy obiekt, zostawia wcześniej wskazywany obiekt wypisany i wczytany, lecz poza zasięgiem Catalog, a jego bajty wciąż wliczają się do TotalEstimatedBytes

Pozostałe dwa źródła to producenci, którzy zapiszą obiekty i potem nie potrafią ich powiązać, oraz uszkodzone pliki, których dane odsyłaczy krzyżowych trzeba było odbudować skanowaniem, co potrafi podbrać definicje obiektów, do których nic się nie odwołuje. Gdy duża część szacowanej sumy siedzi w węzłach nieosiągalnych, czyste przepisanie pliku wygrywa z dopisywaniem kolejnej rewizji, a graf daje ci liczbę bajtów, by uzasadnić wolniejszy zapis

Czy to parser trzyma pamięć?

Zanim obwinisz dokument, sprawdź, jak zachowało się samo wczytywanie. Dwa wywołania opisują parser, a nie zawartość, i oba resetują się na starcie każdego LoadFromFile czy LoadFromStream, więc zawsze opisują ostatnie wczytanie

GetLastParserArenaStatistics wypełnia rekord THPDFParserArenaStatistics dla areny bloków, która w trakcie parsowania trzyma krótkotrwałe tokeny i bufory. Bloki mają 64 KiB (BlockSize), a alokacja większa od bloku dostaje blok własnego rozmiaru. AllocationCount minus ReusedAllocationCount równa się BlockAllocationCount, czyli liczbie razy, gdy arena musiała poprosić menedżer pamięci o nowy blok. Bloki są trzymane przez całe życie instancji THotPDF i zwalniane przy jej niszczeniu. Jeśli jedna instancja przetwarza całą partię, RetainedBytes w przybliżeniu odzwierciedla największy roboczy zestaw, jakiego wymagał którykolwiek plik tej partii, co tłumaczy plateau trwające aż do zwolnienia komponentu. TemporaryObjectElisionCount liczy klucze słownikowe czytane prosto do areny zamiast budowane jako tymczasowe obiekty nazw

GetDocumentStringInternStatistics opisuje pulę per dokument, która deduplikuje nazwy PDF, operatory strumienia treści i krótkie łańcuchy. Kwalifikują się łańcuchy od 1 do 64 bajtów. Pula trzyma co najwyżej 65 536 wpisów i 4 MiB, a te sufity wracają w rekordzie jako MaxStringLength, MaxEntryCount i MaxRetainedBytes. Łańcuch pusty, dłuższy niż 64 bajty albo nowy, gdy pula jest pełna, jest liczony w BypassCount i trzymany jako zwykły łańcuch. Plik generujący ogromne ilości unikalnych nazw kosztuje więc w przybliżeniu tyle, ile kosztowałby bez puli, i ani grosza więcej

var
  Arena: THPDFParserArenaStatistics;
  Intern: THPDFDocumentStringInternStatistics;
begin
  if Pdf.GetLastParserArenaStatistics(Arena) then
    Log(Format('arena: %d blocks, %d bytes held, peak %d, ' +
      '%d new blocks for %d allocations, %d tokens',
      [Arena.RetainedBlockCount, Arena.RetainedBytes, Arena.PeakUsedBytes,
       Arena.BlockAllocationCount, Arena.AllocationCount, Arena.TokenCount]));

  if Pdf.GetDocumentStringInternStatistics(Intern) then
  begin
    Log(Format('intern: %d of %d requests hit, %d bypassed, %d bytes reused',
      [Intern.HitCount, Intern.RequestCount, Intern.BypassCount,
       Intern.ReusedBytes]));
    // Własna kontrola, nie wywołanie biblioteki: flaguje pulę, która doszła do sufitów
    if (Intern.EntryCount >= Intern.MaxEntryCount) or
       (Intern.RetainedBytes + Intern.MaxStringLength >
        Intern.MaxRetainedBytes) then
      Log('intern pool at its cap: later strings were not deduplicated');
  end;
end;
HotPDF: Statystyki areny parsera i puli internowania ciągów z ponownym użyciem alokacji i ograniczonym licznikiem obejść
Rekord areny pokazuje, jak dużo ruchu parsera użyło ponownie bloków z recyklingu, a rekord intern pokazuje pulę zarabiającą na swoje utrzymanie, zanim jej sufity wymuszą obejścia — duże ponowne użycie z niską liczbą obejść oczyszcza wczytywanie z podejrzeń

Typowe PDF-y powtarzają mały słownik nazw i operatorów, więc HitCount siedzi blisko RequestCount, a ReusedBytes rośnie z liczbą stron. BypassCount zbliżający się do RequestCount przy skromnym pliku to anomalia. Na ścieżce przyjmowania niezaufanych uploadów warto to zalogować

Kolejność triażu przy skardze na pamięć

Zacznij od CatalogRetainedBytes. Jeśli jest blisko wzrostu, który zmierzyłeś w procesie, pamięć jest w dokumencie i szczyt listy zatrzymanej wskaże gdzie. Jeśli jest daleko poniżej, pamięć mieszka gdzieś, czego graf nie mierzy: we własnych cache, wyrenderowanych bitmapach albo arenie parsera, a rekord areny to następna rzecz do przeczytania

  1. Uszereguj węzły według EstimatedRetainedBytes i przeczytaj przychodzące Path dziesiątki z czoła. Cele typu XObject na górze zwykle wskazują treść pełną skanów, gdzie opłaca się downsampling; cele /FontFile, /FontFile2 czy /FontFile3 wskazują pełne programy czcionek osadzone tam, gdzie wystarczyłyby podzbiory; duże strumienie /Contents zwykle pochodzą z generowanej grafiki wektorowej, jak mapy albo eksporty CAD
  2. Odejmij CatalogRetainedBytes od TotalEstimatedBytes. Duża reszta to porzucone obiekty, więc poprawka należy do kroku zapisu
  3. Rekordy areny i internowania przeczytaj na końcu. Rzadko wyjaśniają gigabajty, za to wyjaśniają proces, który zostaje duży po zamknięciu każdego dokumentu

Wykonaj te kroki w tej kolejności. Pierwszy rozstrzyga większość skarg, a przy bardzo dużych dokumentach odpowiedzią strukturalną bywa rezygnacja z trzymania całego grafu obiektów naraz — dokładnie do tego zbudowano przepływ pracy bezpośredniego API plikowego

Wszystkie trzy diagnostyki to zwykłe wywołania metod zwracające proste rekordy, więc wpasują się w dowolne logowanie albo telemetrię, jakie aplikacja Delphi czy C++Builder już ma. HotPDF jest dostarczany jako natywny komponent VCL z pełnym kodem źródłowym; dokumentacja i wersja próbna czekają na stronie komponentu HotPDF dla Delphi