Dla 400-stronicowego raportu z jedną osadzoną czcionką 2 MB rozliczanie każdej strony za wszystko, do czego się odwołuje, daje dziwną sumę: strony wychodzą na 800 MB czcionki w pliku, który na dysku może mieć 30 MB. Podzielisz czcionkę po równo i każda strona kosztuje jakieś 5 KB, więc nic nie wygląda na drogie, a pamięć jakby wzięła się znikąd. Żadna z tych liczb nie odpowiada jednak na właściwe pytanie: ile bajtów faktycznie uwolniłoby zniknięcie konkretnego obiektu
W analizie sterty ta liczba ma nazwę: rozmiar zatrzymany, a teoria grafów daje czysty sposób na jej wyliczenie. Obiekt rozlicza się na jego dominatora, czyli najbliższy obiekt, przez który każda ścieżka od korzenia musi przejść w drodze do niego. Obiekty współdzielone wypływają w górę, aż trafią na węzeł, który naprawdę jest ich właścicielem, wyłączne zostają na miejscu, a sumy składają się bez podwójnego liczenia
Rozmiar płytki, rozmiar zatrzymany i reguła dominatora w HotPDF
HotPDF wylicza to dla wczytanego dokumentu przez THotPDF.BuildLoadedObjectDependencyGraph. Wywołanie zwraca po jednym THPDFObjectDependencyNode na każdy wczytany obiekt pośredni i po jednej THPDFObjectDependencyEdge na każde odwołanie pośrednie, a potem uruchamia analizę dominatorów zakotwiczoną w katalogu dokumentu, czyli obiekcie wskazanym przez wpis /Root w trailerze (ISO 32000-1 §7.7.2). Każdy węzeł niesie dwa rozmiary. EstimatedShallowBytes to koszt samego obiektu. EstimatedRetainedBytes to jego własny koszt plus koszt płytki każdego obiektu, którym dominuje
Wróćmy do czcionki. Odwołuje się do niej każda strona, więc żadna pojedyncza strona nie jest jej dominatorem; ścieżki zbiegają się dopiero w węźle drzewa stron nad tymi stronami, co w płaskim drzewie jest korzeniowym obiektem /Pages. Tam ląduje te 2 MB czcionki i stamtąd zwija się w górę do katalogu. Obrazowy XObject rysowany na stronie 12 i nigdzie indziej to przypadek odwrotny: każda ścieżka do niego prowadzi przez stronę 12, więc rozmiar zatrzymany strony 12 obejmuje cały obraz. Szczyt listy zatrzymanej to więc lista obiektów, których usunięcie uwolniłoby pamięć
Ta sama arytmetyka daje przy okazji jedno darmowe sprawdzenie krzyżowe. THPDFObjectDependencyGraphInfo.CatalogRetainedBytes równa się zsumowanemu rozmiarowi płytki wszystkich obiektów osiągalnych z katalogu, a TotalEstimatedBytes to zsumowany rozmiar płytki wszystkich wczytanych obiektów, osiągalnych czy nie. Różnica między nimi to pamięć trzymana przez obiekty, na które dokument już nie wskazuje
Uruchamianie grafu i odczyt nieudanego wyniku
Metoda zwraca True tylko wtedy, gdy cała analiza została dokończona, i to właśnie tę wartość zwrotną trzeba sprawdzać. Wynik False nadal wypełnia rekord informacyjny, ale tablic nie nadaje się do raportowania. Gdy liczba obiektów przekracza MaxObjects (domyślnie 250 000), metoda zatrzymuje się, zanim zbuduje jakiekolwiek węzły, i ustawia ObjectCount na jeden więcej niż limit, więc dowiesz się, że limit był za mały, ale nie jak duży jest dokument. Gdy w trakcie skanu wyczerpie się budżet krawędzi (domyślnie 2 000 000) albo limit zagnieżdżenia obiektów bezpośrednich na 256 poziomach, węzły wracają z częściowymi rozmiarami płytki i w ogóle bez rozmiarów zatrzymanych oraz osiągalności
uses
SysUtils, HPDFDoc;
procedure ProfileLoadedPdf(const FileName: string);
var
Pdf: THotPDF;
Nodes: THPDFObjectDependencyNodeArray;
Edges: THPDFObjectDependencyEdgeArray;
Info: THPDFObjectDependencyGraphInfo;
begin
Pdf := THotPDF.Create(nil);
try
// LoadFromFile zwraca liczbę stron; 0 oznacza nieudane wczytanie
if Pdf.LoadFromFile(FileName) = 0 then
Exit;
// Podniesione limity dla śledczej analizy offline
if not Pdf.BuildLoadedObjectDependencyGraph(Nodes, Edges, Info,
1000000, 8000000) then
begin
// Log to twoja własna rutyna logowania
Log(Format('graph incomplete: %s (limit %s, invalid %s, objects %d)',
[string(Info.Diagnostic), BoolToStr(Info.LimitExceeded, True),
BoolToStr(Info.InvalidObjectGraph, True), Info.ObjectCount]));
Exit; // nie sortuj ani nie sumuj częściowej tablicy węzłów
end;
Log(Format('%d objects, %d edges (%d unresolved), %d reachable',
[Info.ObjectCount, Info.EdgeCount, Info.UnresolvedReferenceCount,
Info.ReachableObjectCount]));
Log(Format('estimated %d bytes, Catalog retains %d, unreachable %d',
[Info.TotalEstimatedBytes, Info.CatalogRetainedBytes,
Info.TotalEstimatedBytes - Info.CatalogRetainedBytes]));
LogTopRetained(Nodes, Edges, 10);
finally
Pdf.Free;
end;
end;
Dwie pozostałe flagi zasługują na obejrzenie w tej gałęzi błędu. InvalidObjectGraph ustawia się, gdy obiektu katalogu nie da się znaleźć wśród wczytanych obiektów albo gdy obiekt bezpośredni okaże się zawierać sam siebie, co zdarza się tylko w zniekształconym wejściu. LimitExceeded obejmuje też analizę dominatorów, która po 128 przebiegach wciąż się nie ustabilizowała. Diagnostic wyjaśnia każdy przypadek w jednym wierszu. Podanie zera albo wartości ujemnej w MaxObjects lub ujemnego MaxEdges podnosi EArgumentOutOfRangeException zamiast zwracać False
Gdy wywołanie polegnie na limicie, wyrzuć tablice i odpal je jeszcze raz z większymi ograniczeniami. Częściowe rozmiary płytki wyglądają w logu wiarygodnie i mylą dokładnie tak, że ludzie gonią za niewłaściwym obiektem. Limity istnieją, bo sam graf ma swój koszt: każda krawędź trzyma łańcuch Path, więc przebieg z ośmioma milionami krawędzi alokuje osiem milionów małych łańcuchów na dokładkę do mierzonego dokumentu. To narzędzie diagnostyczne, które ktoś odpala celowo
Co tak naprawdę liczy EstimatedShallowBytes?
EstimatedShallowBytes szacuje pamięć rezydentną, a nie bajty w pliku. Dla każdego obiektu dolicza rozmiar instancji sparsowanego obiektu i jego bezpośrednich dzieci, sloty trzymane przez listy słowników i tablic, długość każdego klucza, nazwy i łańcucha oraz ładunek strumienia, o ile ten ładunek jest w RAM: strumień pamięciowy albo leniwie wczytany strumień, który już trafił do pamięci. Strumień, którego bajty wciąż leżą w pliku źródłowym albo który został zrzucony do pliku tymczasowego, dokłada tylko swój narzut obiektowy
To ma praktyczną konsekwencję. Plik pełen skanów profilowany od razu po wczytaniu może pokazywać skromne rozmiary zatrzymane swoich obrazów, bo nikt ich jeszcze nie zdekodował. Uruchom graf po kroku, który spuchlił proces (renderowanie, ekstrakcja tekstu, scalanie), a zmaterializowane strumienie pokażą się z prawdziwą wagą. Dla powtarzalnego sprawdzenia profiluj ten sam plik dwa razy: raz tuż po LoadFromFile, raz po kosztownej operacji, i porównaj czołowe pozycje
ObjectType jest zgrubny. Podaje typ wartości PDF, otStream albo otDictionary i tak dalej, więc obraz, program czcionki i strumień treści strony czytają się wszystkie jako otStream. Rolę pokazuje dopiero krawędź przychodząca. THPDFObjectDependencyEdge.Path zapisuje, gdzie w obiekcie źródłowym znaleziono odwołanie, zaczynając od $, z /Key dla wpisów słownika, [n] dla elementów tablicy i /dictionary dla słownika strumienia. Ścieżka $/Resources/XObject/Im3 od strony albo $/XObject/Im3 od osobnego słownika zasobów oznacza, że obiekt jest używany jako XObject o nazwie Im3; $/FontFile2 idący od deskryptora czcionki to osadzony program TrueType; $/Contents[0] to treść strony
// Własna procedura, nie część biblioteki: porządkuje Count węzłów
// wg rozmiaru zatrzymanego i drukuje ścieżkę jednego odwołania do każdego
procedure LogTopRetained(const Nodes: THPDFObjectDependencyNodeArray;
const Edges: THPDFObjectDependencyEdgeArray; Count: Integer);
var
Taken: array of Boolean;
I, J, Best: Integer;
Via: AnsiString;
begin
SetLength(Taken, Length(Nodes));
for I := 1 to Count do
begin
Best := -1;
for J := 0 to High(Nodes) do
if (not Taken[J]) and ((Best < 0) or
(Nodes[J].EstimatedRetainedBytes >
Nodes[Best].EstimatedRetainedBytes)) then
Best := J;
if Best < 0 then
Break;
Taken[Best] := True;
Via := '(no incoming reference)';
for J := 0 to High(Edges) do
if Edges[J].Resolved and
(Edges[J].TargetObjectNumber = Nodes[Best].ObjectNumber) and
(Edges[J].TargetGenerationNumber = Nodes[Best].GenerationNumber) then
begin
Via := Edges[J].Path;
Break;
end;
Log(Format('%d %d obj shallow %d retained %d refs in %d via %s',
[Nodes[Best].ObjectNumber, Nodes[Best].GenerationNumber,
Nodes[Best].EstimatedShallowBytes, Nodes[Best].EstimatedRetainedBytes,
Nodes[Best].IncomingReferenceCount, string(Via)]));
end;
end;
Jedna ścieżka przychodząca wystarcza, by sklasyfikować większość obiektów. Dla obiektu współdzielonego IncomingReferenceCount mówi, ile jest odwołań, a ImmediateDominatorObjectNumber wraz z numerem generacji mówi, który obiekt jest jego właścicielem po analizie dominatorów. To pole ma wartość -1 dla katalogu i dla każdego obiektu, do którego katalog nie dociera. Krawędź z flagą Resolved ustawioną na False wskazuje numer obiektu, którego nie ma wśród wczytanych; takie przypadki liczy UnresolvedReferenceCount, a wysoki licznik w pliku, który poza tym wygląda na zdrowy, zwykle oznacza uszkodzoną sekcję odsyłaczy krzyżowych
Skąd biorą się obiekty nieosiągalne?
Węzeł z ReachableFromCatalog ustawionym na False jest wczytany i kosztuje pamięć, ale żaden łańcuch odwołań od katalogu do niego nie prowadzi, więc nic w strukturze dokumentu nie zawiedzie tam przeglądarki. Jego rozmiar zatrzymany równa się rozmiarowi płytki, bo analiza dominatorów biegnie tylko po obiektach osiągalnych. Suma EstimatedRetainedBytes po węzłach nieosiągalnych daje więc ten sam wynik, co TotalEstimatedBytes - CatalogRetainedBytes
Aktualizacje przyrostowe to częste źródło, choć nie w sposób, w jaki ludzie zwykle zakładają. Gdy późniejsza rewizja przedefiniowuje obiekt 2120, wygrywa najnowszy wpis odsyłaczy krzyżowych, a starsza definicja nigdy nie jest wczytywana, więc zastąpione kopie tego samego numeru obiektu w grafie nie występują. Pojawia się za to obiekt, do którego późniejsza rewizja po prostu przestała się odwoływać: adnotacja wypadła z przepisanego słownika /Annots, obraz zastąpiony nowym numerem obiektu, pole formularza usunięte z AcroForm. Nic w ISO 32000-1 §7.5.6 nie zobowiązuje aktualizacji do oznaczania tych wpisów jako wolnych i dopóki dane odsyłaczy krzyżowych figurują jako w użyciu, loader traktuje je jak żywe obiekty. Jak nakładają się rewizje, opisuje artykuł o strumieniach obiektów i aktualizacjach przyrostowych
Pozostałe dwa źródła to producenci, którzy zapiszą obiekty i potem nie potrafią ich powiązać, oraz uszkodzone pliki, których dane odsyłaczy krzyżowych trzeba było odbudować skanowaniem, co potrafi podbrać definicje obiektów, do których nic się nie odwołuje. Gdy duża część szacowanej sumy siedzi w węzłach nieosiągalnych, czyste przepisanie pliku wygrywa z dopisywaniem kolejnej rewizji, a graf daje ci liczbę bajtów, by uzasadnić wolniejszy zapis
Czy to parser trzyma pamięć?
Zanim obwinisz dokument, sprawdź, jak zachowało się samo wczytywanie. Dwa wywołania opisują parser, a nie zawartość, i oba resetują się na starcie każdego LoadFromFile czy LoadFromStream, więc zawsze opisują ostatnie wczytanie
GetLastParserArenaStatistics wypełnia rekord THPDFParserArenaStatistics dla areny bloków, która w trakcie parsowania trzyma krótkotrwałe tokeny i bufory. Bloki mają 64 KiB (BlockSize), a alokacja większa od bloku dostaje blok własnego rozmiaru. AllocationCount minus ReusedAllocationCount równa się BlockAllocationCount, czyli liczbie razy, gdy arena musiała poprosić menedżer pamięci o nowy blok. Bloki są trzymane przez całe życie instancji THotPDF i zwalniane przy jej niszczeniu. Jeśli jedna instancja przetwarza całą partię, RetainedBytes w przybliżeniu odzwierciedla największy roboczy zestaw, jakiego wymagał którykolwiek plik tej partii, co tłumaczy plateau trwające aż do zwolnienia komponentu. TemporaryObjectElisionCount liczy klucze słownikowe czytane prosto do areny zamiast budowane jako tymczasowe obiekty nazw
GetDocumentStringInternStatistics opisuje pulę per dokument, która deduplikuje nazwy PDF, operatory strumienia treści i krótkie łańcuchy. Kwalifikują się łańcuchy od 1 do 64 bajtów. Pula trzyma co najwyżej 65 536 wpisów i 4 MiB, a te sufity wracają w rekordzie jako MaxStringLength, MaxEntryCount i MaxRetainedBytes. Łańcuch pusty, dłuższy niż 64 bajty albo nowy, gdy pula jest pełna, jest liczony w BypassCount i trzymany jako zwykły łańcuch. Plik generujący ogromne ilości unikalnych nazw kosztuje więc w przybliżeniu tyle, ile kosztowałby bez puli, i ani grosza więcej
var
Arena: THPDFParserArenaStatistics;
Intern: THPDFDocumentStringInternStatistics;
begin
if Pdf.GetLastParserArenaStatistics(Arena) then
Log(Format('arena: %d blocks, %d bytes held, peak %d, ' +
'%d new blocks for %d allocations, %d tokens',
[Arena.RetainedBlockCount, Arena.RetainedBytes, Arena.PeakUsedBytes,
Arena.BlockAllocationCount, Arena.AllocationCount, Arena.TokenCount]));
if Pdf.GetDocumentStringInternStatistics(Intern) then
begin
Log(Format('intern: %d of %d requests hit, %d bypassed, %d bytes reused',
[Intern.HitCount, Intern.RequestCount, Intern.BypassCount,
Intern.ReusedBytes]));
// Własna kontrola, nie wywołanie biblioteki: flaguje pulę, która doszła do sufitów
if (Intern.EntryCount >= Intern.MaxEntryCount) or
(Intern.RetainedBytes + Intern.MaxStringLength >
Intern.MaxRetainedBytes) then
Log('intern pool at its cap: later strings were not deduplicated');
end;
end;
Typowe PDF-y powtarzają mały słownik nazw i operatorów, więc HitCount siedzi blisko RequestCount, a ReusedBytes rośnie z liczbą stron. BypassCount zbliżający się do RequestCount przy skromnym pliku to anomalia. Na ścieżce przyjmowania niezaufanych uploadów warto to zalogować
Kolejność triażu przy skardze na pamięć
Zacznij od CatalogRetainedBytes. Jeśli jest blisko wzrostu, który zmierzyłeś w procesie, pamięć jest w dokumencie i szczyt listy zatrzymanej wskaże gdzie. Jeśli jest daleko poniżej, pamięć mieszka gdzieś, czego graf nie mierzy: we własnych cache, wyrenderowanych bitmapach albo arenie parsera, a rekord areny to następna rzecz do przeczytania
- Uszereguj węzły według
EstimatedRetainedBytesi przeczytaj przychodzącePathdziesiątki z czoła. Cele typu XObject na górze zwykle wskazują treść pełną skanów, gdzie opłaca się downsampling; cele/FontFile,/FontFile2czy/FontFile3wskazują pełne programy czcionek osadzone tam, gdzie wystarczyłyby podzbiory; duże strumienie/Contentszwykle pochodzą z generowanej grafiki wektorowej, jak mapy albo eksporty CAD - Odejmij
CatalogRetainedBytesodTotalEstimatedBytes. Duża reszta to porzucone obiekty, więc poprawka należy do kroku zapisu - Rekordy areny i internowania przeczytaj na końcu. Rzadko wyjaśniają gigabajty, za to wyjaśniają proces, który zostaje duży po zamknięciu każdego dokumentu
Wykonaj te kroki w tej kolejności. Pierwszy rozstrzyga większość skarg, a przy bardzo dużych dokumentach odpowiedzią strukturalną bywa rezygnacja z trzymania całego grafu obiektów naraz — dokładnie do tego zbudowano przepływ pracy bezpośredniego API plikowego
Wszystkie trzy diagnostyki to zwykłe wywołania metod zwracające proste rekordy, więc wpasują się w dowolne logowanie albo telemetrię, jakie aplikacja Delphi czy C++Builder już ma. HotPDF jest dostarczany jako natywny komponent VCL z pełnym kodem źródłowym; dokumentacja i wersja próbna czekają na stronie komponentu HotPDF dla Delphi