Gömülü tek bir 2 MB yazı tipi taşıyan 400 sayfalık bir raporda, her sayfayı referans verdiği her şeyin bedeliyle suçlamak tuhaf bir toplam üretir: sayfalar, diskte 30 MB olabilecek bir dosyanın içinde 800 MB yazı tipine ulaşır. Yazı tipini bunun yerine eşit bölerseniz her sayfa yaklaşık 5 KB eder; hiçbir şey pahalı görünmez ve bellek boşluktan geliyormuş gibi durur. İki sayı da gerçek soruyu yanıtlamaz: o soru, verilen bir nesne gittiğinde kaç baytın boşalacağıdır
Bu sayının heap analizinde bir adı var, retained size; ve graf teorisi onu hesaplamanın temiz bir yolunu bilir. Bir nesne hâkimine faturalandırılır: kökten ona giden her yolun üzerinden geçmek zorunda olduğu en yakın nesne. Paylaşılan nesneler, gerçekten sahiplenen bir düğüme ulaşana kadar yukarı yüzer; tek sahipli olanlar yerinde kalır ve toplamlar çift sayım olmadan toplanır
HotPDF'te shallow size, retained size ve hâkim kuralı
HotPDF, yüklü bir belge için bunu THotPDF.BuildLoadedObjectDependencyGraph üzerinden hesaplar. Çağrı, yüklü her dolaylı nesne için bir THPDFObjectDependencyNode, her dolaylı referans için bir THPDFObjectDependencyEdge döndürür, sonra analizini belge Catalog'ünü kök alarak yürütür; Catalog, trailer'ın /Root girdisinin adlandırdığı nesnedir (ISO 32000-1 §7.7.2). Her düğüm iki boyut taşır. EstimatedShallowBytes nesnenin kendi başına maliyetidir. EstimatedRetainedBytes ise kendi maliyetinin üstüne, hâkimiyeti altındaki her nesnenin shallow maliyetini koyar
Yazı tipine dönelim. Her sayfa ona referans verir, bu yüzden tek bir sayfa ona hâkim olamaz; yollar yalnızca o sayfaların üstündeki sayfa ağacı düğümünde buluşur, düz bir ağaçta bu da kök /Pages nesnesidir. Yazı tipinin 2 MB'ı oraya düşer, sonra Catalog'e yuvarlanır. 12. sayfada ve başka hiçbir yerde çizilen bir görsel XObject tam tersi bir vaka: ona giden her yol 12. sayfadan geçer, dolayısıyla 12. sayfanın retained size'ı görselin tamamını kapsar. Tutulan listenin tepesi bu yüzden, çıkarıldığında bellek boşaltacak nesnelerin listesidir
Aynı aritmetik bir çapraz kontrolü bedavaya verir. THPDFObjectDependencyGraphInfo.CatalogRetainedBytes, Catalog'den ulaşılabilir her nesnenin shallow boyutlarının toplamına eşittir; TotalEstimatedBytes ise ulaşılabilir olsun olmasın tüm yüklü nesnelerin shallow boyutlarının toplamıdır. İkisi arasındaki fark, belgenin artık işaret etmediği nesnelerin tuttuğu bellektir
Grafiği çalıştırmak ve başarısız bir sonucu okumak
Metot, yalnızca analizin tamamı bittiğinde True döner ve kontrol edilecek şey de bu dönüş değeridir. False sonuç yine de info kaydını doldurur ama diziler, onlardan rapor üretilecek türden değildir. Nesne sayısı MaxObjects sınırını (öntanımlı 250.000) aşınca metot hiç düğüm üretmeden durur ve ObjectCount değerini sınırın bir fazlasına çeker; böylece belgenin ne kadar büyük olduğunu değil, sınırın çok küçük olduğunu öğrenirsiniz. Kenar bütçesine (öntanımlı 2.000.000) ya da doğrudan nesneler için 256 seviyelik iç içe geçme sınırına tarama sırasında rastlanırsa, düğümler kısmi shallow boyutlarla, retained boyut ve ulaşılabilirlik tamamen boş şekilde döner
uses
SysUtils, HPDFDoc;
procedure ProfileLoadedPdf(const FileName: string);
var
Pdf: THotPDF;
Nodes: THPDFObjectDependencyNodeArray;
Edges: THPDFObjectDependencyEdgeArray;
Info: THPDFObjectDependencyGraphInfo;
begin
Pdf := THotPDF.Create(nil);
try
// LoadFromFile sayfa sayısını döndürür; 0, yüklemenin başarısız olduğu anlamına gelir
if Pdf.LoadFromFile(FileName) = 0 then
Exit;
// Çevrimdışı bir adli inceleme için yükseltilmiş sınırlar
if not Pdf.BuildLoadedObjectDependencyGraph(Nodes, Edges, Info,
1000000, 8000000) then
begin
// Log sizin kendi günlük rutininiz
Log(Format('graph incomplete: %s (limit %s, invalid %s, objects %d)',
[string(Info.Diagnostic), BoolToStr(Info.LimitExceeded, True),
BoolToStr(Info.InvalidObjectGraph, True), Info.ObjectCount]));
Exit; // kısmi bir düğüm dizisini sıralamayın ya da toplamayın
end;
Log(Format('%d objects, %d edges (%d unresolved), %d reachable',
[Info.ObjectCount, Info.EdgeCount, Info.UnresolvedReferenceCount,
Info.ReachableObjectCount]));
Log(Format('estimated %d bytes, Catalog retains %d, unreachable %d',
[Info.TotalEstimatedBytes, Info.CatalogRetainedBytes,
Info.TotalEstimatedBytes - Info.CatalogRetainedBytes]));
LogTopRetained(Nodes, Edges, 10);
finally
Pdf.Free;
end;
end;
O hata dalında iki bayrağa daha bakmak gerekir. InvalidObjectGraph, Catalog nesnesi yüklü nesneler arasında bulunamadığında ya da doğrudan bir nesnenin kendisini kapsadığı ortaya çıktığında kurulur; ikincisi yalnızca bozuk girdide olur. LimitExceeded ayrıca 128 geçitte hâlâ oturmamış bir hâkimiyet analizini de kapsar. Diagnostic her vakayı tek satırda açıklar. MaxObjects için sıfır ya da negatif bir değer, MaxEdges için negatif bir değer geçmek False döndürmek yerine EArgumentOutOfRangeException fırlatır
Çağrı bir sınıra takılırsa dizileri çöpe atın ve daha geniş sınırlarla yeniden koşturun. Kısmi shallow boyutlar günlükte inandırıcı görünür ve tam da insanı yanlış nesnenin peşine gönderecek şekilde yanlıştır. Sınırlar bir nedenle var: grafiğin kendisi de maliyet taşır. Her kenar bir Path dizesi saklar; yani sekiz milyon kenarlı bir koşum, ölçtüğü belgenin üstüne sekiz milyon küçük dize ayırır. Bu iş, birinin bilerek tetiklediği bir tanılama yoluna aittir
EstimatedShallowBytes aslında neyi sayar?
EstimatedShallowBytes yerleşik belleği tahmin eder, dosyadaki baytları değil. Her nesne için ayrıştırılmış nesnenin ve doğrudan çocuklarının örnek boyutunu, sözlük ve dizi listelerinin tuttuğu slotları, her anahtarın, adın ve dizenin uzunluğunu ve bir stream'in yükü RAM'deyse o yükü ekler: bir memory stream ya da belleğe okunmuş durumda olan lazy yüklenen bir stream. Baytları hâlâ kaynak dosyada duran ya da geçici bir dosyaya boşaltılmış bir stream yalnızca kendi nesne ek yükünü katar
Bunun pratik bir sonucu var. Tarama ağırlıklı bir dosya, yüklemeden hemen sonra profilenirse görselleri için mütevazı retained boyutlar gösterebilir; çünkü henüz hiçbir şey onları çözümlememiştir. Grafiği, süreci büyüten adımdan (render, metin çıkarma, birleştirme) sonra koşturun, maddileşmiş streamler gerçek ağırlıklarıyla ortaya çıkar. Tekrarlanabilir bir kontrol için aynı dosyayı iki kez profilleyin, bir kez LoadFromFileın hemen ardından, bir kez pahalı işlemin ardından; ve tepedeki girdileri karşılaştırın
ObjectType kaba bir alandır. PDF değer türünü bildirir, otStream ya da otDictionary vesaire; dolayısıyla bir görsel, bir font programı ve bir sayfa içerik akışının tamamı otStream okunur. Rolün ortaya çıktığı yer gelen kenardır. THPDFObjectDependencyEdge.Path, referansın kaynak nesnenin neresinde bulunduğunu kaydeder; $ ile başlar, sözlük girdileri için /Key, dizi öğeleri için [n], bir stream'in sözlüğü için /dictionary yazar. Bir sayfadan gelen $/Resources/XObject/Im3 ya da ayrı bir kaynak sözlüğünden gelen $/XObject/Im3, nesnenin Im3 adlı bir XObject olarak kullanıldığı anlamına gelir; font descriptor'dan gelen $/FontFile2 gömülü bir TrueType programı demektir; $/Contents[0] ise sayfa içeriğidir
// Kendi yardımcınız, kütüphanenin parçası değil: en üstteki Count düğümünü
// retained boyutuna göre sıralar ve her biri için bir gelen referansın yolunu yazar
procedure LogTopRetained(const Nodes: THPDFObjectDependencyNodeArray;
const Edges: THPDFObjectDependencyEdgeArray; Count: Integer);
var
Taken: array of Boolean;
I, J, Best: Integer;
Via: AnsiString;
begin
SetLength(Taken, Length(Nodes));
for I := 1 to Count do
begin
Best := -1;
for J := 0 to High(Nodes) do
if (not Taken[J]) and ((Best < 0) or
(Nodes[J].EstimatedRetainedBytes >
Nodes[Best].EstimatedRetainedBytes)) then
Best := J;
if Best < 0 then
Break;
Taken[Best] := True;
Via := '(no incoming reference)';
for J := 0 to High(Edges) do
if Edges[J].Resolved and
(Edges[J].TargetObjectNumber = Nodes[Best].ObjectNumber) and
(Edges[J].TargetGenerationNumber = Nodes[Best].GenerationNumber) then
begin
Via := Edges[J].Path;
Break;
end;
Log(Format('%d %d obj shallow %d retained %d refs in %d via %s',
[Nodes[Best].ObjectNumber, Nodes[Best].GenerationNumber,
Nodes[Best].EstimatedShallowBytes, Nodes[Best].EstimatedRetainedBytes,
Nodes[Best].IncomingReferenceCount, string(Via)]));
end;
end;
Çoğu nesneyi sınıflandırmak için tek bir gelen yol yeter. Paylaşımlı bir nesne için IncomingReferenceCount kaç referans olduğunu söyler; ImmediateDominatorObjectNumber ve nesil numarası ise hâkimiyet analizinden sonra hangi nesnenin ona sahip olduğunu söyler. Bu alan Catalog için ve Catalog'ün ulaşamadığı her nesne için -1'dir. Resolved bayrağı False olan bir kenar, yüklenmemiş bir nesne numarasını işaret eder; bunlar UnresolvedReferenceCount içinde sayılır ve başka yönden sağlıklı bir dosyada yüksek bir sayı, genellikle hasarlı bir çapraz referans bölümü anlamına gelir
Ulaşılamayan nesneler nereden çıkar?
ReachableFromCatalog bayrağı False olan bir düğüm yüklenmiştir ve bellek tutar; ama Catalog'den ona giden bir referans zinciri yoktur, yani belge yapısında hiçbir şey bir görüntüleyiciyi ona yönlendirmez. Retained boyutu shallow boyutuna eşittir; çünkü hâkimiyet analizi yalnızca ulaşılabilir nesneler üzerinde koşar. Bu yüzden ulaşılamayan düğümlerdeki EstimatedRetainedBytes toplamı, TotalEstimatedBytes - CatalogRetainedBytes ile aynı sonucu verir
Artımlı güncellemeler sık bir kaynaktır, her ne kadar insanların varsaydığı şekilde olmasa da. Sonraki bir revizyon 2120 nesnesini yeniden tanımladığında en yeni çapraz referans girdisi kazanır ve eski tanım hiç yüklenmez; yani aynı nesne numarasının geçilmiş kopyaları grafta görünmez. Görünen şey, sonraki bir revizyonun referans vermeyi bıraktığı nesnedir: yeniden yazılmış bir /Annots dizisinden düşen bir anotasyon, yeni bir nesne numarasıyla değiştirilen bir görsel, AcroForm'dan çıkarılmış bir form alanı. ISO 32000-1 §7.5.6'daki hiçbir madde bir güncellemeyi bu girdileri boş olarak işaretlemeye mecbur bırakmaz ve çapraz referans verisi onları kullanımda listelediği sürece yükleyici onları canlı nesne sayar. Revizyonların nasıl üst üste bindiğini nesne akışları ve artımlı güncellemeler yazısı anlatır
Diğer iki kaynak, nesneleri yazıp sonra bağlamayı başaramayan üreticiler ve çapraz referans verisinin taramayla yeniden kurulmak zorunda kaldığı bozuk dosyalardır; tarama, hiçbir şeyin referans vermediği nesne tanımlarını da toplayabilir. Tahmini toplamın büyük bir bölümü ulaşılamayan düğümlerde oturuyorsa, dosyanın temiz bir yeniden yazımı bir revizyon daha eklemekten iyidir ve graf, yavaş kaydı gerekçelendirmek için bayt sayısını elinize verir
Belleği tutan ayrıştırıcının kendisi mi?
Belgeyi suçlamadan önce yüklemenin kendisinin nasıl davrandığına bakın. İki çağrı içerikten çok ayrıştırıcıyı tarif eder ve ikisi de her LoadFromFile ya da LoadFromStream başında sıfırlanır; yani daima en son yüklemeyi anlatırlar
GetLastParserArenaStatistics, ayrıştırma sırasında kısa ömürlü token ve tamponları tutan blok arenası için bir THPDFParserArenaStatistics kaydı doldurur. Bloklar 64 KiB'dir (BlockSize) ve bir bloktan büyük ayırma, kendi boyutunda bir blok alır. AllocationCount eksi ReusedAllocationCount, BlockAllocationCount'a eşittir; arenanın bellek yöneticisinden yeni blok istemek zorunda kaldığı kez sayısıdır. Bloklar THotPDF örneğinin ömrü boyunca tutulur ve örnek yok edilirken boşaltılır. Tek bir örnek tüm bir yığını işliyorsa RetainedBytes, kabaca o yığın içindeki bir dosyanın gerektirdiği en büyük çalışma kümesini yansıtır; bu da component serbest bırakılana dek süren bir platoyu açıklar. TemporaryObjectElisionCount, geçici name nesneleri olarak kurılmak yerine doğrudan arenaya okunan sözlük anahtarlarını sayar
GetDocumentStringInternStatistics, PDF adlarını, içerik akışı operatörlerini ve kısa dizeleri tekilleştiren belge başına havuzu anlatır. 1-64 bayt arası dizeler uygundur. Havuz en çok 65.536 girdi ve 4 MiB tutar; bu üst sınırlar kayda MaxStringLength, MaxEntryCount ve MaxRetainedBytes olarak yansır. Boş olan, 64 bayttan uzun olan ya da havuz doluyken gelen yeni bir dize BypassCount içinde sayılır ve sıradan bir dize olarak tutulur. Bu yüzden çok sayıda benzersiz ad üreten bir dosya, kabaca havuzsuz koşacak maliyeti öder ve daha fazlasını ödemez
var
Arena: THPDFParserArenaStatistics;
Intern: THPDFDocumentStringInternStatistics;
begin
if Pdf.GetLastParserArenaStatistics(Arena) then
Log(Format('arena: %d blocks, %d bytes held, peak %d, ' +
'%d new blocks for %d allocations, %d tokens',
[Arena.RetainedBlockCount, Arena.RetainedBytes, Arena.PeakUsedBytes,
Arena.BlockAllocationCount, Arena.AllocationCount, Arena.TokenCount]));
if Pdf.GetDocumentStringInternStatistics(Intern) then
begin
Log(Format('intern: %d of %d requests hit, %d bypassed, %d bytes reused',
[Intern.HitCount, Intern.RequestCount, Intern.BypassCount,
Intern.ReusedBytes]));
// Kendi kontrolünüz, kütüphane çağrısı değil: üst sınırlarına dayanan bir havuzu işaretler
if (Intern.EntryCount >= Intern.MaxEntryCount) or
(Intern.RetainedBytes + Intern.MaxStringLength >
Intern.MaxRetainedBytes) then
Log('intern pool at its cap: later strings were not deduplicated');
end;
end;
Tipik PDF'ler küçük bir ad ve operatör söz varlığını yineler; bu yüzden HitCount RequestCount'a yakın durur ve ReusedBytes sayfa sayısıyla büyür. Mütevazı bir dosyada RequestCount'a yaklaşan bir BypassCount olağandışıdır. Güvenilmeyen yüklemelerin giriş yolunda bunu günlüğe yazın
Bellek şikâyeti için bir triyaj sırası
CatalogRetainedBytes ile başlayın. Süreçte ölçtüğünüz büyümeye yakınsa bellek belgenin içindedir ve tutulan listenin tepesi onu adlandırır. Çok altındaysa bellek, grafiğin ölçmediği bir yerdedir; kendi önbellekleriniz, render edilmiş bit eşlemler ya da ayrıştırıcı arenası gibi — ve sıradaki okunacak şey arena kaydıdır
- Düğümleri
EstimatedRetainedBytesile sıralayın ve ilk onun gelenPathdeğerini okuyun. Tepedeki XObject hedefleri genellikle downsample'ın kar ettiği tarama ağırlıklı içeriğe işaret eder;/FontFile,/FontFile2ya da/FontFile3hedefleri, subset yeterken gömülmüş tam font programlarına işaret eder; büyük/Contentsakışları genellikle harita ya da CAD çıktısı gibi üretilmiş vektör çıktısından gelir TotalEstimatedBytesdeğerindenCatalogRetainedBytesdeğerini çıkarın. Büyük bir kalan, mahsur kalmış nesneler demektir; düzeltme kaydetme adımına aittir- Arena ve intern kayıtlarını en son okuyun. Gigabaytları nadiren açıklarlar ama her belge kapatıldıktan sonra büyük kalan bir süreci açıklarlar
Bu adımları bu sırayla koşturun. İlki şikâyetlerin çoğunu kapatır; çok büyük belgelerde yapısal cevap genellikle tüm nesne grafiğini bir seferde tutmayı bırakmaktır ve doğrudan dosya API iş akışı tam bunun için kurulmuştur
Üç tanılama da düz kayıtlar döndüren sıradan metot çağrılarıdır; Delphi ya da C++Builder uygulamasının hâlihazırda sahip olduğu her günlüğe ya da telemetriye oturur. HotPDF, tam kaynakla yerel bir VCL component olarak gelir; belgelendirme ve deneme indirmesi HotPDF Delphi PDF component sayfasında