기술 문서

PDF 메모리 잠식범 찾기: HotPDF 객체 의존성 그래프

2 MB 폰트 하나를 내장한 400페이지짜리 리포트에서 각 페이지가 자신이 참조하는 모든 대상의 비용을 떠안는다고 치면 총액이 이상하게 나옵니다. 디스크에는 30 MB 정도인 파일인데 페이지들을 합산하면 폰트가 800 MB에 이르는 식입니다. 반대로 폰트를 균등하게 나눠 배분하면 페이지 하나가 약 5 KB만 부담하므로 비싸 보이는 항목이 하나도 없고 메모리는 어디에서 갑자기 나타난 것 같아집니다. 어느 쪽 숫자도 실제 질문, 곧 특정 객체가 사라진다면 몇 바이트가 반환되는지에는 답해 주지 못합니다

이 수치에는 이름이 붙어 있습니다. 힙 분석에서 부르는 retained size이고, 그래프 이론에는 이를 계산하는 깔끔한 방법이 있습니다. 객체 비용을 지배자(dominator)에게 청구하는데, 지배자란 루트에서 그 객체로 가는 모든 경로가 반드시 통과해야 하는 가장 가까운 객체입니다. 공유 객체는 자기를 진짜로 소유하는 노드를 만날 때까지 위로 떠오르고, 독점 객체는 제자리에 머물며, 총액은 이중 계산 없이 맞아떨어집니다

얕은 크기, 유지 크기, 그리고 HotPDF의 지배자 규칙

HotPDF는 로드된 문서에 대해 THotPDF.BuildLoadedObjectDependencyGraph로 이 계산을 수행합니다. 이 호출은 로드된 간접 객체마다 THPDFObjectDependencyNode를, 간접 참조마다 THPDFObjectDependencyEdge를 하나씩 돌려주고, 트레일러의 /Root 항목이 가리키는 객체인 문서 Catalog를 루트로 삼아 지배자 분석을 돌립니다(ISO 32000-1 §7.7.2). 각 노드는 두 가지 크기를 갖습니다. EstimatedShallowBytes는 객체 자체의 비용이고, EstimatedRetainedBytes는 자기 비용에 지배하는 모든 객체의 얕은 크기까지 더한 값입니다

폰트 이야기로 돌아가 보면, 모든 페이지가 이를 참조하므로 어느 한 페이지도 이를 지배하지 않습니다. 경로들이 수렴하는 지점은 그 페이지들 바로 위의 페이지 트리 노드이고, 플랫 트리라면 루트 /Pages 객체입니다. 폰트의 2 MB는 그 자리에 기록됐다가 Catalog로 말려 올라갑니다. 12페이지에서만 그려지는 이미지 XObject는 정반대 사례입니다. 이로 가는 모든 경로가 12페이지를 지나므로 12페이지의 유지 크기에는 이미지 전체가 포함됩니다. 따라서 유지 크기 목록의 상위는 제거했을 때 메모리가 반환되는 객체들의 목록이 됩니다

HotPDF: 지배자가 유지 바이트를 귀속시키는 의존성 그래프. 한 페이지가 홀로 붙잡고 있는 이미지 XObject는 그 페이지에 청구되고 모든 페이지가 공유하는 폰트는 Catalog에 청구된다
지배자 규칙은 한 페이지가 홀로 살려두는 이미지 XObject 비용을 그 페이지에 청구하고, 모든 페이지가 참조하는 폰트는 Catalog로 말아 올립니다. 따라서 유지 총액은 이중 계산 없이 합산됩니다

같은 계산이 검증용 교차 확인 하나도 공짜로 줍니다. THPDFObjectDependencyGraphInfo.CatalogRetainedBytes는 Catalog에서 도달 가능한 모든 객체의 얕은 크기 합과 같고, TotalEstimatedBytes는 도달 여부와 무관하게 로드된 모든 객체의 얕은 크기 합입니다. 두 값의 차이는 문서가 더 이상 가리키지 않는 객체가 붙잡고 있는 메모리입니다

그래프 실행과 실패한 결과 읽기

이 메서드는 분석 전체가 끝났을 때만 True를 돌려주며, 검사할 대상은 바로 이 반환값입니다. False여도 info 레코드는 채워지지만 그 배열들을 근거로 삼아 보고해서는 안 됩니다. 객체 수가 MaxObjects(기본값 250,000)를 넘으면 메서드는 노드를 만들기 전에 중단하고 ObjectCount에 한도보다 1 큰 값을 넣는데, 이는 한도가 너무 작았다는 사실은 알려주지만 문서가 실제로 얼마나 큰지는 알려주지 않는다는 뜻입니다. 스캔 도중에 엣지 예산(기본값 2,000,000)이나 직접 객체의 256단계 중첩 한도에 걸리면 노드는 부분적인 얕은 크기만 갖고 돌아오며 유지 크기와 도달 가능성은 아예 없습니다

uses
  SysUtils, HPDFDoc;

procedure ProfileLoadedPdf(const FileName: string);
var
  Pdf: THotPDF;
  Nodes: THPDFObjectDependencyNodeArray;
  Edges: THPDFObjectDependencyEdgeArray;
  Info: THPDFObjectDependencyGraphInfo;
begin
  Pdf := THotPDF.Create(nil);
  try
    // LoadFromFile은 페이지 수를 돌려주며 0이면 로드가 실패한 것이다
    if Pdf.LoadFromFile(FileName) = 0 then
      Exit;

    // 오프라인 포렌식 실행을 위해 올린 한도값
    if not Pdf.BuildLoadedObjectDependencyGraph(Nodes, Edges, Info,
      1000000, 8000000) then
    begin
      // Log은 자체 로깅 루틴이다
      Log(Format('graph incomplete: %s (limit %s, invalid %s, objects %d)',
        [string(Info.Diagnostic), BoolToStr(Info.LimitExceeded, True),
         BoolToStr(Info.InvalidObjectGraph, True), Info.ObjectCount]));
      Exit; // 부분 노드 배열을 순위 매기거나 합산하지 않는다
    end;

    Log(Format('%d objects, %d edges (%d unresolved), %d reachable',
      [Info.ObjectCount, Info.EdgeCount, Info.UnresolvedReferenceCount,
       Info.ReachableObjectCount]));
    Log(Format('estimated %d bytes, Catalog retains %d, unreachable %d',
      [Info.TotalEstimatedBytes, Info.CatalogRetainedBytes,
       Info.TotalEstimatedBytes - Info.CatalogRetainedBytes]));

    LogTopRetained(Nodes, Edges, 10);
  finally
    Pdf.Free;
  end;
end;

실패 분기에서는 플래그 두 개를 더 볼 만합니다. InvalidObjectGraph는 로드된 객체들 사이에서 Catalog 객체를 찾지 못했거나 어떤 직접 객체가 자기 자신을 포함하는 것으로 밝혀질 때 설정되는데, 후자는 형식이 깨진 입력에서만 벌어집니다. LimitExceeded는 128번의 패스를 지나도 수렴하지 않은 지배자 분석까지 함께 뜻합니다. Diagnostic은 각 사례를 한 줄로 설명해 줍니다. MaxObjects에 0이나 음수를, MaxEdges에 음수를 넘기면 False를 반환하는 대신 EArgumentOutOfRangeException이 올라옵니다

호출이 한도로 실패했다면 배열을 버리고 더 큰 한도로 다시 실행합니다. 부분적인 얕은 크기는 로그에서는 그럴듯해 보이면서 정확히 엉뚱한 객체로 사람을 유인하는 방식으로 틀립니다. 한도가 존재하는 이유는 그래프 자체에도 비용이 들기 때문입니다. 엣지마다 Path 문자열을 저장하므로 800만 엣지짜리 실행은 측정 대상 문서 위에 작은 문자열 800만 개를 추가로 할당합니다. 이 작업은 누군가 의도적으로 발동하는 진단 경로에 두는 것이 맞습니다

EstimatedShallowBytes는 실제로 무엇을 세는가

EstimatedShallowBytes는 파일 안의 바이트가 아니라 상주 메모리를 추정합니다. 객체마다 파싱된 객체와 직접 자식들의 인스턴스 크기, 딕셔너리·배열 리스트가 들고 있는 슬롯, 모든 키·이름·문자열의 길이에 더해, 스트림 페이로드가 RAM에 있다면(메모리 스트림이거나 이미 메모리로 읽혀진 지연 로딩 스트림이라면) 그 페이로드까지 더합니다. 바이트가 아직 원본 파일에 그대로 있거나 임시 파일로 내려간 스트림은 객체 오버헤드만 기여합니다

실용적인 함의가 있습니다. 스캔 위주 파일을 로드 직후에 프로파일링하면 이미지들의 유지 크기가 소박하게 나올 수 있습니다. 아직 아무도 디코딩하지 않았기 때문입니다. 프로세스를 불린 단계(렌더링, 텍스트 추출, 병합)가 끝난 뒤에 그래프를 돌리면 실체화된 스트림이 실제 무게를 갖고 나타납니다. 재현 가능한 확인을 원한다면 같은 파일을 두 번, LoadFromFile 직후와 비싼 연산 이후에 각각 프로파일링해 상위 항목을 비교하면 됩니다

ObjectType은 조악합니다. PDF 값 타입, 곧 otStream이나 otDictionary 따위를 보고할 뿐이라 이미지, 폰트 프로그램, 페이지 콘텐츠 스트림이 모두 otStream으로 읽힙니다. 역할이 드러나는 곳은 들어오는 엣지입니다. THPDFObjectDependencyEdge.Path는 참조가 원본 객체의 어디에서 발견됐는지를 기록하며 $로 시작해, 딕셔너리 항목은 /Key, 배열 항목은 [n], 스트림의 딕셔너리는 /dictionary로 표기합니다. 페이지에서 온 $/Resources/XObject/Im3이나 별도 리소스 딕셔너리에서 온 $/XObject/Im3는 이 객체가 Im3라는 이름의 XObject로 쓰인다는 뜻이고, 폰트 디스크립터에서 오는 $/FontFile2는 내장된 TrueType 프로그램, $/Contents[0]는 페이지 콘텐츠를 가리킵니다

// 라이브러리 외부의 자체 헬퍼: 상위 Count개 노드를
// 유지 크기 순으로 매기고 각 노드의 들어오는 참조 경로 하나를 출력한다
procedure LogTopRetained(const Nodes: THPDFObjectDependencyNodeArray;
  const Edges: THPDFObjectDependencyEdgeArray; Count: Integer);
var
  Taken: array of Boolean;
  I, J, Best: Integer;
  Via: AnsiString;
begin
  SetLength(Taken, Length(Nodes));
  for I := 1 to Count do
  begin
    Best := -1;
    for J := 0 to High(Nodes) do
      if (not Taken[J]) and ((Best < 0) or
         (Nodes[J].EstimatedRetainedBytes >
          Nodes[Best].EstimatedRetainedBytes)) then
        Best := J;
    if Best < 0 then
      Break;
    Taken[Best] := True;

    Via := '(no incoming reference)';
    for J := 0 to High(Edges) do
      if Edges[J].Resolved and
         (Edges[J].TargetObjectNumber = Nodes[Best].ObjectNumber) and
         (Edges[J].TargetGenerationNumber = Nodes[Best].GenerationNumber) then
      begin
        Via := Edges[J].Path;
        Break;
      end;

    Log(Format('%d %d obj  shallow %d  retained %d  refs in %d  via %s',
      [Nodes[Best].ObjectNumber, Nodes[Best].GenerationNumber,
       Nodes[Best].EstimatedShallowBytes, Nodes[Best].EstimatedRetainedBytes,
       Nodes[Best].IncomingReferenceCount, string(Via)]));
  end;
end;

들어오는 경로 하나만으로도 대부분의 객체를 분류할 수 있습니다. 공유 객체라면 IncomingReferenceCount가 참조가 몇 개인지 알려주고, ImmediateDominatorObjectNumber와 세대 번호가 지배자 분석 후 어느 객체가 이를 소유하는지 알려줍니다. 이 필드는 Catalog와 Catalog가 도달할 수 없는 모든 객체에 대해 -1입니다. Resolved 플래그가 False인 엣지는 로드되지 않은 객체 번호를 가리키며 그런 엣지는 UnresolvedReferenceCount에 셈됩니다. 다른 멀쩡한 파일에서 이 수가 높다면 대개 손상된 교차 참조 섹션을 의미합니다

도달 불가능한 객체는 어디에서 오는가

ReachableFromCatalog가 False인 노드는 로드돼 메모리를 쓰지만 Catalog에서 이어지는 참조 사슬이 없으므로 문서 구조상 뷰어를 이곳으로 인도할 것도 없습니다. 지배자 분석은 도달 가능한 객체만 대상으로 돌기 때문에 이런 노드의 유지 크기는 얕은 크기와 같습니다. 따라서 도달 불가능 노드들의 EstimatedRetainedBytes를 합산하면 TotalEstimatedBytes - CatalogRetainedBytes와 같은 답이 나옵니다

증분 업데이트는 흔한 원인이지만 사람들이 흔히 상상하는 방식과는 다릅니다. 이후 리비전이 객체 2120을 재정의하면 가장 최근 교차 참조 항목이 이기고 예전 정의는 아예 로드되지 않으므로, 같은 객체 번호의 과거 사본은 그래프에 나타나지 않습니다. 나타나는 것은 이후 리비전이 참조를 그냥 놓아버린 객체입니다. 다시 쓴 /Annots 배열에서 빠진 주석, 새 객체 번호로 갈아치운 이미지, AcroForm에서 제거된 폼 필드가 그렇습니다. ISO 32000-1 §7.5.6은 업데이트가 그런 항목을 free로 표시할 의무를 부과하지 않고, 교차 참조 데이터가 사용 중이라고 여는 한 로더는 이들을 살아있는 객체로 취급합니다. 리비전이 쌓이는 방식은 객체 스트림과 증분 업데이트에 관한 글에서 다룹니다

HotPDF: 증분 업데이트가 참조를 새 객체로 다시 연결해 이전에 참조되던 객체를 로드된 채 남겨두되 Catalog에서는 도달할 수 없게 되는 모습
문서가 새 객체를 가리키도록 업데이트하면 이전에 참조되던 객체는 목록에 남아 로드된 채 Catalog의 손이 닿지 않는 곳에 놓이고 그 바이트는 여전히 TotalEstimatedBytes에 셈됩니다

나머지 둘은 객체를 기록해 놓고 링크하는 데 실패하는 생산 도구와, 스캔으로 교차 참조 데이터를 재구성해야 했던 손상 파일입니다. 재구성 과정에서 아무도 참조하지 않는 객체 정의가 건져 올려질 수 있습니다. 추정 총액의 큰 몫이 도달 불가능 노드에 분포해 있다면 리비전을 몇 개 더 덧붙이는 것보다 파일을 깔끔하게 재작성하는 편이 낫고, 그래프가 더 느린 저장을 정당화해 줄 바이트 수를 제공합니다

메모리를 붙잡고 있는 쪽이 파서라면?

문서 탓하기 전에 로딩 자체가 어떻게 동작했는지부터 확인하세요. 두 호출은 콘텐츠가 아니라 파서를 기술하며 LoadFromFile이나 LoadFromStream이 시작될 때마다 리셋되므로 항상 가장 최근 로드를 기술합니다

GetLastParserArenaStatistics는 파싱 중 수명 짧은 토큰과 버퍼를 담는 블록 아레나의 THPDFParserArenaStatistics 레코드를 채웁니다. 블록은 64 KiB(BlockSize)이며 블록보다 큰 할당에는 그 크기만 한 전용 블록이 준비됩니다. AllocationCount에서 ReusedAllocationCount를 빼면 BlockAllocationCount, 곧 아레나가 메모리 관리자에게 새 블록을 청구해야 했던 횟수가 됩니다. 블록은 THotPDF 인스턴스 수명 내내 유지됐다가 파괴될 때 반환됩니다. 인스턴스 하나가 배치 전체를 처리한다면 RetainedBytes는 대략 그 배치의 어느 파일이 필요로 했던 최대 작업 집합을 반영하고, 컴포넌트를 해제할 때까지 이어지는 고원이 설명됩니다. TemporaryObjectElisionCount는 임시 name 객체를 만들지 않고 아레나로 곧장 읽어 들인 딕셔너리 키의 수입니다

GetDocumentStringInternStatistics는 PDF 이름, 콘텐츠 스트림 연산자, 짧은 문자열을 중복 제거하는 문서 단위 풀을 기술합니다. 1~64바이트 문자열이 대상입니다. 풀은 최대 65,536개 항목과 4 MiB를 넘지 않으며 이 상한들이 레코드의 MaxStringLength, MaxEntryCount, MaxRetainedBytes로 돌아옵니다. 비어 있거나 64바이트보다 긴 문자열, 그리고 풀이 찬 상태에서 새로 들어온 문자열은 BypassCount에 셈되며 평범한 문자열로 유지됩니다. 고유한 이름을 대량으로 만드는 파일은 그 덕분에 풀이 없을 때와 거의 같은 비용, 그리고 그 이상은 들지 않습니다

var
  Arena: THPDFParserArenaStatistics;
  Intern: THPDFDocumentStringInternStatistics;
begin
  if Pdf.GetLastParserArenaStatistics(Arena) then
    Log(Format('arena: %d blocks, %d bytes held, peak %d, ' +
      '%d new blocks for %d allocations, %d tokens',
      [Arena.RetainedBlockCount, Arena.RetainedBytes, Arena.PeakUsedBytes,
       Arena.BlockAllocationCount, Arena.AllocationCount, Arena.TokenCount]));

  if Pdf.GetDocumentStringInternStatistics(Intern) then
  begin
    Log(Format('intern: %d of %d requests hit, %d bypassed, %d bytes reused',
      [Intern.HitCount, Intern.RequestCount, Intern.BypassCount,
       Intern.ReusedBytes]));
    // 라이브러리 호출이 아닌 자체 점검: 상한에 도달한 풀을 표시한다
    if (Intern.EntryCount >= Intern.MaxEntryCount) or
       (Intern.RetainedBytes + Intern.MaxStringLength >
        Intern.MaxRetainedBytes) then
      Log('intern pool at its cap: later strings were not deduplicated');
  end;
end;
HotPDF: 할당 재사용과 상한에 막힌 바이패스 카운터가 담긴 파서 아레나·문자열 인턴 풀 통계
아레나 레코드는 파서 트래픽 가운데 재활용 블록으로 처리된 양을 보여주고 인턴 레코드는 상한이 바이패스를 강제하기 전까지 풀이 제 구실을 다했음을 보여줍니다. 재사용이 높고 바이패스가 낮으면 로더는 용의 선상에서 벗어납니다

평범한 PDF는 이름과 연산자의 작은 어휘를 반복하므로 HitCount는 RequestCount에 근접하고 ReusedBytes는 페이지 수에 비례해 자랍니다. 작은 파일에서 BypassCount가 RequestCount에 근접하는 것은 비정상입니다. 신뢰할 수 없는 업로드를 거르는 유입 경로라면 로그로 남겨 둬야 합니다

메모리 불만을 분류하는 순서

CatalogRetainedBytes부터 보세요. 프로세스에서 측정한 증가분과 비슷하다면 메모리는 문서 안에 있고 유지 목록의 상위가 범인을 지목해 줄 것입니다. 한참 아래라면 메모리는 그래프가 측정하지 않는 곳, 곧 자체 캐시, 렌더링된 비트맵, 파서 아레나 같은 곳에 살고 있으며 다음으로 읽을 것은 아레나 레코드입니다

  1. EstimatedRetainedBytes로 노드 순위를 매기고 상위 10개의 들어오는 Path를 읽습니다. 상위의 XObject 대상은 보통 다운샘플링이 성과를 내는 스캔 위주 콘텐츠를 가리키고, /FontFile, /FontFile2, /FontFile3 대상은 서브셋으로 충분한 자리에 통째로 내장된 폰트 프로그램을, 큰 /Contents 스트림은 지도나 CAD 내보내기 같은 생성된 벡터 출력을 가리킵니다
  2. TotalEstimatedBytes에서 CatalogRetainedBytes를 뺍니다. 나머지가 크다면 흩어진 객체들이고 해결은 저장 단계에 있습니다
  3. 아레나와 인턴 레코드는 마지막에 읽습니다. 기가바이트를 설명해 주는 일은 드물지만 모든 문서를 닫은 뒤에도 프로세스가 커진 채 남아 있는 현상은 설명해 줍니다

이 순서 그대로 진행합니다. 첫 번째 단계가 대부분의 불만을 종결시키고, 매우 큰 문서라면 구조적 해법은 객체 그래프 전체를 한꺼번에 붙잡지 않는 것이므로 직접 파일 API 워크플로가 정확히 그 용도로 만들어져 있습니다

세 가지 진단 모두 평범한 레코드를 돌려주는 평범한 메서드 호출이므로 Delphi나 C++Builder 애플리케이션이 이미 갖춘 로깅이나 텔레메트리에 그대로 넣을 수 있습니다. HotPDF는 전체 소스를 갖춘 네이티브 VCL 컴포넌트로 제공되며 문서와 평가판 다운로드는 HotPDF Delphi PDF 컴포넌트 페이지에 있습니다