파일 이름을 키로 하는 페이지 캐시는 밤사이 같은 이름의 새 리비전으로 덮어쓰인 PDF에게 어제의 페이지를 보여 줍니다. 파일 전체 SHA-256을 키로 하는 캐시는 그런 실수를 절대 하지 않지만, 400 MB 스캔 아카이브에서 해시는 사용자가 실제로 여는 두 페이지를 렌더링하는 것보다 오래 걸릴 수 있습니다. 쓸 만한 키는 그 사이에 있고, 그 선택은 또 하나의 결정을 강제합니다. 메모리 안의 편집이 이미 디스크에 앉아 있는 페이지들에게 무엇을 해야 하는가
RenderCacheFolder 디스크 티어가 메모리 캐시 뒤에 앉는 방식
HotPDF RenderCacheFolder는 HotPDF Delphi 컴포넌트의 인메모리 래스터 캐시 뒤에 영속 티어를 얹고, 속성이 비어 있지 않은 경로를 담고 있을 때만 참여합니다. RenderLoadedPageToBitmapCached(PageIndex, DPI) 호출은 먼저 메모리를 확인하며 페이지 인덱스, DPI, 현재 렌더 설정을 키로 씁니다. 미스면 디스크에 묻습니다. 디스크 히트는 저장된 PNG를 디코딩해 메모리로 다시 승격시키고 복사본을 건네줍니다. 두 티어가 모두 미스일 때만 페이지가 로드된 PDF 페이지를 TBitmap으로 렌더링하기의 전체 렌더러를 통과하고, 그 새 비트맵은 나가는 길에 디스크에 기록됩니다
폴더 레이아웃은 Explorer에서 들여다보기에 충분히 평범합니다. 문서마다 16자 hex 문서 키와 16자 hex 렌더 설정 키를 결합한 이름의 서브폴더를 받고, 모든 페이지는 <page>@<dpi>.png로 그곳에 착지합니다. 루트의 index.txt는 스키마 태그 아래 문서를 최근 사용 순서로 나열하고, 태그가 맞지 않으면 첫 사용 시 폴더 전체가 지워집니다. PNG와 인덱스 기록은 임시 파일에 먼저 가고 MoveFileExW와 replace-existing 플래그로 교체되므로, 기록 한가운데의 크래시는 이전 파일이나 파일 없음을 남깁니다. 디코딩에 실패한 PNG는 지워지고 미스로 셉니다
세 가지 한도가 폴더가 무한히 자라는 걸 막습니다
RenderCacheMaxDocuments(기본 20)는 문서 서브폴더 수를 갈리고 가장 최근에 쓰인 것부터 쫓아냅니다RenderCacheMaxBytes(기본 524288000, 500 MB)는 루트 아래 모든 PNG의 합산 크기를 갈립니다- 각 문서 폴더는 최대 200장의 페이지 이미지를 담습니다. 그 상한은 THotPDF 안에 고정돼 속성이 없습니다
RenderCacheCapacity(기본 8)는 디스크와 무관합니다. 메모리에 쥔 페이지를 셉니다
uses
SysUtils, Graphics, HPDFDoc;
procedure WarmThumbnails(const FileName: string);
var
Pdf: THotPDF;
Bmp: TBitmap;
I: Integer;
begin
Pdf := THotPDF.Create(nil);
try
// 디스크 티어는 폴더와 두 한도를 첫 캐시 렌더에서 한 번 읽으므로
// 그 호출 전에 설정하세요
Pdf.RenderCacheFolder := IncludeTrailingPathDelimiter(
GetEnvironmentVariable('LOCALAPPDATA')) + 'MyViewer\PageCache';
Pdf.RenderCacheMaxDocuments := 50;
Pdf.RenderCacheMaxBytes := Int64(1024) * 1024 * 1024; // 1 GiB
Pdf.RenderCacheCapacity := 16; // 메모리의 페이지
if Pdf.LoadFromFile(FileName) > 0 then
for I := 0 to Pdf.LoadedPageCount - 1 do
begin
Bmp := Pdf.RenderLoadedPageToBitmapCached(I, 96);
if Bmp <> nil then
try
// 복사본을 여기서 썸네일 스트립에 넘기세요
finally
Bmp.Free; // 캐시 호출은 항상 호출자 소유의 복사본을 돌려줍니다
end;
end;
finally
Pdf.Free; // 디스크 엔트리는 다음 세션까지 살아 남습니다
end;
end;
같은 파일로 그 프로시저를 두 번 돌리면 두 번째 패스는 한도에 맞은 것을 하나도 다시 래스터화하지 않습니다. 디스크 캐시는 첫 캐시 렌더에서 만들어져 THotPDF 인스턴스와 함께 살아 그 순간 이후에 폴더나 한도를 바꿔도 이동하거나 크기가 바뀌지 않습니다. 페이지를 디스크에서 떨어뜨리는 조건이 둘 더 있습니다. 메모리 캐시의 기본 엔트리당 천장(32비트 픽셀 64 MiB, 4096 × 4096 페이지) 위의 비트맵은 저장되지 않습니다. 그리고 RenderFallbackPolicy가 기본 rfpIgnore에 머무는 동안에만 디스크 티어가 문의되는데, PNG는 픽셀은 갖고 있지만 더 엄격한 정책이 보고하는 폴백 진단은 없기 때문입니다
자명한 캐시 키는 왜 실패할까?
먼저 떠오르는 키가 셋이고 각자 다른 방식으로 실패합니다. 파일 경로는 덮어쓰기에서 실패합니다. PDF 바이트의 메모리 사본 해시는 제자리에서 파일을 읽는 파서가 그런 사본을 쥘 이유가 없다는 걸 눈치채기 전까지는 안전해 보입니다. 한 번도 채워지지 않은 버퍼를 해싱하면 빈 키가 나오고, 빈 키를 "디스크 건너뜀"으로 다루는 캐시는 PNG를 영영 받지 않는 올바르게 설정된 폴더를 남깁니다. 디스크에서 파일 전체를 해싱하는 것은 동작하지만 열 때마다 모든 바이트를 읽는 비용입니다
더 다루기 힘든 함정은 무효화입니다. 이런 컴포넌트는 모든 로드 시작 시, 모든 편집 뒤, 파괴될 때 메모리 페이지를 비워야 하고, 유혹적인 선택은 같은 자리에서 문서의 디스크 폴더까지 지우는 것입니다. 그렇게 하면 모든 뷰어 세션이 종료 시 자기 캐시를 닦아 다음 날 아침은 어차피 차가운 채로 시작합니다. 편집 뒤에 바뀌지 않은 소스에서 키를 다시 계산하는 것은 더 나쁩니다. 편집된 렌더들이 원본 파일의 키 아래 착지해 다음에 손대지 않은 PDF를 여는 사람에게 서브됩니다. 정체성과 무효화는 한 조각으로 설계돼야 합니다. 하나라도 틀리면 절대 히트하지 않는 캐시나 파일에 없는 페이지를 보여 주는 캐시를 출하하게 됩니다
HotPDF는 PDF 소스를 어떻게 지문 찍나
HotPDF는 LoadFromFile로 로드된 PDF를 크기, 최종 기록 시각, 앞뒤 64 KiB를 SHA-256으로 해싱해 식별하고, 스트림이나 랜덤 액세스 소스는 콘텐츠 전체의 SHA-256으로 식별합니다. 정체성은 로드가 성공할 때 한 번 포착되고, 다이제스트의 첫 16자 hex(64비트)가 문서 키가 됩니다
| 소스 | 정체성 | 비용 | 포착 시점 |
|---|---|---|---|
LoadFromFile | 크기 + 최종 기록 시각 + 앞뒤 64 KiB를 SHA-256으로 해싱 | 파일 크기 무관하게 최대 128 KiB 읽기 | 모든 성공한 로드, RenderCacheFolder를 나중에 설정해도 |
LoadFromStream | 스트림 전체의 SHA-256 | 소스 위 한 번의 전체 패스 | RenderCacheFolder가 로드 전에 설정된 경우에만 |
LoadFromRandomAccessSource | 소스 전체의 SHA-256 | 소스 위 한 번의 전체 패스 | 폴더가 먼저 설정됐고 모든 바이트 범위가 가용할 때만 |
/Encrypt 엔트리를 달고 있는 소스 | 없음 | 없음 | 영영 없음, 디스크 티어는 우회됨 |
데스크톱 뷰어에게 표본 지문이 맞는 기본값이고 열 때마다 전체 해싱은 틀린 기본값입니다. 두 표본 영역은 파일 구조에서 골랐습니다. 헤더는 시작에 있고 트레일러와 마지막 교차 참조 섹션은 끝에 삽니다(ISO 32000-1 §7.5). 증분 업데이트는 새 body와 교차 참조 섹션, 트레일러를 덧붙이고(§7.5.6) 크기와 꼬리를 함께 바꾸며, 평범한 전체 재작성은 최종 기록 시각을 올립니다. 128 KiB 아래에서는 두 표본이 겹쳐 모든 바이트를 커버하므로 작은 문서는 어차피 전체가 해싱됩니다
빠져나가는 것은 큰 파일 한가운데의 같은 크기 편집에, 원본 타임스탬프를 되돌려 놓는 도구입니다. 콘텐츠를 바꾸면서 수정 시각을 일부러 지키는 에디터도 존재하지만 드물고, 그런 파일 앞에서는 캐시가 낡은 페이지를 서브합니다. 반대 사례는 우리 편입니다. Windows 파일 복사는 최종 기록 시각을 지키므로 캐시된 문서의 사본은 같은 엔트리에 히트하는데, 바이트가 같으니 올바른 결과입니다
스트림에는 타임스탬프가 없습니다. 콘텐츠가 유일하게 정직한 정체성이므로 HotPDF는 로드 전에 디스크 캐시가 요청됐을 때만 전체 SHA-256 패스 값을 지불하고, 캐시 폴더 없이 LoadFromStream을 부르는 코드는 추가 비용을 지불하지 않습니다. 두 줄의 순서가 중요해지는 지점입니다
procedure OpenDownloadedPdf(Pdf: THotPDF; Data: TStream;
const CacheRoot: string);
begin
// 스트림에는 잘못된 순서: 콘텐츠 해시는 폴더가 이미
// 설정된 경우에만 계산되므로 이 문서는 디스크 티어를 우회합니다
// Pdf.LoadFromStream(Data);
// Pdf.RenderCacheFolder := CacheRoot;
Pdf.RenderCacheFolder := CacheRoot; // 먼저 설정
Data.Position := 0;
if Pdf.LoadFromStream(Data) <= 0 then
raise Exception.Create('The stream is not a loadable PDF');
end;
아직 다운로드 중인 랜덤 액세스 소스는 도착한 범위들의 해시 대신 정체성 자체를 얻지 못합니다. 정체성 계산이 어떤 이유로든 던지면 로드는 여전히 성공하고 문서는 메모리로만 렌더링됩니다
편집 뒤에 캐시된 페이지들은 어떻게 되나?
로드된 문서를 편집하는 일은 HotPDF 디스크 렌더 캐시에서 아무것도 지우지 않습니다. 편집은 문서의 정체성을 떨어뜨리는 대신, 그래서 그 로드의 나머지는 디스크 티어를 우회하고 저장된 페이지들은 렌더링된 원본 파일에 대해 유효하게 남습니다. 엔트리가 디스크를 떠나는 길은 문서와 바이트 한도, 200페이지 상한, 디코딩에 실패한 PNG, 스키마 변경뿐입니다
키는 디스크 위의 파일을 묘사합니다. 페이지에 도장을 찍거나 주석을 바꾸는 순간 메모리의 문서는 그것과 더 이상 맞지 않으므로, 그 키 아래에서 읽는 것도 쓰는 것도 정직하지 않습니다. InvalidateRenderedPageCache와 편집이 트리거하는 페이지별 무효화는 정체성만 비우고 폴더는 그대로 둡니다. 아무것도 무효화하지 않는 편집 경로를 커버하는 두 번째 검사도 있습니다. 각 디스크 룩업 전에 THotPDF는 로드된 오브젝트가 미저장 변경을 달고 있는지 묻고, 하나라도 있으면 문서를 정체성 없는 것으로 다룹니다
렌더 설정은 반대 방향으로 갑니다. PageRenderBackend를 대입하거나(UseNativeGDIRenderBackend가 대신 해 주는), ConfigureRenderICCWorkflow나 ClearRenderICCWorkflow를 부르면 메모리 페이지는 흘려보내되 정체성은 지켜집니다. 문서가 여전히 파일과 맞기 때문입니다. 그 설정들은 메모리 키에 나타나지 않는 채 픽셀을 바꾸므로, 디스크 키는 백엔드 이름과 블랙 포인트 보정 플래그, ICC proof와 출력 프로파일의 SHA-256 다이제스트를 접어 넣습니다. 메모리 키는 이미 컬러 인텐트와 출력 디더링, 오버프린트 미리보기, luminosity 마스크 모드, 폴백 정책, 모든 optional content group의 가시성을 커버합니다
레이어 가시성은 디스크에 남는 변경의 좋은 예입니다. SetLoadedOptionalContentGroupVisible은 PDF 오브젝트를 만지지 않은 채 재정의를 메모리에 기록하므로, 문서는 정체성을 지키고 토글된 뷰는 기본 뷰 곁의 자기 서브폴더로 렌더링됩니다
procedure ShowLayer(Pdf: THotPDF; const LayerName: AnsiString;
PageIndex: Integer; out Bmp: TBitmap);
var
I: Integer;
begin
for I := 0 to Pdf.GetLoadedOptionalContentGroupCount - 1 do
if Pdf.GetLoadedOptionalContentGroupName(I) = LayerName then
Pdf.SetLoadedOptionalContentGroupVisible(I, True);
// 같은 문서 키, 다른 렌더 설정 키: 이 페이지는 두 번째 폴더에서
// 읽히거나 쓰이고, 기본 뷰는 그대로입니다
Bmp := Pdf.RenderLoadedPageToBitmapCached(PageIndex, 150);
end;
편집된 문서는 새 파일이 되는 것으로만 디스크 티어에 돌아옵니다. 저장하고 결과를 로드하세요
procedure CommitEditsAndRekey(Pdf: THotPDF; const EditedFile: string);
begin
// 편집 뒤: 메모리 페이지를 새로 고침. 소스 정체성은 이미
// 사라졌으므로 원본 문서의 폴더는 읽히지도
// 쓰이지도 않습니다
Pdf.InvalidateRenderedPageCache;
// 저장된 파일은 자기 크기와 최종 기록 시각, 그래서 자기 정체성을 갖고
// 이 로드 뒤의 렌더는 새 키 아래 캐시됩니다
Pdf.SaveLoadedDocument(EditedFile);
if Pdf.LoadFromFile(EditedFile) <= 0 then
raise Exception.Create('Could not reload the edited document');
end;
원본 문서의 폴더는 제자리에 남아 다른 엔트리처럼 RenderCacheMaxDocuments와 RenderCacheMaxBytes로 늙어 갑니다. 편집하지 않은 원본을 다시 열면 그 페이지들은 여전히 그곳에 있습니다
암호화된 소스, junction, 공유 루트
HotPDF 디스크 렌더 캐시는 두 입력을 의도적으로 거부합니다. 암호화된 PDF의 페이지, 그리고 junction이나 다른 reparse point인 문서 서브폴더. 두 규칙 모두 안전을 위해 캐시 히트를 거래합니다
암호화된 PDF는 메모리에 머문다
렌더링된 페이지는 복호화된 콘텐츠입니다. 그것을 평범한 PNG로 캐시 폴더에 쓰면 작성자가 택한 보호 밖의 디스크에 비밀번호로 보호된 문서의 읽을 수 있는 사본을 남깁니다(ISO 32000-1 §7.6). HotPDF는 트레일러가 /Encrypt 엔트리를 달고 있는 소스, 비밀번호로 열었든 빈 사용자 비밀번호로 열었든, 어떤 정체성도 포착하지 않습니다. 그런 문서는 여전히 메모리 티어를 쓰는데, 그것은 프로세스와 함께 사라집니다
연결된 문서 폴더는 건너뛴다
캐시 루트는 여러분이 고르는 것이고 junction을 가리키는 것도 괜찮습니다. 그 아래 서브폴더들이 다릅니다. 캐시는 시작 정리와 룩업, 저장, 세 가지 축출 한도 모두에서 그것들을 스스로 만들고 만지고 지웁니다. 루트에 쓰기 권한을 가진 누군가가 문서 폴더를 다른 디렉터리로의 junction으로 바꿔 놓으면 그 모든 연산이 그것을 따라가고 축출은 엉뚱한 곳의 파일을 지웁니다. 각 진입점은 폴더 속성을 먼저 읽고 reparse point로 표시된 무엇이든 건너뜁니다. 룩업은 미스 하나를 세고, 저장은 쓰기 실패 하나를 세고, 축출은 그대로 둡니다
Unicode 경로와 프로세스당 하나의 루트
RenderCacheFolder는 Unicode string이고 atomic replace는 와이드 Windows API를 부르므로, 시스템 코드 페이지 밖의 프로필 경로(영문 Windows에 중국어 사용자 이름 같은)는 캐시에 온전히 도달합니다. 같은 루트로 해석되는 한 프로세스의 여러 THotPDF 인스턴스는 경로 확장 뒤 대소문자 무관 비교로 하나의 참조 카운트 인덱스와 하나의 락을 공유합니다. 한도에 중요한 부분입니다. index.txt 사본들이 각자 부분적 뷰에 대해 500 MB 예산을 집행하면 폴더가 그 몇 배로 자랄 수 있습니다
공유는 프로세스 경계에서 끝납니다. 같은 루트 위의 두 프로세스는 별개의 인메모리 인덱스를 유지하므로, 동시에 도는 각 응용 프로그램은 자기 루트를 받아야 합니다. 한 프로세스 안의 워커 스레드는 괜찮습니다. PrefetchLoadedPages와 요청 큐를 갖춘 백그라운드 렌더링의 큐는 같은 캐시 경로와 같은 락을 통과합니다
출하 전에 제대로 잡아야 할 설정
- 첫 캐시 렌더 전에, 그리고 스트림이나 랜덤 액세스 로드라면 로드 전에 폴더와 두 한도를 설정하세요
- 암호화된 PDF, 로드 뒤 편집된 문서, 그리고
RenderFallbackPolicy가rfpIgnore가 아닌 동안에는 메모리 전용 렌더링을 예상하세요 %LOCALAPPDATA%같은 사용자별 위치 아래에서 돌아가는 각 응용 프로그램에게 자기 캐시 루트를 주세요
영속 페이지 캐시는 같은 문서를 하루 종일 다시 여는 뷰어에서 디스크 값을 정당화하는데, 이 블로그의 Delphi 커스텀 PDF 뷰어 아키텍처가 그 워크로드입니다. 디스크 티어와 메모리 래스터 캐시, 페이지 렌더러는 모두 Delphi와 C++Builder에서 사용할 수 있는 HotPDF Delphi PDF component의 일부입니다