try..except로 이미지 추출을 감싼 Delphi 서비스는 로그에서 완벽히 건강해 보일 수 있다. EAccessViolation을 잡아 업로드를 나쁜 것으로 표시하고 다음 잡이 시작된다. 몇 분 뒤 상관없는 요청이 문자열 목록을 해제하다 EInvalidPointer로 죽는다. 두 사건은 연결되어 있다. 버퍼 끝을 넘어 쓰다 잘못된 JPEG 2000이나 JBIG2 디코더는 이미 힙을 망쳐 놓았고, 예외를 잡는 것은 그 손상을 그 자리에 남긴 채 제어 흐름만 되찾는다. 믿을 수 없는 메모리는 버려지는 수밖에 없는데, Windows가 깨끗하게 버릴 수 있게 주는 메모리 단위가 바로 프로세스다
디코더를 둘러싼 try..except만으로는 부족한 이유
이미지 코덱은 PDF 리더에서 가장 검증 안 된 데이터 위에 가장 복잡한 상태 기계를 돌리는 부분이다. 바이트가 JPEG 2000이나 JBIG2 디코더에 닿을 즈음에는 교차 참조 테이블이 파싱되고, 이미지 객체가 해석되고, 필터 체인이 풀려 있다. 남는 것은 몇 개의 타일, 몇 개의 컴포넌트, 샘플당 몇 비트인지를 알려 주는 날 코드스트림이다. 거기서 틀린 숫자는 파서가 거절할 수 있는 구문 오류가 아니다. 촘촘한 디코딩 루프 안의 할당 크기, 루프 경계, 배열 인덱스로 변한다
바이트 예산은 이 중 일부를 덮고, 수입 경로라면 어차피 갖추고 있어야 한다. HotPDF는 확장을 DecodeBudgetBytes와 DocumentDecodeBudgetBytes로, 필터 체인을 DecodeFilterLimit과 DecodePipelineDepthLimit으로 제한한다. 그 상한들 뒤에 있는 논리는 중첩 필터와 PDF 폭탄을 위한 경계 디코딩에 정리되어 있다. 예산이 답하는 질문은 하나다. 얼마나 많은 출력이 허용되는가. 잘못된 곳에 몇 바이트를 쓰고 나서 뻗는 디코더에 대해서는 아무 말이 없다
잡히는 편의 크래시는 어떤 면에서 더 나쁜 결과다. 처리되지 않은 크래시는 최소한 프로세스를 멈춘다. 잡힌 크래시는 손상된 힙 위에서 요청 처리를 계속하게 하고, 결국의 실패가 남기는 스택 트레이스는 범인인 PDF과는 전혀 다른 곳을 가리킨다
DCTDecode, JPXDecode, JBIG2Decode를 워커 프로세스로 옮기기
HotPDF는 고위험 이미지 필터 셋, DCTDecode, JPXDecode, JBIG2Decode를 여러분 애플리케이션 안 대신 수명 짧은 워커 프로세스 HotPDFCodecWorker.exe에서 돌릴 수 있다. HPDFCodecIsolation 유닛은 이들을 hckDCT, hckJPX, hckJBIG2로 이름 짓는다. Flate, LZW, RunLength, ASCII85, CCITT는 인프로세스에 남는다. 이 디코더들은 상태가 단순하고, 디코딩 예산이야말로 이들에게 맞는 도구다
요청마다 새 프로세스가 할당된다. 호스트는 이름 붙은 공유 메모리 매핑을 하나 만들어 고정된 THPDFCodecSharedHeader에 이어 압축 코드스트림을, JBIG2라면 전역 세그먼트까지 써 넣고, 워커를 일시중지 상태로 시작시켜 Windows Job Object에 넣은 다음에야 실행을 허용한다. 잡은 정확히 하나의 활성 프로세스만 허용하므로 장악된 디코더가 자식을 낳을 수 없고, kill-on-close로 만들어지므로 워커가 잡 핸들보다 오래 살 수도 없다. 디코딩된 픽셀은 같은 매핑에 24비트 BGR로, 상태 워드와 함께 돌아온다
켜는 데는 THotPDF에 속성 넷이 필요하다. 이미지 호출은 이미 쓰던 그것들 그대로다:
uses
Vcl.Graphics, HPDFDoc, HPDFCodecIsolation;
procedure ExtractUntrustedImages(const FileName: string);
var
Pdf: THotPDF;
Info: THPDFCodecWorkerInfo;
Bmp: TBitmap;
I: Integer;
begin
Pdf := THotPDF.Create(nil);
try
Pdf.CodecIsolationMode := cimRequired; // 이 코덱들은 절대 인프로세스로 디코딩하지 않는다
Pdf.CodecWorkerExecutable := ''; // ''는 호스트 EXE 옆을 뜻한다
Pdf.CodecWorkerTimeoutMilliseconds := 5000; // 1..600000, 그 밖에는 ERangeError
Pdf.CodecWorkerMemoryLimitBytes := 256 * 1024 * 1024; // 0 또는 >= 64 MiB
Pdf.DecodeBudgetBytes := 128 * 1024 * 1024;
if Pdf.LoadFromFile(FileName) > 0 then // 페이지 수를 돌려준다
for I := 0 to Pdf.GetLoadedImageCount - 1 do
begin
Bmp := Pdf.ExtractLoadedImage(I);
try
// 판정을 바로 읽는다. 최근 요청만 기술한다
if Pdf.GetLastCodecWorkerInfo(Info) then
LogCodecOutcome(FileName, I, Info);
if Bmp <> nil then
StoreImage(FileName, I, Bmp); // 여러분 코드
finally
Bmp.Free;
end;
end;
finally
Pdf.Free;
end;
end;
격리된 디코딩이 실패하면 ExtractLoadedImage는 nil을 돌려주므로, Bmp <> nil 검사는 여기서 실질 무게를 진다. GetLastCodecWorkerInfo는 워커 요청이 기록되지 않았을 때 False를 돌려주는데, Flate로 압축된 이미지나 cimDisabled에서 그렇게 보인다
배포 세부사항 두 가지가 문제의 대부분을 낳는다. 빈 CodecWorkerExecutable은 ParamStr(0)의 디렉터리에 있는 HotPDFCodecWorker.exe로 해석된다. 빈 값이 아닌 값은 ExpandFileName을 거치는데, 이는 상대 경로가 현재 디렉터리 기준으로 해석된다는 뜻이다. Windows 서비스의 현재 디렉터리는 보통 System32이므로, 'bin\HotPDFCodecWorker.exe'는 IDE에서는 동작하고 설치 후에는 실패한다. 다른 세부사항은 비트 수다. 워커 빌드 스크립트는 별도의 Win32와 Win64 바이너리를 내놓고, 싣는 것은 호스트 프로세스의 아키텍처와 맞아야 한다
자동 또는 필수: 워커가 없으면 무슨 일이 벌어지는가
THPDFCodecIsolationMode의 세 값은 하나의 질문, 이르면 워커를 전혀 쓸 수 없을 때 무엇을 할지에 답한다. cimDisabled는 시도조차 하지 않고 전부 인프로세스로 디코딩한다. 기본값인 cimAutomatic은 HotPDFCodecWorker.exe가 존재할 때 워커를 쓰고 파일이 없으면 cwsUnavailable을 기록하며 인프로세스 디코딩으로 폴백한다. cimRequired는 폴백을 거부한다. 워커가 없다는 것은 이미지가 디코딩되지 않는다는 뜻이다
폴백은 겉보기보다 좁고, 그 좁음은 의도된 것이다. 폴백하는 것은 실행 파일이 없는 경우뿐이다. 파일이 존재하는데 CreateProcess가 실패하면, 전형적으로 엔드포인트 보안 제품이 막았을 때, 결과는 cwsLaunchFailed이고 cimAutomatic 아래에서도 이미지는 디코딩되지 않는다. 시작했다가 크래시하거나 타임아웃하거나 한도를 넘은 워커는 어느 모드에서도 인프로세스로 재시도되지 않는다. 워커를 방금 죽인 파일을 여러분 프로세스 안에서 다시 시도하는 것은, 워커가 지키려고 있던 바로 그 표적에 공격자에게 두 번째 기회를 주는 행위다
업로드, 메일 첨부물, 파트너 드롭을 읽는 것이라면 무엇이든 cimRequired로 두어라. 기본 모드에는 배포 뒤에야 드러나는 함정이 있다. 워커를 잊은 인스톨러는 모든 이미지를 올바르게 추출하고 모든 기능 테스트를 통과하면서 매 요청마다 호스트 안에서 코덱을 돌리는 서버를 만들어 낸다. 깨진 것처럼 보이는 것이 하나도 없다. cimAutomatic은 사용자가 이미 가진 파일을 여는 데스크톱 뷰어에는 합리적이다. 워커가 없어도 제품이 멈추기보다 성능이 줄어드는 쪽이 맞는 곳이다. cimRequired는 ProgressiveJPEGScanDecoding, 즉 스캔 단위 프로그레시브 JPEG 경로도 끈다. 그 경로는 호스트 안에서 디코딩하기 때문이다
시작 점검 하나면 잊힌 워커를 즉각적이고 시끄러운 실패로 바꿀 수 있다. HPDFResolveCodecWorkerExecutable은 HPDFCodecIsolation에서 public이고 컴포넌트와 같은 해석 규칙을 적용한다:
// 직접 추가하는 시작 점검: 워커가 없으면 시작을 거부한다
procedure RequireCodecWorker(Pdf: THotPDF);
var
WorkerPath: string;
begin
WorkerPath := HPDFResolveCodecWorkerExecutable(Pdf.CodecWorkerExecutable);
if not FileExists(WorkerPath) then
raise Exception.CreateFmt(
'Codec worker missing at %s; refusing to accept PDF uploads',
[WorkerPath]);
end;
THPDFCodecWorkerStatus 읽기
THPDFCodecWorkerInfo는 Status, ProcessId, ExitCode, ElapsedMilliseconds와 호스트 쪽 ErrorMessage를 운반한다. 상태 값들은 cwsNotRun, cwsSucceeded, cwsUnavailable, cwsLaunchFailed, cwsTimedOut, cwsCrashed, cwsDecodeFailed, cwsProtocolError, cwsOutputLimit이고, 운영 관점의 셋으로 갈라진다
- 배포:
cwsUnavailable과cwsLaunchFailed. 워커가 없거나 막혔거나 잡 안에서 시작되지 못했다. 서버를 소유한 이에게 호출하라. 문서 자체는 멀쩡할 수도 있다 - 문서:
cwsDecodeFailed와cwsOutputLimit. 코드스트림이 malformed이거나 정책이 허용하는 것보다 크다. 파일을 거절하는 것이 올바른 답이다 - 봉쇄:
cwsTimedOut,cwsCrashed,cwsProtocolError. 멈춤, 죽은 워커, 또는 헤더가 프로토콜 버전과 맞지 않거나 주장하는 기하가 맞아 떨어지지 않는 응답. 프로세스 경계가 존재하는 이유가 바로 이 사건들이고, 파일은 단순 거부 대신 검역(quarantine)에 보내는 것이 마땅하다
숫자를 읽을 때 cwsDecodeFailed와 cwsCrashed 사이의 선을 알아 두면 편하다. Delphi는 대부분의 액세스 위반을 예외로 바꾸고, 워커는 디코더 주위의 예외를 잡아 실패한 디코딩으로 보고한다. cwsCrashed는 워커 프로세스가 0이 아닌 종료 코드로 끝났다는 뜻인데, 크래시가 너무 심해 어떤 예외 핸들러도 돌 기회를 얻지 못했을 때 벌어진다. ExitCode는 Cardinal이므로 %u나 16진수로 포맷하라. $C0000005를 %d로 찍으면 아무도 올바르게 검색하지 못하는 음수가 된다
procedure LogCodecOutcome(const FileName: string; ImageIndex: Integer;
const Info: THPDFCodecWorkerInfo);
begin
case Info.Status of
cwsSucceeded:
;
cwsUnavailable, cwsLaunchFailed:
AlertOps('Codec worker not usable: ' + Info.ErrorMessage); // 여러분 코드
cwsTimedOut, cwsCrashed, cwsProtocolError:
Quarantine(FileName, Format('image %d: pid %u exit $%.8x after %u ms: %s',
[ImageIndex, Info.ProcessId, Info.ExitCode,
Info.ElapsedMilliseconds, Info.ErrorMessage])); // 여러분 코드
else
RejectDocument(FileName, Info.ErrorMessage); // 여러분 코드
end;
end;
워커는 Windows 오류 대화 상자도 자기 몫만 끈다. 무인 서버의 크래시가 아무도 보지 않는 기계에서 OK를 눌러 주기를 기다리는 모달 박스 대신 이 로그에 나타난다
격리 디코딩마다 걸리는 세 가지 상한
격리 디코딩마다 시간 한도, 메모리 한도, 출력 한도가 걸리고, 상태는 어느 것이 끝냈는지 알려준다. CodecWorkerTimeoutMilliseconds의 기본값은 10,000이고 1부터 600,000까지 받는다. 범위 밖의 값은 값을 조이는 대신 세팅 시점에 ERangeError를 일으킨다. 타임아웃에는 호스트가 잡 전체를 종료하고 cwsTimedOut을 보고한다. CodecWorkerMemoryLimitBytes의 기본값은 536,870,912바이트이고, 상한 없음을 뜻하는 0이거나 최소 67,108,864바이트여야 한다. 이 값은 Job Object의 프로세스별 커밋 메모리 한도가 된다
출력 한도는 파생된다. HotPDF는 요청된 목표 크기, 요청된 영역, 또는 PDF가 선언한 이미지 기하에서 디코딩된 이미지가 필요로 할 바이트를 픽셀당 3바이트로 계산하고, 예산이 설정되어 있으면 그 수치를 DecodeBudgetBytes로 잘라 낸다. 공유 매핑은 그 수치로 크기가 정해지므로 워커는 그 밖에 쓸 공간이 없다. 스캔이 10,000 × 10,000 픽셀을 선언했다고 치자. BGR 출력 300,000,000바이트이고 기본값인 268,435,456바이트의 DecodeBudgetBytes보다 크므로 한도는 256 MiB가 되고 디코딩은 cwsOutputLimit으로 끝난다
호스트는 워커가 돌려주는 크기도 믿지 않는다. 응답은 폭 × 높이 × 3이 주장하는 바이트 수와 같고 그 수치가 호스트 자신의 출력 한도와 매핑 양쪽에 들어맞을 때만 받아들여진다. 장악된 워커는 헤더에 어떤 값이든 쓸 수 있다. 어긋나면 cwsProtocolError로 보고되고 픽셀은 하나도 복사되지 않는다
메모리 한도는 출력 한도보다 넉넉하게 잡아라. 첫 예제의 설정이라면 256 MiB 프로세스 상한 안의 128 MiB 출력 예산이 압축 입력과 디코더 자신의 작업 집합을 위한 여유를 남긴다. 둘을 바짝 붙이면 정당한 대형 스캔이 적대적 입력과 무관한 이유로 워커 안에서 실패하기 시작한다
프로세스 경계가 청구하는 대가
격리 이미지마다 프로세스를 시작하는 비용은 시간이고, 스캔 JPEG 페이지가 수백 장인 문서는 그것을 체감한다. 무인 배치 변환기라면 그 비용은 야간 창에 묻히고 봉쇄야말로 그 잡이 존재하는 이유다. 사용자가 이미 신뢰하는 파일을 보여 주는 인터랙티브 뷰어는 다른 사례다. 거기서는 cimAutomatic, 알려진 내부 아카이브라면 cimDisabled가 정당한 선택이다. CodecIsolationMode는 평범한 속성이므로 한 서비스가 업로드에는 cimRequired를, 자기가 만든 문서에는 더 가벼운 모드를 적용할 수 있다
문제의 코덱이 무엇인가에 따라 위험 그림도 달라진다. JPXDecode 스트림은 할당을 직접 끌어당기는 타일·컴포넌트 개수를 싣고, JBIG2 이미지는 여러 페이지가 공유하는 /JBIG2Globals 스트림에 의존하는 일이 잦다. 이미지별 스트림만 싣는 샌드박스는 그 페이지들을 잘못 디코딩하거나 아예 못 하므로, 전역 세그먼트가 각 이미지와 함께 워커로 들어 간다
코덱 격리, 디코딩 예산, 파서의 구조적 한계는 모두 하나의 네이티브 VCL 컴포넌트 안에 살고, 추가로 배포할 파일은 워커 실행 파일 하나뿐이다. 설치 노트, Win32와 Win64용 워커 빌드, 평가판 내려받기는 Delphi와 C++Builder용 HotPDF 컴포넌트 페이지에 있다