기술 문서

Delphi에서 HotXLS를 사용하여 Agile 암호화된 Excel 파일 읽기

고객이 자기 책상에서 잘 열리던 통합 문서를 올렸는데 가져오기 서비스가 ZIP 오류로 거부합니다. 첫 여덟 바이트의 헥스 덤프가 D0 CF 11 E0 A1 B1 1A E1, 즉 1997년 시절 .xls가 실던 OLE Compound File 시그니처를 보여줍니다. 파일은 .xlsx 확장자를 가졌고 최신 Excel에서 나왔으며, ZIP 패키지가 전혀 아닙니다. 누군가 다른 이름으로 저장 대화상자에서 비밀번호를 걸어 둔 것입니다

여기가 수수께끼의 전부입니다. Excel은 비밀번호를 걸고 통합 문서를 저장할 때 진짜 .xlsx ZIP을 암호화하고 결과를 Compound File Binary(CFB) 컨테이너로 감싸는데, [MS-OFFCRYPTO] §2.3.4.10부터 §2.3.4.15까지의 Agile 방식을 씁니다. 확장자로 파일을 분류하거나 모든 .xlsx를 곧장 ZIP 리더로 넘기는 로더라면, 화면 저편에서 아무 특이한 짓도 하지 않은 사용자에게 업로드를 되돌려 보낼 것입니다

Agile 암호화된 통합 문서 안에는 무엇이 있나

Agile 암호화된 통합 문서는 중요한 두 스트림을 가진 CFB 컨테이너입니다. 암호화가 어떻게 이루어졌는지 기술하는 EncryptionInfo와, 원본 ZIP을 불투명한 암호화 덩어리 하나로 담는 EncryptedPackage입니다. HotXLS는 두 스트림을 컨테이너에서 직접 읽으며, Excel도 COM도 외부 암호화 DLL도 기계에 필요로 하지 않습니다

Delphi에서 HotXLS가 여는 Agile 암호화 통합 문서의 해부도: EncryptionInfo 디스크립터 스트림과 AES-CBC 세그먼트의 EncryptedPackage 스트림을 담은 CFB 컨테이너
HotXLS는 Agile 암호화 통합 문서를 자가 기술적 EncryptionInfo 스트림과 불투명한 EncryptedPackage 스트림으로 암호화된 .xlsx ZIP을 지닌 CFB 컨테이너로 읽습니다

Agile을 구형 Standard Encryption과 갈라놓는 부분은 EncryptionInfo가 자기 자신을 기술한다는 점입니다. major와 minor 버전이 모두 4인 8바이트 접두어 뒤의 스트림은 UTF-8 XML 디스크립터입니다. keyData 요소는 암호(AES), 체이닝 모드(ChainingModeCBC), 해시 알고리즘, 비트 단위 키 길이, 블록 크기, Base64 솔트를 이름 짓습니다. 비밀번호 keyEncryptor는 자체 솔트와 spinCount, 그리고 Base64 페이로드 셋인 encryptedVerifierHashInput, encryptedVerifierHashValue, encryptedKeyValue를 실습니다. dataIntegrity 요소는 변조 탐지를 위해 암호화된 HMAC 키와 HMAC 값을 더합니다

Excel 자신은 AES-256, SHA-512, 100,000 스핀 카운트를 씁니다. 그래도 디스크립터는 다르게 말할 수 있고 서드파티 라이터는 실제로 그렇게 합니다. HotXLS는 256을 가정하는 대신 디스크립터의 keyBits를 따르므로 AES-128과 AES-192 파일도 같은 경로로 복호화되고, SHA-512뿐 아니라 hashAlgorithm="SHA256"도 받아들입니다. 각 요소의 hash 속성이 그 요소에 속한 단계를 결정합니다. keyEncryptor 해시가 비밀번호 파생과 검증을 주도하고, keyData 해시가 세그먼트 IV와 무결성 HMAC을 주도합니다. 둘을 섞은 파일도 열립니다

파일 열기: OpenEncrypted 또는 비밀번호를 넘기는 Open

TXLSXWorkbook.OpenEncrypted는 파일 이름과 비밀번호를 받아 성공 시 1을 돌려주는, Open과 같은 계약입니다. 첫 여덟 바이트를 CanReadEncrypted로 살짝 봅니다. CFB 시그니처가 없는 파일은 평범한 Open 경로로 흘러가고 비밀번호는 무시되므로, 언제나 OpenEncrypted를 부르는 가져오기라면 호출 지점에 분기가 필요 없습니다. CFB 파일은 먼저 Standard Encryption으로 시도되고, EncryptionInfo 접두어가 Agile의 4.4 버전을 실고 있으면 Agile 리더가 이어받습니다. 복호화된 ZIP 바이트는 그대로 메모리 안의 평범한 XLSX 로더로 넘어갑니다

두 진입점 모두 파일 이름을 받습니다. Open(Stream)은 CFB 시그니처로 시작하는 스트림을 거부하며 OpenEncrypted를 가리키는 메시지의 예외를 raise하므로, TMemoryStream에 담긴 업로드는 먼저 임시 파일로 내려앉아야 합니다

uses
  System.SysUtils, System.Classes, System.IOUtils, System.Variants, lxHandleX;

function ReadFirstCell(Upload: TMemoryStream;
  const Password: WideString): WideString;
var
  TempName: string;
  Wb: TXLSXWorkbook;
begin
  Result := '';
  // 암호화 패키지는 파일에서 열므로 업로드를 디스크에 흘려놓는다
  TempName := TPath.GetTempFileName;
  Wb := TXLSXWorkbook.Create;
  try
    Upload.SaveToFile(TempName);
    // 평범한 .xlsx, Standard 암호화, Agile 암호화 파일 모두 여기서 동작한다
    if Wb.OpenEncrypted(TempName, Password) = 1 then
      Result := VarToWideStr(Wb.Sheets[1].Cells[1, 1].Value);
  finally
    Wb.Free;
    TFile.Delete(TempName);
  end;
end;

인자 둘짜리 Open(FileName, Password) 오버로드는 같은 복호화 코드에 닿지만 OpenEncrypted에는 없는 한 가지를 더 얹습니다. OnPassword 이벤트입니다. 넘겨준 비밀번호가 실패하면 Open이 OnPassword를 발화하고, 핸들러가 새 비밀번호를 대입하고 Retry를 True로 놓으면 최대 세 번까지 다시 묻습니다. 데스크톱 애플리케이션은 그 핸들러에 비밀번호 프롬프트를 얹을 수 있습니다. 서버는 이를 다른 용도로 쓸 수 있는데, 마지막 절이 그 이야기입니다

비밀번호는 어떻게 AES 키가 되나?

비밀번호는 직접 아무것도 복호화하지 않습니다. 첫 다이제스트는 keyEncryptor 솔트에 비밀번호의 UTF-16LE 바이트를 이어 SHA-512를 돌린 것이고, 그 다이제스트는 spinCount번 다시 해시되며 매 라운드는 이전 다이제스트 앞에 32비트 리틀엔디안 라운드 카운터를 붙입니다. Excel의 100,000 라운드에서는 비밀번호 시도 한 번이 십만 번의 직렬 SHA-512 호출을 치릅니다. 스핀 카운트의 목적이 바로 이것입니다. 정당한 열기는 한 번 내고, 사전 공격은 추측마다 냅니다

Delphi에서 HotXLS가 Agile 암호화 키를 파생하는 방식: 비밀번호가 100,000회 SHA-512 라운드로 스핀되고 세 개의 고정 8바이트 블록 키가 검증기 키와 패키지 키를 낳음
비밀번호는 직접 아무것도 복호화하지 않습니다. SHA-512 스핀 카운트 체인이 세 개의 블록 키 해시를 먹여 검증기 키를 만들고 무작위 패키지 키를 감싸 풉니다

체인은 재현할 만큼 짧고, 그래서 하는 일입니다. 자기 하드웨어에서 추측 한 번이 얼마나 드는지 가장 빨리 보는 방법이니까요. 아래 스케치는 SHA-512 디스크립터로 §2.3.4.11을 따르며 lxXlsxAgileDecrypt 유닛의 공개 XlsSHA512 함수를 씁니다

uses
  System.SysUtils, lxXlsxAgileDecrypt;

// H0 = SHA-512(salt + UTF-16LE(password))
// Hn = SHA-512(LE32(n - 1) + H(n-1)), SpinCount회 반복
function SpinHash(const Password: WideString; const Salt: TBytes;
  SpinCount: Integer): TBytes;
var
  Buf: TBytes;
  PwdLen, I: Integer;
begin
  PwdLen := Length(Password) * SizeOf(WideChar);
  SetLength(Buf, Length(Salt) + PwdLen);
  if Length(Salt) > 0 then
    Move(Salt[0], Buf[0], Length(Salt));
  if PwdLen > 0 then
    Move(Password[1], Buf[Length(Salt)], PwdLen);
  Result := XlsSHA512(Buf);
  SetLength(Buf, 4 + 64);
  for I := 0 to SpinCount - 1 do
  begin
    Buf[0] := Byte(I and $FF);           // 라운드 카운터, little-endian
    Buf[1] := Byte((I shr 8) and $FF);
    Buf[2] := Byte((I shr 16) and $FF);
    Buf[3] := Byte((I shr 24) and $FF);
    Move(Result[0], Buf[4], 64);         // 이전 다이제스트
    Result := XlsSHA512(Buf);
  end;
end;

스핀된 해시도 아직 키가 아닙니다. 여기서 세 키가 나오는데, 각각은 스핀된 값을 고정 8바이트 블록 키를 덧붙여 한 번 더 해시한 것입니다. 검증기 입력에는 FE A7 D2 76 3B 4B 9E 79, 검증기 해시에는 D7 AA 0F 6D 30 61 34 4E, 패키지 키 감싸 풀기에는 14 6E 0B E7 AB AC D0 D6입니다. 각 결과는 선언된 키 길이, AES-256이면 32바이트로 잘립니다. 스펙은 해시가 키보다 짧게 나왔을 때의 처리도 정의하는데, 0x36 바이트로 패딩합니다. SHA-256이나 SHA-512로는 그 어떤 AES 키 크기도 이 경로를 밟지 않지만, 비밀번호 솔트를 블록 크기로 늘려 CBC IV로 쓸 때는 같은 0x36 규칙이 적용됩니다

스핀 카운트는 파일에서 읽히므로 공격 표면이기도 합니다. 십억 라운드를 선언한 업로드는 실패하기 전에 CPU 코어 하나를 묶어둡니다. §2.3.4.11은 spinCount를 10,000,000으로 제한하고, HotXLS는 무엇을 해시하기 전에 더 큰 값을 지원하지 않는 디스크립터로 보고합니다. 공개 업로드 엔드포인트라면 이 상한이 맞는 기본값입니다. Excel 자신의 100,000은 그보다 훨씬 아래입니다

비밀번호 검증과 saltSize 자르기 함정

HotXLS는 패키지를 건드리기 전에 비밀번호를 검증합니다. 첫 파생 키로 encryptedVerifierHashInput을 복호화하고 결과를 해시한 뒤, 두 번째 키로 encryptedVerifierHashValue를 복호화해, 두 다이제스트를 첫 차이 바이트에서 멈추지 않고 전체 해시 길이에 걸쳐 비교합니다. 불일치면 열기는 틀린 비밀번호 결과로 끝나고 패키지 본문은 나쁜 키 아래에서 복호화되지 않습니다. 잘못된 비밀번호가 그럴듯한 쓰레기로 가득한 통합 문서를 만들어낼 수 없는 이유입니다

여기서 스펙의 한 문장을 읽기 쉽게 잘못 읽습니다. §2.3.4.13은 검증기를 saltSize 바이트의 무작위 데이터로 정의하는데, saltSize는 key encryptor 솔트의 길이입니다. 복호화된 검증기는 16바이트 AES 블록의 배수로 패딩되어 돌아오므로 해시 전에 saltSize로 잘라 되돌려야 합니다. Excel은 언제나 saltSize와 blockSize를 16으로 쓰므로 블록 크기로 잘라내는 코드는 Excel 출력에 대한 모든 테스트를 통과합니다. 그리고 32바이트 솔트를 택한 생산 도구의 첫 파일에서 올바른 비밀번호를 거부합니다. HotXLS는 텍스트가 말하는 대로 솔트 길이로 자르는데, Excel 파일에서 두 수가 일치하는 건 우연일 뿐입니다

EncryptedPackage는 어떻게 복호화되나?

패키지 키는 무작위이며 비밀번호에서 파생되지 않습니다. 라이터가 생성해 encryptedKeyValue로 암호화해 두었고, HotXLS는 세 번째 파생 키로 감싸 풀어 keyData가 keyBits로 선언한 만큼의 바이트를 취합니다. 단 한 세그먼트를 복호화하기 전에 파일이 dataIntegrity를 갖고 있다면 그것을 먼저 확인합니다. HMAC 키와 값은 패키지 키로 복호화되고, 크기 접두어까지 포함한 EncryptedPackage 스트림 전체에 대한 HMAC이 저장된 값과 일치해야 합니다. 쓸 만한 dataIntegrity 요소 없이 쓰인 파일은 이 단계를 건너뛰고 그래도 열립니다

HotXLS가 Delphi에서 EncryptedPackage 스트림을 세그먼트별로 복호화하며 keyData 솔트와 세그먼트 인덱스에서 4096바이트 AES-CBC 세그먼트 IV를 각각 유도하는 모습
4096바이트 AES-CBC 세그먼트는 각자의 솔트와 인덱스 IV 아래에서 독립적으로 복호화되고 결과는 선언된 평문 크기로 잘립니다

스트림 자체는 8바이트 리틀엔디안 평문 크기로 시작하고 그 뒤에 4096바이트 세그먼트의 암호문이 이어집니다. 세그먼트마다 자기 IV를 받는데, keyData 솔트에 32비트 리틀엔디안 세그먼트 인덱스를 이어 해시하고 블록 크기로 자른 것입니다. 따라서 어떤 세그먼트든 자체적으로 복호화 가능하고 원리상 무작위 접근도 가능합니다. HotXLS는 패키지 전체를 메모리로 복호화하는데, ZIP 로더가 어차피 완전한 아카이브를 원하기 때문입니다. 복호화 시작 전에 선언된 크기를 실제 스트림 길이와 대조하므로 잘린 업로드나 부풀려진 크기 필드는 깔끔히 실패합니다. 마지막 세그먼트 뒤에는 버퍼가 선언된 크기로 잘려 최대 15바이트의 AES 패딩이 떨어지고, 남는 것은 Excel이 암호화했던 그 ZIP의 바이트 단위 복제품입니다

틀린 비밀번호와 지원하지 않는 파일 구분하기

OpenEncrypted와 Open의 모든 암호화 실패는 EXlsxEncryptionNotImplemented를 raise하며 메시지가 어느 사례인지 말해 줍니다. 넘겨진 비밀번호가 틀렸거나, 파일이 HotXLS가 읽지 못하는 방식을 쓰거나 둘 중 하나입니다. HotXLS는 CBC 모드 AES와 SHA-512 또는 SHA-256 해싱의 비밀번호 key encryptor를 읽는데, 이는 최신 Excel 버전이 쓰는 조합을 커버합니다. 인증서 key encryptor만으로 보호된 컨테이너, 다른 암호를 이름 지은 디스크립터, Standard도 Agile도 아닌 CFB(이름만 바꾼 BIFF .xls 같은)는 지원하지 않는다는 메시지를 받습니다

메시지 텍스트로 맞추는 일은, 리소스 문자열이 언젠가 지역화되면 특히, 깨지기 쉽습니다. OnPassword 이벤트가 더 깨끗한 신호를 줍니다. Open은 검증기나 무결성 검사가 비밀번호를 거부할 때만 그것을 발화하며 지원하지 않는 방식에는 절대 발화하지 않습니다. 가져오기 서비스라면 거부를 기록하는 핸들러를 두고, 어떤 이벤트도 살피지 않고 raise만 하는 OpenEncrypted 대신 Open(FileName, Password)를 부르십시오

type
  TUploadOutcome = (uoLoaded, uoPasswordRejected, uoUnreadable);

  TUploadLoader = class
  private
    FPasswordRejected: Boolean;
    procedure HandlePassword(Sender: TObject; var PassWord: WideString;
      var Retry: Boolean);
  public
    function Load(Wb: TXLSXWorkbook;
      const FileName, Password: WideString): TUploadOutcome;
  end;

procedure TUploadLoader.HandlePassword(Sender: TObject;
  var PassWord: WideString; var Retry: Boolean);
begin
  // 비밀번호(또는 무결성 HMAC)가 거부되었을 때만 발화된다
  FPasswordRejected := True;
  Retry := False;   // 서버에는 물어볼 상대가 없다. 이어서 Open이 raise한다
end;

function TUploadLoader.Load(Wb: TXLSXWorkbook;
  const FileName, Password: WideString): TUploadOutcome;
begin
  FPasswordRejected := False;
  Wb.OnPassword := HandlePassword;
  try
    if Wb.Open(FileName, Password) = 1 then
      Result := uoLoaded
    else
      Result := uoUnreadable;
  except
    on E: EXlsxEncryptionNotImplemented do
      if FPasswordRejected then
        Result := uoPasswordRejected   // 사용자에게 다시 물어도 안전
      else
        Result := uoUnreadable;        // 재시도는 소용없다. E.Message를 기록
  end;
end;

이렇게 갈라놓아도 함정 하나는 남습니다. 무결성 불일치는 틀린 비밀번호와 똑같이 보고됩니다. 본문을 다시 쓴 프록시나 세그먼트 중간에 끊긴 업로드 때문에 암호문이 전송 중 손상된 통합 문서는, 사용자가 비밀번호를 정확히 입력했어도 uoPasswordRejected로 돌아옵니다. 같은 사용자가 틀림없다는 비밀번호로 두 번 실패하면, 비밀번호를 다시 묻기 전에 파일을 다시 달라고 하십시오

쓰기 쪽은 같은 기계를 반대로 돌립니다. SaveAsEncryptedAgile은 SHA-512 키 파생, 100,000 스핀 라운드, AES-256 패키지 암호화의 Agile 컨테이너를 만들고, SaveAsEncrypted는 Standard Encryption을 만들며, VerifyEncryptedSave를 True로 두면 어느 쪽이든 방금 쓴 파일을 복호화 경로로 다시 열어 실패하면 -1을 돌려줍니다. Standard 경로는 AES 보호 XLSX 출력 쓰기 문서가, 레거시 BIFF 파일 안에서 발견되는 RC4와 XOR 방식은 ECB와 RC4 상호 운용 문서가 다룹니다

다음 업로드가 비밀번호를 갖고 있을지 미리 알 도리 없는 파이프라인을 위해, 위에서 설명한 리더와 Delphi와 C++Builder용 네이티브 XLS, XLSX 읽고 쓰기는 HotXLS Delphi Excel Component의 일부입니다