Teknik Makale

HotPDF ile İşçi Süreçlerde PDF Görüntü Codec Yalıtımı

Görüntü çıkarmayı try..except ile sarmalayan bir Delphi servisi günlüğünde son derece sağlıklı görünebilir: bir EAccessViolation yakalanır, yükleme hatalı işaretlenir ve sıradaki iş başlar. Dakikalar sonra ilgisiz bir istek, bir string listesi serbest bırakılırken EInvalidPointer ile ölebilir. İki olay birbirine bağlıdır. Arızalanmadan önce bir tamponun sonunun ötesine yazmış bir JPEG 2000 ya da JBIG2 kod çözücü heap'i çoktan zedelemiştir ve istisnayı yakalamak, o hasarı tam yerine dokunmadan kontrol akışını geri getirir. Güvenemeyeceğin bellek yalnızca atılabilir; Windows'un temizce atmana izin verdiği bellek birimi ise süreçtir

Kod çözücü çevresine alınan bir try..except neden yeterli değildir

Bir görüntü codec'i, bir PDF okuyucusunun en az denetlenmiş veri üzerinde en karmaşık durum makinesini çalıştıran parçasıdır. Baytlar bir JPEG 2000 ya da JBIG2 kod çözücüye ulaştığında çapraz başvuru tablosu ayrıştırılmış, görüntü nesnesi çözümlenmiş ve filtre zinciri açılmış olur. Geriye kaç tile, kaç bileşen ve örnek başına kaç bit taşıdığını bildiren ham bir codestream kalır. Buradaki yanlış bir sayı, ayrıştırıcının reddedebileceği bir sözdizimi hatası değildir; sıkı bir decode döngüsünün içinde bir ayırma boyutu, bir döngü sınırı ya da bir dizi indisi olur

Bayt bütçeleri bunun bir kısmını kapsar ve bir giriş yolu zaten onlara sahip olmalıdır. HotPDF, genişlemeyi DecodeBudgetBytes ve DocumentDecodeBudgetBytes ile, filtre zincirlerini DecodeFilterLimit ve DecodePipelineDepthLimit ile sınırlar; bu tavanların ardındaki mantık iç içe filtreler ve PDF bombaları için sınırlı decode yazısındadır. Bütçe tek bir soruyu yanıtlar: ne kadar çıktıya izin veriliyor. Bir avuç baytı yanlış yere yazdıktan sonra arızalanan bir kod çözücü hakkında ise hiçbir şey söylemez

Yakalanan arıza bir bakımda daha kötü sonuçtur. İşlenmemiş bir çökme en azından süreci durdurur. Yakalanan biri ise sürecin bozulmuş bir heap üzerinde istek sunmaya devam etmesine izin verir ve nihai başarısızlık, neden olan PDF'in uzağını gösteren bir yığın izi taşır

DCTDecode, JPXDecode ve JBIG2Decode'ı işçi sürece taşıma

HotPDF, üç yüksek riskli görüntü filtresini — DCTDecode, JPXDecode ve JBIG2Decode — uygulamanızın içinde değil, kısa ömürlü bir işçi süreç olan HotPDFCodecWorker.exe içinde çalıştırabilir. HPDFCodecIsolation birimi onları hckDCT, hckJPX ve hckJBIG2 olarak adlandırır. Flate, LZW, RunLength, ASCII85 ve CCITT süreç içinde kalır: bu kod çözücülerin durumu basittir ve decode bütçeleri onlar için doğru araçtır

Her istek taze bir süreç alır. Ana süreç; rastgele adlı tek bir paylaşımlı bellek eşlemesi oluşturur, sabit bir THPDFCodecSharedHeader yazar, ardından sıkıştırılmış codestream'i ve JBIG2 için global segmentleri ekler, sonra worker'ı askıya alınmış başlatır, onu bir Windows Job Object'e koyar ve ancak ondan sonra çalıştırır. Job tam olarak bir aktif sürece izin verir, böylece ele geçirilmiş bir kod çözücü çocuk süreç açamaz; kill-on-close ile oluşturulur, yani worker job tanıtıcısından uzun yaşayamaz. Decode edilen pikseller, bir durum sözcüğüyle birlikte aynı eşlemede 24 bit BGR olarak döner

HotPDF codec yalıtımı mimari şeması: Delphi VCL ana süreci, DCTDecode, JPXDecode ve JBIG2Decode görüntüleri için tek kullanımlık bir işçi süreçle paylaşımlı bellek eşlemesi üzerinden veri alışverişi yapar
Ana süreç sıkıştırılmış codestream'i sınırlı bir paylaşımlı bellek eşlemesine yazar, tek kullanımlık işçi onu job object tavanları altında çözer ve geriye yalnızca pikseller ile bir durum sözcüğü döner

Etkinleştirmek THotPDF üzerinde dört özellik alır. Görüntü çağrıları, zaten kullandıklarınızın aynısı kalır:

uses
  Vcl.Graphics, HPDFDoc, HPDFCodecIsolation;

procedure ExtractUntrustedImages(const FileName: string);
var
  Pdf: THotPDF;
  Info: THPDFCodecWorkerInfo;
  Bmp: TBitmap;
  I: Integer;
begin
  Pdf := THotPDF.Create(nil);
  try
    Pdf.CodecIsolationMode := cimRequired;            // bunları asla süreç içinde decode etme
    Pdf.CodecWorkerExecutable := '';                  // '' = ana EXE'nin yanında
    Pdf.CodecWorkerTimeoutMilliseconds := 5000;       // 1..600000, aksi hâlde ERangeError
    Pdf.CodecWorkerMemoryLimitBytes := 256 * 1024 * 1024; // 0 ya da >= 64 MiB
    Pdf.DecodeBudgetBytes := 128 * 1024 * 1024;

    if Pdf.LoadFromFile(FileName) > 0 then            // sayfa sayısını döndürür
      for I := 0 to Pdf.GetLoadedImageCount - 1 do
      begin
        Bmp := Pdf.ExtractLoadedImage(I);
        try
          // Kararı hemen oku: yalnızca en son isteği tanımlar
          if Pdf.GetLastCodecWorkerInfo(Info) then
            LogCodecOutcome(FileName, I, Info);
          if Bmp <> nil then
            StoreImage(FileName, I, Bmp);             // sizin kodunuz
        finally
          Bmp.Free;
        end;
      end;
  finally
    Pdf.Free;
  end;
end;

Yalıtılmış bir decode başarısız olduğunda ExtractLoadedImage nil döndürür, dolayısıyla Bmp <> nil denetimi burada gerçek bir yük taşır. GetLastCodecWorkerInfo, kaydedilmiş bir worker isteği yokken False döndürür; Flate ile sıkıştırılmış bir görüntüde ya da cimDisabled ile gördüğünüz tam olarak budur

İki dağıtım ayrıntısı başlıca sorun kaynağıdır. Boş bir CodecWorkerExecutable, ParamStr(0)'ın dizinindeki HotPDFCodecWorker.exe olarak çözümlenir. Boş olmayan bir değer ExpandFileName'den geçer, yani göreli bir yol geçerli dizine göre çözümlenir. Bir Windows servisi için o dizin çoğunlukla System32'dir; bu yüzden 'bin\HotPDFCodecWorker.exe' IDE'de çalışır ve kurulumdan sonra başarısız olur. Öteki ayrıntı bit genişliğidir: worker derleme betiği ayrı Win32 ve Win64 ikilileri üretir ve dağıttığınız ikili, ana sürecin mimarisiyle eşleşmelidir

Otomatik mi zorunlu mu: worker eksikken ne olur?

THPDFCodecIsolationMode'un üç değeri tek bir soruyu yanıtlar: worker hiç kullanılamadığında ne yapılacağı. cimDisabled hiç denemez ve her şeyi süreç içinde decode eder. Varsayılan olan cimAutomatic, HotPDFCodecWorker.exe varken worker'ı kullanır, dosya yoksa süreç içi decode'a düşer ve cwsUnavailable kaydeder. cimRequired bu düşüşü reddeder; eksik worker, görüntünün decode edilmediği anlamına gelir

Düşüş ilk bakışta göründüğünden dar ve bu daralık kasıtlıdır. Yalnızca eksik çalıştırılabilir dosya düşüşe yol açar. Dosya var ama CreateProcess başarısız oluyorsa — ki bu çoğunlukla bir endpoint güvenlik ürününün onu engellemesinden kaynaklanır — sonuç cwsLaunchFailed olur ve görüntü, cimAutomatic altında bile decode edilmez. Başlayıp sonra çökmüş, zaman aşımına uğramış ya da bir sınırı aşmış bir worker, iki modda da asla süreç içinde yeniden denenmez. Az önce worker'ı öldürmüş bir dosyayı kendi sürecinizin içinde yeniden denemek, saldırgana worker'ın varlık sebebini oluşturan hedefe tam ikinci bir şans verir

HotPDF'de CodecIsolationMode değerlerinin karşılaştırması: codec worker çalıştırılabilir dosyası eksikken cimDisabled, cimAutomatic ve cimRequired davranışı
Yalnızca cimAutomatic, cwsUnavailable olarak bildirilen süreç içi decode'a düşer; cimRequired düşüşü reddeder, çökmeler ve zaman aşımıları iki modda da başarısızlıktır

Yükleme, e-posta eki ya da partner dosyaları okuyan her şey için cimRequired ayarlayın. Varsayılan modun tuzağı ancak dağıtımdan sonra görünür: worker'ı unutan bir yükleyici, her görüntüyü doğru çıkaran, her işlevsel testi geçen ve her tek istekte codec'leri ana sürecin içinde çalıştıran bir sunucu üretir. Hiçbir şey bozulmuş görünmez. cimAutomatic, kullanıcının zaten sahip olduğu dosyaları açan bir masaüstü görüntüleyici için makuldür; orada eksik worker, ürünü durdurmak yerine düşkünlüğe geçmeli. cimRequired ayrıca tarama tarama aşamalı JPEG yolu olan ProgressiveJPEGScanDecoding'i kapatır, çünkü o yol ana sürecin içinde decode eder

Bir başlangıç denetimi, unutulmuş bir worker'ı anında ve gürültülü bir başarısızlığa çevirir. HPDFResolveCodecWorkerExecutable, HPDFCodecIsolation içinde public'tir ve bileşenle aynı çözümleme kuralını uygular:

// Kendi eklediğiniz bir başlangıç denetimi: worker yoksa başlamayı reddet
procedure RequireCodecWorker(Pdf: THotPDF);
var
  WorkerPath: string;
begin
  WorkerPath := HPDFResolveCodecWorkerExecutable(Pdf.CodecWorkerExecutable);
  if not FileExists(WorkerPath) then
    raise Exception.CreateFmt(
      'Codec worker missing at %s; refusing to accept PDF uploads',
      [WorkerPath]);
end;

THPDFCodecWorkerStatus'ı okumak

THPDFCodecWorkerInfo; Status, ProcessId, ExitCode, ElapsedMilliseconds ve ana süreç tarafında bir ErrorMessage taşır. Durum değerleri cwsNotRun, cwsSucceeded, cwsUnavailable, cwsLaunchFailed, cwsTimedOut, cwsCrashed, cwsDecodeFailed, cwsProtocolError ve cwsOutputLimit'tır ve üç işletimsel gruba ayrılırlar

  • Dağıtım: cwsUnavailable ve cwsLaunchFailed. Worker eksik, engellenmiş ya da job'ının içinde başlatılamamıştır. Sunucudan sorumlu kişiyi haberdar edin; belgenin kendisi sağlam olabilir
  • Belge: cwsDecodeFailed ve cwsOutputLimit. Codestream ya bozuktur ya da politikanızın izin verdiğini aşmıştır. Dosyayı reddetmek doğru yanıttır
  • Sınırlama: cwsTimedOut, cwsCrashed ve cwsProtocolError. Bir takılma, ölmüş bir worker ya da başlığı protokol sürümüyle uyuşmayan ya da iddia ettiği geometrisi tutmayan bir yanıt. Süreç sınırı tam da bu olaylar için vardır ve dosya düz bir reddetme yerine karantinayı hak eder

cwsDecodeFailed ile cwsCrashed arasındaki çizgiyi bilmek, sayıları okurken işe yarar. Delphi erişim ihlallerinin çoğunu istisnaya çevirir ve worker, istisnaları kod çözücünün çevresinde yakayıp başarısız decode olarak bildirir. cwsCrashed, worker sürecinin sıfır olmayan bir çıkış koduyla sonlandığı anlamına gelir; arıza, hiçbir istisna işleyicinin çalışmaya fırsat bulamayacağı kadar ağırsa olur. ExitCode bir Cardinal'dır, dolayısıyla onu %u ile ya da onaltılık olarak biçimlendirin; %d ile basılan $C0000005, kimsenin doğru aramayacağı negatif bir sayıya dönüşür

procedure LogCodecOutcome(const FileName: string; ImageIndex: Integer;
  const Info: THPDFCodecWorkerInfo);
begin
  case Info.Status of
    cwsSucceeded:
      ;
    cwsUnavailable, cwsLaunchFailed:
      AlertOps('Codec worker not usable: ' + Info.ErrorMessage);   // sizin kodunuz
    cwsTimedOut, cwsCrashed, cwsProtocolError:
      Quarantine(FileName, Format('image %d: pid %u exit $%.8x after %u ms: %s',
        [ImageIndex, Info.ProcessId, Info.ExitCode,
         Info.ElapsedMilliseconds, Info.ErrorMessage]));          // sizin kodunuz
  else
    RejectDocument(FileName, Info.ErrorMessage);                  // sizin kodunuz
  end;
end;

Worker ayrıca Windows arıza penceresini kendisi için bastırır, böylece gözetimsiz bir sunucudaki çökme, kimsenin bakmadığı bir makinede birinin OK tıklamasını bekleyen kalıcı bir kutu yerine bu günlükte görünür

Her yalıtılmış decode'un üzerindeki üç tavan

Her yalıtılmış decode bir zaman sınırı, bir bellek sınırı ve bir çıktı sınırı altında çalışır ve durum, hangisinin sona erdirdiğini söyler. CodecWorkerTimeoutMilliseconds varsayılanı 10.000'dir ve 1 ile 600.000 arası değer alır; bu aralığın dışındaki her değer, kırpılmak yerine atama anında ERangeError fırlatır. Zaman aşımında ana süreç job'ın tamamını sonlandırır ve cwsTimedOut bildirir. CodecWorkerMemoryLimitBytes varsayılanı 536.870.912 bayttır ve sıfır, yani tavan yok, ya da en az 67.108.864 bayt olmalıdır; bu değer Job Object üzerinde süreç başına taahhüt edilmiş bellek sınırına dönüşür

Çıktı sınırı türetilir. HotPDF; istenen hedef boyuttan, istenen bölgeden ya da PDF'in bildirdiği görüntü geometrisinden, piksel başına üç bayt üzerinden decode edilen görüntünün gerektireceği baytı hesaplar ve bir bütçe tanımlıysa bu sayıyı DecodeBudgetBytes ile kırpar. Paylaşılan eşleme bu sayıya göre boyutlanır, yani worker'ın ötesine yazacak yeri yoktur. Bir taramanın 10.000'e 10.000 piksel bildirdiğini düşünün: bu, varsayılan 268.435.456 baytlık DecodeBudgetBytes'ten fazla olan 300.000.000 bayt BGR çıktısıdır; sınır 256 MiB olur ve decode cwsOutputLimit ile biter

Ana süreç, worker'ın geri bildirdiği boyuta da güvenmez. Bir yanıt; genişliği çarpı yüksekliği çarpı üç, iddia ettiği bayt sayısına eşitse ve o sayı hem ana sürecin kendi çıktı sınırına hem de eşlemeye sığıyorsa kabul edilir. Ele geçirilmiş bir worker başlığa istediği değeri yazabilir; uyuşmazlık cwsProtocolError olarak bildirilir ve hiçbir piksel kopyalanmaz

Her HotPDF yalıtılmış decode'unda üç tavan: worker zaman aşımı, Job Object bellek sınırı ve DecodeBudgetBytes ile kırpılan türetilmiş çıktı sınırı
Katı zaman aşımı ve bellek doğrulaması ile türetilmiş bir piksel çıktısı tavanı, aşırı büyük ya da takılmış decode'ların sürecinizin içinde değil, worker içinde durum kodları olarak bittiği anlamına gelir

Bellek sınırını çıktı sınırının rahatça üzerinde tutun. İlk örnekteki ayarlarla, 256 MiB'lık süreç tavanı içindeki 128 MiB'lık bir çıktı bütçesi; sıkıştırılmış girdi ve decoder'ın kendi çalışma kümesi için yer bırakır. İkisini birbirine yakın ayarlarsanız büyük meşru taramalar, düşmanca girdiyle hiçbir ilgisi olmayan nedenlerle worker içinde başarısız olmaya başlar

Süreç sınırının maliyeti

Her yalıtılmış görüntü için bir süreç başlatmak zaman alır ve birkaç yüz taranmış JPEG sayfalık bir belge bunu hissettirir. Gözetimsiz bir toplu dönüştürücüde bu maliyet gece penceresine karışır ve sınırlama, işin var oluş nedenidir. Kullanıcının zaten güvendiği dosyaları gösteren etkileşimli bir görüntüleyici başka bir durumdur; orada cimAutomatic ya da bilinen bir iç arşiv için cimDisabled adil bir seçimdir. CodecIsolationMode sıradan bir özelliktir, böylece bir servis yüklemelere cimRequired uygulayıp kendi ürettiği belgelere daha hafif bir mod uygulayabilir

Söz konusu codec risk tablosunu da değiştirir. JPXDecode akışları; ayırmaları doğrudan yönlendiren tile ve bileşen sayıları taşır, JBIG2 görüntüleri ise çoğunlukla birkaç sayfa tarafından paylaşılan bir /JBIG2Globals akışına bağımlıdır. Yalnızca görüntü başına akışı taşıyan bir sandbox o sayfaları ya yanlış ya da hiç decode ederdi; global segmentlerin her görüntüyle birlikte worker'a yolculuk etmesinin nedeni budur

Codec yalıtımı, decode bütçeleri ve ayrıştırıcının yapısal sınırları tek bir doğal VCL bileşeninde yaşar ve dağıtılacak tek ek dosya worker çalıştırılabilir dosyasıdır. Kurulum notları, Win32 ve Win64 worker derlemesi ve deneme indirmesi Delphi ve C++Builder için HotPDF bileşen sayfasındadır