Görüntü çıkarmayı try..except ile sarmalayan bir Delphi servisi günlüğünde son derece sağlıklı görünebilir: bir EAccessViolation yakalanır, yükleme hatalı işaretlenir ve sıradaki iş başlar. Dakikalar sonra ilgisiz bir istek, bir string listesi serbest bırakılırken EInvalidPointer ile ölebilir. İki olay birbirine bağlıdır. Arızalanmadan önce bir tamponun sonunun ötesine yazmış bir JPEG 2000 ya da JBIG2 kod çözücü heap'i çoktan zedelemiştir ve istisnayı yakalamak, o hasarı tam yerine dokunmadan kontrol akışını geri getirir. Güvenemeyeceğin bellek yalnızca atılabilir; Windows'un temizce atmana izin verdiği bellek birimi ise süreçtir
Kod çözücü çevresine alınan bir try..except neden yeterli değildir
Bir görüntü codec'i, bir PDF okuyucusunun en az denetlenmiş veri üzerinde en karmaşık durum makinesini çalıştıran parçasıdır. Baytlar bir JPEG 2000 ya da JBIG2 kod çözücüye ulaştığında çapraz başvuru tablosu ayrıştırılmış, görüntü nesnesi çözümlenmiş ve filtre zinciri açılmış olur. Geriye kaç tile, kaç bileşen ve örnek başına kaç bit taşıdığını bildiren ham bir codestream kalır. Buradaki yanlış bir sayı, ayrıştırıcının reddedebileceği bir sözdizimi hatası değildir; sıkı bir decode döngüsünün içinde bir ayırma boyutu, bir döngü sınırı ya da bir dizi indisi olur
Bayt bütçeleri bunun bir kısmını kapsar ve bir giriş yolu zaten onlara sahip olmalıdır. HotPDF, genişlemeyi DecodeBudgetBytes ve DocumentDecodeBudgetBytes ile, filtre zincirlerini DecodeFilterLimit ve DecodePipelineDepthLimit ile sınırlar; bu tavanların ardındaki mantık iç içe filtreler ve PDF bombaları için sınırlı decode yazısındadır. Bütçe tek bir soruyu yanıtlar: ne kadar çıktıya izin veriliyor. Bir avuç baytı yanlış yere yazdıktan sonra arızalanan bir kod çözücü hakkında ise hiçbir şey söylemez
Yakalanan arıza bir bakımda daha kötü sonuçtur. İşlenmemiş bir çökme en azından süreci durdurur. Yakalanan biri ise sürecin bozulmuş bir heap üzerinde istek sunmaya devam etmesine izin verir ve nihai başarısızlık, neden olan PDF'in uzağını gösteren bir yığın izi taşır
DCTDecode, JPXDecode ve JBIG2Decode'ı işçi sürece taşıma
HotPDF, üç yüksek riskli görüntü filtresini — DCTDecode, JPXDecode ve JBIG2Decode — uygulamanızın içinde değil, kısa ömürlü bir işçi süreç olan HotPDFCodecWorker.exe içinde çalıştırabilir. HPDFCodecIsolation birimi onları hckDCT, hckJPX ve hckJBIG2 olarak adlandırır. Flate, LZW, RunLength, ASCII85 ve CCITT süreç içinde kalır: bu kod çözücülerin durumu basittir ve decode bütçeleri onlar için doğru araçtır
Her istek taze bir süreç alır. Ana süreç; rastgele adlı tek bir paylaşımlı bellek eşlemesi oluşturur, sabit bir THPDFCodecSharedHeader yazar, ardından sıkıştırılmış codestream'i ve JBIG2 için global segmentleri ekler, sonra worker'ı askıya alınmış başlatır, onu bir Windows Job Object'e koyar ve ancak ondan sonra çalıştırır. Job tam olarak bir aktif sürece izin verir, böylece ele geçirilmiş bir kod çözücü çocuk süreç açamaz; kill-on-close ile oluşturulur, yani worker job tanıtıcısından uzun yaşayamaz. Decode edilen pikseller, bir durum sözcüğüyle birlikte aynı eşlemede 24 bit BGR olarak döner
Etkinleştirmek THotPDF üzerinde dört özellik alır. Görüntü çağrıları, zaten kullandıklarınızın aynısı kalır:
uses
Vcl.Graphics, HPDFDoc, HPDFCodecIsolation;
procedure ExtractUntrustedImages(const FileName: string);
var
Pdf: THotPDF;
Info: THPDFCodecWorkerInfo;
Bmp: TBitmap;
I: Integer;
begin
Pdf := THotPDF.Create(nil);
try
Pdf.CodecIsolationMode := cimRequired; // bunları asla süreç içinde decode etme
Pdf.CodecWorkerExecutable := ''; // '' = ana EXE'nin yanında
Pdf.CodecWorkerTimeoutMilliseconds := 5000; // 1..600000, aksi hâlde ERangeError
Pdf.CodecWorkerMemoryLimitBytes := 256 * 1024 * 1024; // 0 ya da >= 64 MiB
Pdf.DecodeBudgetBytes := 128 * 1024 * 1024;
if Pdf.LoadFromFile(FileName) > 0 then // sayfa sayısını döndürür
for I := 0 to Pdf.GetLoadedImageCount - 1 do
begin
Bmp := Pdf.ExtractLoadedImage(I);
try
// Kararı hemen oku: yalnızca en son isteği tanımlar
if Pdf.GetLastCodecWorkerInfo(Info) then
LogCodecOutcome(FileName, I, Info);
if Bmp <> nil then
StoreImage(FileName, I, Bmp); // sizin kodunuz
finally
Bmp.Free;
end;
end;
finally
Pdf.Free;
end;
end;
Yalıtılmış bir decode başarısız olduğunda ExtractLoadedImage nil döndürür, dolayısıyla Bmp <> nil denetimi burada gerçek bir yük taşır. GetLastCodecWorkerInfo, kaydedilmiş bir worker isteği yokken False döndürür; Flate ile sıkıştırılmış bir görüntüde ya da cimDisabled ile gördüğünüz tam olarak budur
İki dağıtım ayrıntısı başlıca sorun kaynağıdır. Boş bir CodecWorkerExecutable, ParamStr(0)'ın dizinindeki HotPDFCodecWorker.exe olarak çözümlenir. Boş olmayan bir değer ExpandFileName'den geçer, yani göreli bir yol geçerli dizine göre çözümlenir. Bir Windows servisi için o dizin çoğunlukla System32'dir; bu yüzden 'bin\HotPDFCodecWorker.exe' IDE'de çalışır ve kurulumdan sonra başarısız olur. Öteki ayrıntı bit genişliğidir: worker derleme betiği ayrı Win32 ve Win64 ikilileri üretir ve dağıttığınız ikili, ana sürecin mimarisiyle eşleşmelidir
Otomatik mi zorunlu mu: worker eksikken ne olur?
THPDFCodecIsolationMode'un üç değeri tek bir soruyu yanıtlar: worker hiç kullanılamadığında ne yapılacağı. cimDisabled hiç denemez ve her şeyi süreç içinde decode eder. Varsayılan olan cimAutomatic, HotPDFCodecWorker.exe varken worker'ı kullanır, dosya yoksa süreç içi decode'a düşer ve cwsUnavailable kaydeder. cimRequired bu düşüşü reddeder; eksik worker, görüntünün decode edilmediği anlamına gelir
Düşüş ilk bakışta göründüğünden dar ve bu daralık kasıtlıdır. Yalnızca eksik çalıştırılabilir dosya düşüşe yol açar. Dosya var ama CreateProcess başarısız oluyorsa — ki bu çoğunlukla bir endpoint güvenlik ürününün onu engellemesinden kaynaklanır — sonuç cwsLaunchFailed olur ve görüntü, cimAutomatic altında bile decode edilmez. Başlayıp sonra çökmüş, zaman aşımına uğramış ya da bir sınırı aşmış bir worker, iki modda da asla süreç içinde yeniden denenmez. Az önce worker'ı öldürmüş bir dosyayı kendi sürecinizin içinde yeniden denemek, saldırgana worker'ın varlık sebebini oluşturan hedefe tam ikinci bir şans verir
Yükleme, e-posta eki ya da partner dosyaları okuyan her şey için cimRequired ayarlayın. Varsayılan modun tuzağı ancak dağıtımdan sonra görünür: worker'ı unutan bir yükleyici, her görüntüyü doğru çıkaran, her işlevsel testi geçen ve her tek istekte codec'leri ana sürecin içinde çalıştıran bir sunucu üretir. Hiçbir şey bozulmuş görünmez. cimAutomatic, kullanıcının zaten sahip olduğu dosyaları açan bir masaüstü görüntüleyici için makuldür; orada eksik worker, ürünü durdurmak yerine düşkünlüğe geçmeli. cimRequired ayrıca tarama tarama aşamalı JPEG yolu olan ProgressiveJPEGScanDecoding'i kapatır, çünkü o yol ana sürecin içinde decode eder
Bir başlangıç denetimi, unutulmuş bir worker'ı anında ve gürültülü bir başarısızlığa çevirir. HPDFResolveCodecWorkerExecutable, HPDFCodecIsolation içinde public'tir ve bileşenle aynı çözümleme kuralını uygular:
// Kendi eklediğiniz bir başlangıç denetimi: worker yoksa başlamayı reddet
procedure RequireCodecWorker(Pdf: THotPDF);
var
WorkerPath: string;
begin
WorkerPath := HPDFResolveCodecWorkerExecutable(Pdf.CodecWorkerExecutable);
if not FileExists(WorkerPath) then
raise Exception.CreateFmt(
'Codec worker missing at %s; refusing to accept PDF uploads',
[WorkerPath]);
end;
THPDFCodecWorkerStatus'ı okumak
THPDFCodecWorkerInfo; Status, ProcessId, ExitCode, ElapsedMilliseconds ve ana süreç tarafında bir ErrorMessage taşır. Durum değerleri cwsNotRun, cwsSucceeded, cwsUnavailable, cwsLaunchFailed, cwsTimedOut, cwsCrashed, cwsDecodeFailed, cwsProtocolError ve cwsOutputLimit'tır ve üç işletimsel gruba ayrılırlar
- Dağıtım:
cwsUnavailablevecwsLaunchFailed. Worker eksik, engellenmiş ya da job'ının içinde başlatılamamıştır. Sunucudan sorumlu kişiyi haberdar edin; belgenin kendisi sağlam olabilir - Belge:
cwsDecodeFailedvecwsOutputLimit. Codestream ya bozuktur ya da politikanızın izin verdiğini aşmıştır. Dosyayı reddetmek doğru yanıttır - Sınırlama:
cwsTimedOut,cwsCrashedvecwsProtocolError. Bir takılma, ölmüş bir worker ya da başlığı protokol sürümüyle uyuşmayan ya da iddia ettiği geometrisi tutmayan bir yanıt. Süreç sınırı tam da bu olaylar için vardır ve dosya düz bir reddetme yerine karantinayı hak eder
cwsDecodeFailed ile cwsCrashed arasındaki çizgiyi bilmek, sayıları okurken işe yarar. Delphi erişim ihlallerinin çoğunu istisnaya çevirir ve worker, istisnaları kod çözücünün çevresinde yakayıp başarısız decode olarak bildirir. cwsCrashed, worker sürecinin sıfır olmayan bir çıkış koduyla sonlandığı anlamına gelir; arıza, hiçbir istisna işleyicinin çalışmaya fırsat bulamayacağı kadar ağırsa olur. ExitCode bir Cardinal'dır, dolayısıyla onu %u ile ya da onaltılık olarak biçimlendirin; %d ile basılan $C0000005, kimsenin doğru aramayacağı negatif bir sayıya dönüşür
procedure LogCodecOutcome(const FileName: string; ImageIndex: Integer;
const Info: THPDFCodecWorkerInfo);
begin
case Info.Status of
cwsSucceeded:
;
cwsUnavailable, cwsLaunchFailed:
AlertOps('Codec worker not usable: ' + Info.ErrorMessage); // sizin kodunuz
cwsTimedOut, cwsCrashed, cwsProtocolError:
Quarantine(FileName, Format('image %d: pid %u exit $%.8x after %u ms: %s',
[ImageIndex, Info.ProcessId, Info.ExitCode,
Info.ElapsedMilliseconds, Info.ErrorMessage])); // sizin kodunuz
else
RejectDocument(FileName, Info.ErrorMessage); // sizin kodunuz
end;
end;
Worker ayrıca Windows arıza penceresini kendisi için bastırır, böylece gözetimsiz bir sunucudaki çökme, kimsenin bakmadığı bir makinede birinin OK tıklamasını bekleyen kalıcı bir kutu yerine bu günlükte görünür
Her yalıtılmış decode'un üzerindeki üç tavan
Her yalıtılmış decode bir zaman sınırı, bir bellek sınırı ve bir çıktı sınırı altında çalışır ve durum, hangisinin sona erdirdiğini söyler. CodecWorkerTimeoutMilliseconds varsayılanı 10.000'dir ve 1 ile 600.000 arası değer alır; bu aralığın dışındaki her değer, kırpılmak yerine atama anında ERangeError fırlatır. Zaman aşımında ana süreç job'ın tamamını sonlandırır ve cwsTimedOut bildirir. CodecWorkerMemoryLimitBytes varsayılanı 536.870.912 bayttır ve sıfır, yani tavan yok, ya da en az 67.108.864 bayt olmalıdır; bu değer Job Object üzerinde süreç başına taahhüt edilmiş bellek sınırına dönüşür
Çıktı sınırı türetilir. HotPDF; istenen hedef boyuttan, istenen bölgeden ya da PDF'in bildirdiği görüntü geometrisinden, piksel başına üç bayt üzerinden decode edilen görüntünün gerektireceği baytı hesaplar ve bir bütçe tanımlıysa bu sayıyı DecodeBudgetBytes ile kırpar. Paylaşılan eşleme bu sayıya göre boyutlanır, yani worker'ın ötesine yazacak yeri yoktur. Bir taramanın 10.000'e 10.000 piksel bildirdiğini düşünün: bu, varsayılan 268.435.456 baytlık DecodeBudgetBytes'ten fazla olan 300.000.000 bayt BGR çıktısıdır; sınır 256 MiB olur ve decode cwsOutputLimit ile biter
Ana süreç, worker'ın geri bildirdiği boyuta da güvenmez. Bir yanıt; genişliği çarpı yüksekliği çarpı üç, iddia ettiği bayt sayısına eşitse ve o sayı hem ana sürecin kendi çıktı sınırına hem de eşlemeye sığıyorsa kabul edilir. Ele geçirilmiş bir worker başlığa istediği değeri yazabilir; uyuşmazlık cwsProtocolError olarak bildirilir ve hiçbir piksel kopyalanmaz
Bellek sınırını çıktı sınırının rahatça üzerinde tutun. İlk örnekteki ayarlarla, 256 MiB'lık süreç tavanı içindeki 128 MiB'lık bir çıktı bütçesi; sıkıştırılmış girdi ve decoder'ın kendi çalışma kümesi için yer bırakır. İkisini birbirine yakın ayarlarsanız büyük meşru taramalar, düşmanca girdiyle hiçbir ilgisi olmayan nedenlerle worker içinde başarısız olmaya başlar
Süreç sınırının maliyeti
Her yalıtılmış görüntü için bir süreç başlatmak zaman alır ve birkaç yüz taranmış JPEG sayfalık bir belge bunu hissettirir. Gözetimsiz bir toplu dönüştürücüde bu maliyet gece penceresine karışır ve sınırlama, işin var oluş nedenidir. Kullanıcının zaten güvendiği dosyaları gösteren etkileşimli bir görüntüleyici başka bir durumdur; orada cimAutomatic ya da bilinen bir iç arşiv için cimDisabled adil bir seçimdir. CodecIsolationMode sıradan bir özelliktir, böylece bir servis yüklemelere cimRequired uygulayıp kendi ürettiği belgelere daha hafif bir mod uygulayabilir
Söz konusu codec risk tablosunu da değiştirir. JPXDecode akışları; ayırmaları doğrudan yönlendiren tile ve bileşen sayıları taşır, JBIG2 görüntüleri ise çoğunlukla birkaç sayfa tarafından paylaşılan bir /JBIG2Globals akışına bağımlıdır. Yalnızca görüntü başına akışı taşıyan bir sandbox o sayfaları ya yanlış ya da hiç decode ederdi; global segmentlerin her görüntüyle birlikte worker'a yolculuk etmesinin nedeni budur
Codec yalıtımı, decode bütçeleri ve ayrıştırıcının yapısal sınırları tek bir doğal VCL bileşeninde yaşar ve dağıtılacak tek ek dosya worker çalıştırılabilir dosyasıdır. Kurulum notları, Win32 ve Win64 worker derlemesi ve deneme indirmesi Delphi ve C++Builder için HotPDF bileşen sayfasındadır