Natywny dekoder regionów halftone JBIG2 w PDFlibPas indeksuje maskę skip HSKIP jako HSKIP[ng, mg], tak jak definiuje to ITU-T T.88 §6.6.5.1, i rozmieszcza siatki, które osiągają ujemne współrzędne — przez ujemne HGX lub HGY albo przez obrót — z prawdziwym przesunięciem floor. Oba szczegóły łatwo zepsuć bez żadnego zgłoszonego błędu: region halftone wychodzi po prostu poprzestawiany albo przesunięty, a oba błędy kryją się za danymi testowymi, które akurat są symetryczne albo nieujemne. Ten drugi wynika z cechy Delphi i Free Pascal, która kąsa daleko poza JBIG2: shr na liczbach ze znakiem to przesunięcie logiczne, a nie arytmetyczne >>, które zakłada standard
Regiony halftone to najrzadszy typ regionu JBIG2, więc dekoder potrafi przerobić tysiące zeskanowanych dokumentów, zanim spotka zakodowany tak zrzut fotografii z rastra. Gdy już to się stanie, awaria jest paskudna: plik parsuje się, długości segmentów się sumują, strona ma właściwy rozmiar, a region to śmieci
Co właściwie dekoduje region halftone JBIG2?
Region halftone JBIG2 to siatka małych bitmap wybranych ze słownika wzorców, a prawdziwa praca dekodera to policzenie indeksu dla każdej komórki siatki i pikselowej pozycji, na którą ta komórka trafia. Słownik wzorców przechowuje HNUMPATS wzorców o rozmiarze HPW × HPH pikseli. Segment regionu halftone opisuje potem siatkę HGW kolumn na HGH wierszy i obraz w skali szarości tych samych rozmiarów, zakodowany jako bitplane'y z kodowaniem Graya. Każdy bitplane jest dekodowany procedurą generic region na bitmapie HGW × HGH, najpierw płaszczyzna najbardziej znacząca, a płaszczyzny razem nadają każdej komórce jej indeks wzorca
Rozmieszczanie komórek używa arytmetyki stałoprzecinkowej z 8-bitową częścią ułamkową. Początek siatki HGX, HGY to para wartości 32-bitowych, a wektor siatki HRX, HRY opisuje krok między sąsiednimi komórkami, co pozwala na obróconą siatkę. Dla wiersza siatki mg i kolumny siatki ng T.88 §6.6.5 liczy pozycję pikselową jako:
x = (HGX + mg × HRY + ng × HRX) >> 8y = (HGY + mg × HRX − ng × HRY) >> 8
Maska skip wchodzi przez opcjonalną flagę HENABLESKIP. Gdy flaga jest ustawiona, §6.6.5.1 buduje bitmapę HGW × HGH o nazwie HSKIP i ustawia HSKIP[ng, mg] na 1 dla każdej komórki, której wzorzec leży w całości poza regionem: x + HPW <= 0, x >= HBW, y + HPH <= 0 albo y >= HBH. Bitplane'y w skali szarości są potem dekodowane z tą maską jako skip bitmapa generic region, więc dekoder arytmetyczny nie czyta ani nie aktualizuje kontekstu dla pominiętej komórki. Dekoder i koder muszą zgadzać się co do każdego bitu HSKIP, bo dwa kodery arytmetyczne rozjadą się z kroku
Dlaczego transponowana maska HSKIP psuje tylko siatki niekwadratowe?
Maska skip zapisana z zamienionymi współrzędnymi obnaża się tylko na siatce niekwadratowej, bo siatka kwadratowa trzyma każdą zamienioną współrzędną wewnątrz maski. Przy akcesorze pikseli o sygnaturze (kolumna, wiersz) budowniczy, który przekazuje (mg, ng), wiersz pierwszy, zapisuje maskę transponowaną, podczas gdy dekoder bitplane'ów w skali szarości czyta ją jako (ng, mg). Jeśli pętla rozmieszczająca wzorce czyta maskę z powrotem w zamienionej kolejności budowniczego, oba się zgadzają, i sama recenzja logiki rozmieszczania to przepuści. Zmienne pętli nazwane wbrew temu, po czym iterują, pogarszają sprawę, jak col, który chodzi po wierszach siatki, obok Row, który chodzi po kolumnach
Weźmy siatkę 5 × 3 ze wzorców 4 × 4 na regionie 16 × 8. Przy HRX = 1024 i HRY = 0 kolumna siatki 4 wyląduje na x = 16, a wiersz siatki 2 na y = 8, oba poza regionem. Poprawna maska zaznacza siedem komórek: całą kolumnę 4 i cały wiersz 2. Zamienione zapisy próbują ustawić piksele w wierszach o indeksach 3 i 4 w masce wysokiej zaledwie trzy wiersze, a setter bitmapy, który po cichu ignoruje zapisy spoza zakresu, je porzuca. Przeżywa kolumna 2, wiersze 0 do 2. Dekoder pomija więc dwie komórki zakodowane przez koder i dekoduje sześć komórek pominiętych przez koder
Dekoder arytmetyczny nie zawodzi, gdy to się dzieje. Dekoduje dodatkowe piksele z bitów należnych późniejszym komórkom, jego konteksty czytają niewłaściwych sąsiadów, a każdy indeks wzorca po pierwszym rozjeździe to szum, dlatego objawem jest poprzestawiany region, a nie kilka źle ulokowanych komórek. Na siatce kwadratowej ten sam błąd jest często niewidoczny: żadna zamieniona współrzędna nie wychodzi poza maskę, a gdy komórki poza regionem są symetryczne względem przekątnej — na przykład gdy siatka wystaje za prawą i dolną krawędź o tę samą liczbę komórek — maska transponowana jest bit po bicie identyczna z poprawną. HENABLESKIP jest też opcjonalny, musi mieć 0, gdy obraz w skali szarości jest kodowany MMR, i bywa rzadko ustawiany przez kodery, więc błąd ma bardzo niewiele dróg, by wyjść na jaw. W PDFlibPas budowniczy zapisuje HSKIP[ng, mg], a pętla rozmieszczająca czyta w tej samej kolejności
Dlaczego ujemne offsety siatki halftone zawodzą na trzech warstwach?
Siatka halftone startująca na lewo od swojego regionu albo nad nim może popsuć się w trzech osobnych miejscach dekodera, i każdy błąd kryje następny. T.88 dopuszcza tę geometrię celowo. Koder, który wyrównuje raster do strony zamiast do regionu, albo używa obróconej siatki, naturalnie produkuje ujemne narożniki komórek, które region przycina. Wszystkie trzy warstwy muszą być poprawne razem, bo poprawienie samej jednej tylko zmienia objaw
Warstwa 1: pole ze znakiem czytane jako bez znaku
T.88 §7.4.5.1.2 definiuje HGX i HGY jako wartości 32-bitowe ze znakiem. Jeśli czytać je tym samym 32-bitowym helperem, co pola bez znaku — takim, który dociska każdy ujemny wynik do 0 — siatka mająca startować na HGX = -900 zostaje po cichu przestawiona na początek regionu; w przykładzie niżej cały obraz wychodzi dwa wiersze za nisko. Docisk ukrywa też pozostałe dwie warstwy: gdy początek jest wymuszony na nieujemny, ujemna współrzędna może pojawić się tylko przez obróconą siatkę z HRY > 0, gdzie y = HGY + mg × HRX − ng × HRY spada poniżej zera dla dalszych kolumn siatki
Warstwa 2: shr to nie >> 8
T.88 pisze >> 8 i ma na myśli przesunięcie arytmetyczne, które zaokrągla w stronę minus nieskończoności. Dosłowne tłumaczenie to shr 8, a w Delphi i Free Pascal shr na liczbach ze znakiem to przesunięcie logiczne: bit znaku wchodzi jako zero. Dla zmiennej Integer trzymającej -512 shr 8 daje 16777214 zamiast -2. Wzorzec, który powinien zostać narysowany na y = -2 i przycięty do dolnej połowy, jest wysyłany 16 milionów wierszy w dół i porzucany jako poza regionem. Nic nie wywala się; górny wiersz halftone po prostu znika
Warstwa 3: porównywanie stałoprzecinkowo zamiast w pikselach
Test skip na wartościach stałoprzecinkowych nie jest równoważny testowi na pozycjach pikselowych, gdy tylko część ułamkowa jest niezerowa. Obchodzenie logicznego przesunięcia przez testowanie xx + HPW × 256 <= 0 na wartości bez przesunięcia wygląda jak odpowiednik testu z T.88. Przy HGX = -900 i wzorcu 4-pikselowym daje to -900 + 1024 = 124, co jest dodatnie, więc komórka nie jest pomijana. Standard przesuwa najpierw: floor(-900 / 256) = -4, a -4 + 4 = 0 spełnia x + HPW <= 0, więc komórka leży w całości na zewnątrz i musi być pominięta. Koder ją pomija, dekoder ją dekoduje, a obraz w skali szarości dryfuje dokładnie jak w przypadku transponowanej maski
Weźmy siatkę 4 × 3 ze wzorców 4 × 4 przy HGX = -900, HGY = -512, HRX = 1024 na regionie 12 × 10. Kolumny siatki lądują na x = -4, 0, 4 i 8, więc kolumna 0 jest w całości na zewnątrz i należy do HSKIP; wiersze siatki lądują na y = -2, 2 i 6, więc wiersz 0 trzeba przyciąć do jego dolnych dwóch wierszy pikseli, a nie porzucać. Poprawianie warstw po jednej pokazuje stos:
| Poprawnie obsłużone warstwy | Zdekodowany region |
|---|---|
| Żadna | Siatka przyciągnięta do początku, cały obraz dwa wiersze za nisko |
| Tylko odczyt HGX / HGY ze znakiem | Pierwszy wiersz siatki brakuje, reszta poprzestawiana przez dryf testu skip |
| Odczyt ze znakiem, przesunięcie floor i test skip w przestrzeni pikseli | Identyczny, piksel w piksel, ze stroną policzoną z T.88 §6.6.5 i z dwoma niezależnymi dekoderami referencyjnymi |
PDFlibPas zamyka to wszystko w jednym helperze, HalftoneGridPixel, wspólnym dla budowniczego maski skip i pętli rozmieszczającej. Akumuluje współrzędną w Int64, żeby duży iloczyn mg × HRX nie mógł się przepełnić, dzieli przez 256 z zaokrągleniem w stronę minus nieskończoności i dociska do ±MaxInt div 2, żeby uszkodzona siatka nie przepełniła późniejszej arytmetyki bitmap. Test skip porównuje te wartości pikselowe z HPW, HPH, HBW i HBH, dokładnie tak, jak formułuje to §6.6.5.1
Jak w Delphi zapisać arytmetyczne przesunięcie w prawo?
Delphi nie ma operatora przesunięcia arytmetycznego, więc poprawne przesunięcie w prawo ze znakiem trzeba zapisać jako dzielenie floor, a zwykłe div nie jest tym dzieleniem. div obcina w stronę zera. Dla wartości nieujemnych obcinanie i floor się zgadzają, i zgadzają się też dla ujemnych wartości będących dokładnymi wielokrotnościami dzielnika, dlatego -512 div 256 = -2 wygląda dobrze w szybkim teście. Wszędzie indziej się rozjeżdżają: -900 div 256 to -3, podczas gdy floor to -4, a -1 div 256 to 0, podczas gdy floor to -1. Współrzędna JBIG2 z niezerową częścią ułamkową to dokładnie przypadek, w którym div daje zły piksel
Na kompilatorach Delphi Win32 i Win64 zmienna Integer trzymająca -512 po przesunięciu w prawo o 8 daje 16777214, a Int64 trzymający -512 daje 72057594037927934. Free Pascal też definiuje shr jako przesunięcie logiczne i dostarcza SarLongint oraz SarInt64 w swojej jednostce System dla wersji arytmetycznej, ale tych funkcji nie ma w Delphi, więc kod współdzielony między tymi kompilatorami potrzebuje własnego helpera:
// Dzielenie floor: zaokrągla w stronę minus nieskończoności przy dowolnych znakach A i B.
// B nie może być 0, a FloorDiv(Low(Integer), -1) przepełnia się tak samo jak div
function FloorDiv(A, B: Integer): Integer;
begin
Result := A div B;
if (A mod B <> 0) and ((A < 0) <> (B < 0)) then
Dec(Result);
end;
// Arytmetyczne przesunięcie w prawo (C-owe i T.88 ">>" na wartościach ze znakiem).
// Dla ujemnego Value not Value = -Value - 1 jest nieujemne, więc
// logiczne shr jest tam bezpieczne, a zewnętrzne not odwraca wynik
function SarInt32(Value: Integer; Shift: Integer): Integer; // Shift 0..31
begin
if Value >= 0 then
Result := Value shr Shift
else
Result := not ((not Value) shr Shift);
end;
function SarInt64(Value: Int64; Shift: Integer): Int64; // Shift 0..63
begin
if Value >= 0 then
Result := Value shr Shift
else
Result := not ((not Value) shr Shift);
end;
Trik z not nigdy nie przesuwa liczby ujemnej, więc nie zależy od tego, jak kompilator traktuje bit znaku, i nigdy się nie przepełnia, łącznie z Low(Integer). Oba helpery zgadły się z referencją floor na Int64 na kilku milionach wartości, przy każdym przesunięciu od 0 do 31 i na krawędziach Low(Integer) i High(Integer) na Delphi Win32, Delphi Win64 i Free Pascal x86_64. Kontrola sensowności, którą warto trzymać w każdym teście jednostkowym dotykającym współrzędnych:
var
V: Integer;
begin
V := -900;
Writeln(V shr 8); // 16777212 przesunięcie logiczne, pułapka
Writeln(V div 256); // -3 obcinanie w stronę zera
Writeln(FloorDiv(V, 256)); // -4 to, co T.88 rozumie przez >> 8
Writeln(SarInt32(V, 8)); // -4
end;
Math.Floor(V / 256) też zwraca -4, ale jej objazd przez Double traci precyzję dla wartości Int64 powyżej 253, więc geometria na liczbach całkowitych powinna zostać w liczbach całkowitych
Które wywołania PDFlibPas odpalają dekoder halftone?
Dekoder halftone JBIG2 rusza, gdy PDFlibPas renderuje stronę wbudowanym rendererem, bo renderowanie potrzebuje pikseli. RenderPageToFile i RenderPageToStream docierają do niego oba przez strumienie obrazów JBIG2Decode strony, więc ponowne wyrenderowanie strony z halftone to bezpośredni sposób sprawdzenia, co produkuje dekoder. Ten sam dekoder obsługuje pozostałe typy regionów JBIG2, opisane w artykule o własnych tabelach Huffmana JBIG2 w dekoderze czysto Pascalowym i w artykule o dekodowaniu plików JBIG2 o dostępie losowym w Delphi, a wyrenderowana bitmapa zasila konwersje takie jak renderowanie stron PDF do monochromatu 1-bitowego
uses
SysUtils, PDFlibrary;
var
Lib: TPDFlib;
Page: Integer;
begin
Lib := TPDFlib.Create;
try
if Lib.LoadFromFile('scanned-halftone.pdf', '') <> 1 then
raise Exception.CreateFmt('Load failed, error %d', [Lib.LastErrorCode]);
for Page := 1 to Lib.PageCount do
// Renderowanie dekoduje każdy region JBIG2, halftony wliczone
if Lib.RenderPageToFile(150, Page, PDF_RENDER_PNG,
Format('page-%.3d.png', [Page])) <> 1 then
Writeln('Page ', Page, ' was not rendered');
finally
Lib.Free;
end;
end.
Ekstrakcja obrazów zwykle jedzie inną ścieżką. GetPageImageList zwraca obrazy JBIG2 w postaci natywnej, a SaveImageListItemDataToFile albo GetImageListItemDataToString wręcza ci samodzielny plik JBIG2 zbudowany z bajtów strumienia: nagłówek pliku, dane JBIG2Globals i segment końca pliku wokół danych strony. Właściwość 400 GetImageListItemIntProperty raportuje 6 dla takiego elementu. Na tej ścieżce nic nie jest dekodowane, więc wyciągnięty .jb2, który wygląda poprawnie w innym podglądzie, podczas gdy wyrenderowana strona pokazuje szum, wskazuje na ścieżkę dekodowania, a nie na strumień:
var
ListID, I: Integer;
begin
Lib.SelectPage(1);
ListID := Lib.GetPageImageList(0);
if ListID = 0 then
Exit;
try
for I := 1 to Lib.GetImageListCount(ListID) do
if Lib.GetImageListItemIntProperty(ListID, I, 400) = 6 then // samodzielny JBIG2
Lib.SaveImageListItemDataToFile(ListID, I, 0,
Format('page1-image%d.jb2', [I]));
finally
Lib.ReleaseImageList(ListID);
end;
end;
Gdy maski albo konwersja kolorów wymuszą fallback przez renderowanie, element wraca jako zdekodowana bitmapa i dekoder halftone faktycznie rusza. Więcej o listach obrazów w artykule o ekstrakcji tekstu, obrazów i fontów z PDF w Delphi
Ściąga: reguły siatki halftone JBIG2
- Indeksuj maskę skip jako
HSKIP[ng, mg], kolumna siatki pierwsza, i czytaj ją z powrotem w tej samej kolejności wszędzie, gdzie rozmieszczane są komórki (T.88 §6.6.5.1) - Testuj każdy kod halftone albo siatki na siatce niekwadratowej i asymetrycznym zestawie komórek poza regionem, bo siatka kwadratowa potrafi całkiem ukryć transponowany indeks
- Czytaj
HGXiHGYjako wartości 32-bitowe ze znakiem (T.88 §7.4.5.1.2), nigdy przez helper bez znaku, który dociskuje ujemne - Tłumacz
>> 8ze standardu jako dzielenie floor przez 256, nie jakoshr 8i nie jakodiv 256 - Rób test skip na przesuniętych pozycjach pikselowych; forma stałoprzecinkowa różni się zawsze, gdy część ułamkowa jest niezerowa, co pokazuje
HGX = -900ze wzorcem 4-pikselowym - Akumuluj współrzędne siatki w
Int64i dociskaj je przed przekazaniem do kodu bitmap, żeby uszkodzona siatka nie mogła się przepełnić
PDFlibPas renderuje, ekstrahuje i edytuje dokumenty PDF z Delphi i C++Buildera natywnym dekoderem JBIG2 w Pascalu, który obsługuje maski skip halftone, ujemne początki siatki i obrócone siatki tak, jak precyzuje T.88. Funkcje, edycje i wersję próbną znajdziesz na stronie PDFlibPas, biblioteki PDF dla Delphi