Откройте 200-страничный PDF по ссылке — и браузер часто остаётся пустым, пока не придёт большая часть файла. Fast Web View — название Adobe Acrobat для линеаризованного PDF (приложение F ISO 32000-1): первая страница и небольшой индекс сидят в начале файла, поэтому просмотрщик рано рисует страницу один, а последующие страницы добирает HTTP-запросами Range. HotPDF и PDFium Component умеют писать линеаризованные файлы прямо из Delphi
Никакой это не отдельный формат файла. Линеаризованный PDF — обычный PDF, который любой корректный ридер открывает без особой обработки; разница в порядке байтов и в двух дополнительных структурах — словаре параметров линеаризации и потоке подсказок. Выгоду ридер почувствует только при двух условиях. Файл должен быть линеаризован и оставаться таким — дописанная правка тихо это отменяет, — а веб-сервер должен отвечать на запросы диапазонов байтов кодом 206 Partial Content. На локальном диске, где переход в конец файла ничего не стоит, линеаризованный PDF ведёт себя в точности как любой другой, так что Fast Web View — чисто сетевая оптимизация, которая окупается на больших документах, открываемых прямо по URL
Что линеаризованный PDF переставляет?
Линеаризованный PDF собирает всё, что нужно первой странице, в непрерывный блок у начала файла, впереди всех остальных страниц. В обычном PDF объекты могут лежать в каком угодно порядке, потому что таблица перекрёстных ссылок в конце отображает каждый номер объекта в его байтовое смещение: ридер перематывает в хвост, читает указатель startxref, загружает таблицу и дальше находит что угодно (обзор структуры PDF-файла разбирает эту компоновку из заголовка, тела, xref и трейлера). На диске такой дизайн прекрасен, а в сети плох, потому что хвост — ровно та часть, которая приходит последней. Чтобы нарисовать страницу один, обычному ридеру нужны объект страницы, его поток содержимого и используемые им шрифты и картинки, и в неупорядоченном файле любое из этого может лежать в последнем мегабайте
Линеаризация фиксирует порядок. За заголовком идут словарь линеаризации и небольшой раздел перекрёстных ссылок первой страницы, затем объекты уровня документа — каталог, основной поток подсказок и первая страница со всеми её ресурсами. Дальше подряд идут оставшиеся страницы, потом объекты, общие для поздних страниц, и в самом конце — главная таблица перекрёстных ссылок. Ридер, игнорирующий оптимизацию, всё так же начинает с конца и находит каждый объект через главную таблицу, поэтому линеаризованный файл остаётся полностью совместимым со старым софтом. В hex-редакторе нумерация объектов оттого выглядит вывернутой: передний блок несёт самые большие номера, а всё позади него нумеруется с 1
Словарь линеаризации и таблицы подсказок
Первый объект после заголовка %PDF — словарь параметров линеаризации, и приложение F требует, чтобы он сидел в первых 1024 байтах, где потоковый ридер находит его в стартовом пакете. Таблица F.1 перечисляет его записи: /L — длина всего файла в байтах, /H — смещение и длина основного потока подсказок, /O — номер объекта первой страницы, /E — смещение, где первая страница кончается, /N — число страниц, /T — смещение первой записи в главной таблице перекрёстных ссылок. Запись /L весит больше, чем кажется. Когда она расходится с реальным размером файла, таблица F.1 велит ридеру обращаться с документом как с обычным PDF и игнорировать все подсказки внутри
Поток подсказок — то, что делает прыжок на страницу 40 дешёвым. Он хранит таблицу подсказок смещений страниц, записывающую для каждой страницы, где начинаются её объекты и сколько байтов они покрывают, и таблицу подсказок общих объектов, которая делает то же для шрифтов, логотипов и прочих ресурсов, используемых на нескольких страницах. Ридеру, которому нужна страница 40, достаточно посмотреть её диапазон байтов, запросить ровно этот срез и рисовать, как только он придёт, тем же способом вытягивая любой общий объект, которого у него ещё нет. Две детали валят самодельные линеаризаторы. Смещения в подсказках логические — вычисленные так, будто самого потока подсказок нет, — поэтому писатель, сохраняющий физические смещения, уводит каждый последующий range-запрос на размер объекта подсказок. А писатель, который, собирая ресурсы страницы, идёт по её ссылке /Parent, спускается по дереву страниц вниз и затаскивает весь документ в раздел первой страницы. Оба файла по-прежнему заявляют, что линеаризованы. Ни один не грузится быстрее
Почему Fast Web View требует помощи сервера?
Fast Web View работает, только когда сервер по запросу отдаёт произвольные срезы файла. Ридер шлёт HTTP-запросы с заголовком Range и ждёт в ответ 206 Partial Content; если сервер никогда не анонсирует Accept-Ranges: bytes, а прокси или CDN перед ним схлопывают range-запросы в полные передачи, ридер не может достать страницу 40 сам и скачивает весь файл целиком. Структура внутри PDF тогда корректна и совершенно впустую, и это отказ, который чаще всего ошибочно диагностируют как сломанную линеаризацию. Прежде чем пересобирать документ, запросите первый килобайт того самого URL, который открывает просмотрщик, например через curl -r 0-1023, и убедитесь, что статус — 206. Статические файловые хостинги обычно делают это правильно по умолчанию, а конечные точки приложений, прогоняющие PDF через собственный обработчик, часто нет
Как проверить, есть ли у PDF Fast Web View?
Проверяйте байты, а не доверяйте инструменту, который произвёл файл, и проверяйте обе половины условия: файл заявляет себя линеаризованным, и это заявление всё ещё совпадает с файлом на диске. Три проверки покрывают почти все случаи, от беглого взгляда на десктопе до автоматического шлюза в издательском конвейере:
- Adobe Acrobat или Reader: откройте File > Properties; вкладка Description показывает
Fast Web View: YesилиNoв правом нижнем углу. Acrobat пишет Yes, только когда структура присутствует и актуальна, поэтому файл, правленный после линеаризации, покажет No - qpdf в командной строке:
qpdf --check-linearizationсверяет таблицы подсказок с реальными позициями объектов, аqpdf --show-linearizationвываливает словарь и каждую запись таблиц подсказок - Первый килобайт файла: откройте его в текстовом или hex-редакторе и ищите объект с
/Linearized 1в пределах первых 1024 байтов; если он там, сверьте его значение/Lс размером файла, который сообщает операционная система
# Проверяет словарь линеаризации и таблицы подсказок по компоновке
qpdf --check-linearization report-web.pdf
# Вываливает /L, /H, /O, /E, /N, /T и каждую запись таблиц подсказок
qpdf --show-linearization report-web.pdf
Проверка qpdf — та, что стоит встроить в конвейер, потому что она сверяет таблицы подсказок с фактическими позициями объектов; проверка, лишь подтверждающая существование словаря, благословит файл, чьи смещения указывают на чужие байты. Из Delphi THotPDF.IsLoadedLinearized в HotPDF сообщает, заявляет ли загруженный документ себя линеаризованным, сканируя первые 1024 байта на /Linearized до разбора. PDFium Component отвечает на тот же вопрос классовым методом TPdf.InspectAvailability, чьё поле Linearization возвращает plnLinearized, plnNotLinearized или plnUnknown, вообще не загружая документ. Оба флага сообщают, что заявляет файл; сравнение /L говорит, совпадает ли это заявление с байтами на диске:
uses
System.SysUtils, System.Classes, System.Math, System.StrUtils, PDFium;
type
TFastWebView = (fwvNo, fwvStale, fwvYes);
// Ваш собственный хелпер: PDFium решает, линеаризован ли файл,
// а сравнение /L ловит правки, дописанные позже
function FastWebViewState(const FileName: string): TFastWebView;
var
Stream: TFileStream;
Head: AnsiString;
Text: string;
P, Q: Integer;
begin
Result := fwvNo;
Stream := TFileStream.Create(FileName, fmOpenRead or fmShareDenyWrite);
try
if TPdf.InspectAvailability(Stream).Linearization <> plnLinearized then
Exit;
SetLength(Head, Min(Stream.Size, 1024)); // Приложение F: первые 1024 байта
Stream.Position := 0;
if Length(Head) > 0 then
Stream.ReadBuffer(Head[1], Length(Head));
Text := string(Head);
P := Pos('/Linearized', Text);
if P = 0 then
Exit;
P := PosEx('/L ', Text, P + Length('/Linearized'));
if P = 0 then
Exit;
Inc(P, 3);
Q := P;
while (Q <= Length(Text)) and CharInSet(Text[Q], ['0'..'9']) do
Inc(Q);
if StrToInt64Def(Copy(Text, P, Q - P), -1) = Stream.Size then
Result := fwvYes
else
Result := fwvStale; // линеаризован когда-то, потом правлен
finally
Stream.Free;
end;
end;
Включение Fast Web View в Acrobat, qpdf и Delphi
Любой инструмент, переписывающий файл целиком в порядке приложения F, может включить Fast Web View, и важнее всего, чтобы он запускался последним. В Acrobat включите Save As optimizes for Fast Web View в Preferences > Documents и затем пользуйтесь File > Save As вместо Save, потому что простой Save может дописать инкрементное обновление. На сервере или в сборочном скрипте qpdf --linearize in.pdf out.pdf переписывает любой PDF в линеаризованную форму и не трогает вход. У Delphi-кода два пути — смотря генерируете вы документ или получаете. HotPDF пишет линеаризованный вывод напрямую при THotPDF.LinearizeOutput равном True; выставьте его вместе с остальными опциями вывода до BeginDoc, и компоновка приложения F будет вычислена и записана внутри EndDoc:
qpdf --linearize report-final.pdf report-web.pdf
var
PDF: THotPDF;
begin
PDF := THotPDF.Create(nil);
try
PDF.AutoLaunch := False; // не открывать просмотрщик после EndDoc
PDF.FileName := 'catalog-web.pdf';
PDF.LinearizeOutput := True; // выставить до BeginDoc
PDF.BeginDoc; // страница 1 существует после BeginDoc
PDF.CurrentPage.TextOut(72, 72, 0, 'Spring catalog');
PDF.AddPage;
PDF.CurrentPage.TextOut(72, 72, 0, 'Price list');
PDF.EndDoc; // линеаризованная компоновка пишется здесь
finally
PDF.Free;
end;
end;
Для уже существующих файлов у PDFium Component есть TPdf.SaveAsLinearized. Метод выполняет обычное сохранение PDFium в промежуточное хранилище, так что правки страниц и значения форм идут тем же путём, что и любое другое сохранение, а затем перестраивает этот вывод по приложению F перед записью в целевой файл. Метод принимает те же параметры TSaveOption и TPdfVersion, что и SaveAs, отвергает saIncremental и любую версию ниже PDF 1.2, а его перегрузка с именем файла пишет во временный файл, который подменяет целевой только после успешного сохранения. Поскольку писатель пересобирает файл из текущей ревизии, это же и способ вернуть Fast Web View файлу, обросшему дописанными правками. Шифрованному входу нужен saRemoveSecurity: перенумерация объектов аннулирует индивидуальные ключи объектов стандартного обработчика безопасности (ISO 32000-1 §7.6.2), так что веб-копия пишется без шифрования
var
Pdf: TPdf;
begin
Pdf := TPdf.Create(nil);
try
Pdf.FileName := 'manual-rev3.pdf'; // несёт дописанные правки
Pdf.Active := True;
if not Pdf.SaveAsLinearized('manual-web.pdf', saNoIncremental) then
raise Exception.Create('Linearized save failed');
finally
Pdf.Free;
end;
end;
Инкрементные обновления тихо выключают Fast Web View
Инкрементное обновление — самая частая причина, по которой корректно линеаризованный файл позже теряет Fast Web View. Когда инструмент добавляет подпись, заполняет поле формы или прикрепляет заметку через инкрементное сохранение, он оставляет исходные байты нетронутыми и дописывает в конец изменённые объекты, новый раздел перекрёстных ссылок и новый трейлер. Словарь линеаризации в начале всё ещё описывает старую компоновку, его /L больше не совпадает с размером файла, и корректный ридер откатывается к обращению с документом как с обычным PDF, хотя линеаризованная структура по-прежнему цела в первой части файла. HotPDF дописывает ровно такие ревизии через BeginIncrementalUpdate и SaveIncrementalUpdate — верный инструмент, пока документ ещё меняется, и неверный финальный шаг для файла, отправляющегося на веб-сервер:
// Дописывает ревизию: быстро, прежние байты целы,
// и результат остаётся без Fast Web View
PDF.BeginIncrementalUpdate('report.pdf');
PDF.AddPage;
PDF.CurrentPage.TextOut(72, 760, 0, 'Addendum');
PDF.SaveIncrementalUpdate('report-rev2.pdf');
Рабочее правило: правьте инкрементно, пока документ в движении, линеаризуйте один раз самым последним шагом и оставляйте Fast Web View выключенным для файлов, которые уходят почтой или скачиваются до того, как их кто-то откроет, — им от большего переднего индекса нет никакой пользы. Подписанные документы заставляют делать реальный выбор: полная перезапись меняет байты, которые покрывает /ByteRange каждой подписи, а подписание после дописывает обновление, мгновенно возвращая несовпадение /L, так что для договоров сохраняйте подпись и смиритесь с полными скачиваниями. Писательскую сторону приложения F — как смещения сходятся до записи первого байта и почему линеаризованный вывод отказывается от объектных потоков — разбирают запись линеаризованных PDF с таблицами подсказок HotPDF и линеаризация Fast Web View с PDFium Component в Delphi. LinearizeOutput и IsLoadedLinearized поставляются с HotPDF Delphi Component, а SaveAsLinearized и InspectAvailability входят в PDFium Component для Delphi, C++Builder и Lazarus