Техническая статья

FontIndex BIFF8 пропускает 4: rich text runs в HotXLS

Книга BIFF8 с восемью записями FONT содержит запись XF, чье поле шрифта читается как 8. Посчитайте с нуля — и это один слот за концом таблицы, но Excel рисует ячейку восьмым шрифтом без жалоб. Значение легально: [MS-XLS] §2.5.129 нумерует первые четыре записи FONT от 0 до 3, пропускает 4 целиком и нумерует каждую позднюю запись по ее позиции с единицы

Так что пятая запись FONT — это ifnt 5, и корректный файл никогда не нуждается в значении больше числа своих записей FONT. Правило читается как опечатка в спецификации, поэтому люди ее и «исправляют», а поскольку форматы ячеек, rich text общих строк и прогоны комментариев несут один и тот же тип FontIndex, чтение, различающееся между путями, привязывает одни шрифты правильно, а другие — на одну запись в сторону. Это из того же семейства, что причуды длины и кодировки в декодировании BIFF8 XLUnicodeString cch и fHigh — файл в порядке, чтение его — нет

Что говорит [MS-XLS] §2.5.129 и как проверить это на реальном файле

[MS-XLS] §2.5.129 определяет FontIndex как позицию записи с дыркой. Значения ниже 4 считаются с нуля, значения выше 4 — с единицы, а значение 4 НЕ ДОЛЖНО использоваться. Записи XF указывают им на шрифты, записи FormatRun rich-строки общего пользования используют его, и прогоны форматирования TXO из §2.5.272 тоже

Слову спецификации верить не обязательно. Сдампите .xls, сохраненный самим Excel, любым просмотрщиком BIFF-записей, посчитайте записи FONT (тип записи $0031), затем просканируйте поле шрифта в начале каждой записи XF ($00E0). Максимальное значение остается в пределах числа записей, а число 4 в списке отсутствует. Если вы нашли 4 или значение выше числа FONT, файл писала не Excel, и его нумерация шрифтов заслуживает более пристального взгляда. Для диагностического инструмента или теста все отображение умещается в две функции

// Ваши собственные помощники, не часть никакой библиотеки
// [MS-XLS] 2.5.129 FontIndex: 0..3 с нуля, > 4 с единицы, 4 недопустим
function FontIndexToRecordNo(Ifnt: Word): Integer;  // запись FONT с единицы
begin
  if Ifnt < 4 then
    Result := Ifnt + 1
  else if Ifnt > 4 then
    Result := Ifnt
  else
    Result := -1;  // 4 не должна встречаться
end;

function RecordNoToFontIndex(RecordNo: Integer): Word;
begin
  if RecordNo <= 4 then
    Result := RecordNo - 1
  else
    Result := RecordNo;
end;
Отображение FontIndex по MS-XLS 2.5.129, где ifnt от 0 до 3 — позиции записей FONT с нуля, ifnt 5 и выше — с единицы, а значение 4 не встречается никогда, с конверсией FontIndexToRecordNo
Пятая запись FONT — это ifnt 5, так что в файле с N записями FONT наибольший легальный ifnt — N, а значение 4 никогда не сохраняется

Как HotXLS нумерует шрифты в записях XF и rich text runs

HotXLS читает и пишет каждую ссылку на шрифт BIFF8 в нумерации спецификации. При сохранении таблица шрифтов ужимается до шрифтов, на которые что-то реально ссылается, и позиция каждого выжившего шрифта становится FontIndex: позиции 1–4 пишутся как 0–3, позиция 5 и выше уходит без изменений. Загрузка обращает это, так что любое значение 5 и больше сдвигается на единицу вниз, чтобы найти шрифт в памяти, а все ниже 5 остается на месте. Та же конверсия применяется к записям XF, к rich text runs в таблице общих строк, к прогонам комментариев и текстовых боксов и к ссылкам на шрифты внутри классических записей диаграмм

Для кода приложения видимая часть — TextRuns на TXLSComment и TXLSTextBox. TextRuns.FontIndex[I] возвращает файловую нумерацию ровно как прочитано, с пропущенной 4. Индексы прогонов считаются с единицы, а CharIndex[I] — смещение символа, где начинается прогон I. Выставлять файловый номер вместо слота таблицы с нуля — здесь лучшее умолчание: то, что репортит API, совпадает с тем, что показывает дамп записей. Цена — один вызов помощника выше, прежде чем вы трактуете значение как позицию таблицы

var
  Book: IXLSWorkbook;
  Note: TXLSComment;
  I: Integer;
  Ifnt: Word;
begin
  Book := TXLSWorkbook.Create;
  if Book.Open('review-notes.xls') <> 1 then
    raise Exception.Create('Cannot open review-notes.xls');
  Note := Book.Sheets[1].Range['C2', 'C2'].Comment;
  if Note <> nil then
    for I := 1 to Note.TextRuns.Count do
    begin
      Ifnt := Note.TextRuns.FontIndex[I];   // файловая нумерация, 4 пропущен
      // ваша собственная проверка: 4 значит, файл нарушает 2.5.129
      if Ifnt = 4 then
        raise Exception.CreateFmt('Run %d uses invalid ifnt 4', [I]);
      Writeln(Format('run %d at char %d: ifnt %d = FONT record #%d',
        [I, Note.TextRuns.CharIndex[I], Ifnt, FontIndexToRecordNo(Ifnt)]));
    end;
end;

После сохранения число, сохраненное для прогона, может отличаться от того, что вы прочитали или выставили. Сохранение перенумеровывает прогоны вместе с ужатой таблицей шрифтов, так что номер меняется, а шрифт, на который он указывает, — нет

Почему исправление «с нуля» сдвигает каждый пользовательский шрифт

Ловушка обычно начинается с правдоподобного баг-репорта. Кто-то дампит книгу с восемью записями FONT, видит XF, указывающий на шрифт 8, заключает, что писатель выдал внедиапазонный индекс, и переключает и писателя, и читателя на простую арифметику с нуля. Тест кругового путешествия все еще проходит, потому что залатанный писатель и залатанный читатель согласны друг с другом. Excel не согласен. Файл, записанный так, хранит первый пользовательский шрифт как ifnt 4, который Excel разрешает в шрифт по умолчанию, и каждый поздний пользовательский шрифт ложится на одну запись раньше. Чтение собственных файлов Excel идет в другую сторону: каждый шрифт привязывается на одну запись позже

Неверное чтение «с нуля», при котором писатель и читатель трактуют значения FontIndex с единицы как идущие с нуля: первый пользовательский шрифт сохраняется как запрещенный ifnt 4, который Excel разрешает в шрифт по умолчанию, а каждый поздний шрифт ложится на запись раньше, при этом круговые путешествия между ними все еще проходят
Писатель и читатель, разделяющие одно неверное чтение, проходят каждый тест «сохрани и переоткрой», тогда как каждый шрифт, который открывает Excel, встает на одну запись в сторону

Два сигнала выдают неверное чтение до релиза. Первый — тест, утверждающий ifnt < FontCount. Он выглядит проверкой границ, а на деле записывает неверное чтение как требование. Тест, отображающий каждый записанный ifnt назад в имя записи FONT через формулу спецификации, ловит сдвиг на первом же прогоне

Второй сигнал — код, не согласный сам с собой. Полный читатель и писатель BIFF8 применяет правило пропуска 4 в нескольких местах: вывод XF, ввод XF, перенумерование прогонов общих строк, прогоны комментариев, шрифтовые записи диаграмм. Когда изменение переводит часть этих мест на нумерацию с нуля, а остальное оставляет, нетронутые места — улики, так что подозревайте изменение раньше, чем их. Частичное изменение может прятаться долго, потому что шрифты, использованные в rich text, обычно еще и упоминаются каким-нибудь форматом ячейки

Почему шрифтовые прогоны комментариев ломаются только на втором сохранении?

Прогоны комментариев и текстовых боксов могут пережить одно сохранение и сломаться на следующем, когда встречаются две привычки писателя. Первая — асимметричная обрезка: держать первые N-1 записей FONT на месте безусловно и выбрасывать только последнюю, когда ни одна XF на нее не ссылается. Вторая — запись прогонов форматирования TXO ([MS-XLS] §2.4.329) назад байт в байт без их перенумерования. Каждая привычка в одиночку проходит тест одного сохранения. Вместе они закладывают потерю шрифта, ожидающую одно поколение

Причина — в том, что пишет Excel. Файлы .xls авторства Excel часто кончаются нессылаемой хвостовой записью шрифта; на системе с китайской локалью это 9-пунктовый DengXian. При первом сохранении шрифт, которым пользуется только прогон комментария, поэтому никогда не последний, и ничего видимо не двигается. Но то сохранение выбрасывает хвостовой шрифт и продвигает шрифт «только для комментария» на последнюю позицию. Второе сохранение находит последний шрифт без ссылки из XF и отбрасывает его. ifnt прогона теперь указывает за конец таблицы, и Excel откатывается к шрифту по умолчанию. Если книга между делом приобрела шрифт, прогон привяжется к новичку. Заметки, которые открывают, аннотируют и сохраняют снова и снова, как в построении workflow комментариев и гиперссылок, — то место, где это проявляется первым

Таблица шрифтов через два сохранения, где нессылаемая хвостовая запись FONT, которую пишет Excel, выбрасывается первой, шрифт «только для комментария» становится последним и отбрасывается при втором сохранении, когда прогоны форматирования TXO записываются назад без подсчета их как ссылок на шрифты
Первое сохранение выглядит чистым, потому что удар принимает хвостовой шрифт; шрифт комментария исчезает только на втором, так что проверка шрифтов должна накрывать больше одного сохранения

HotXLS обращается с прогонами комментариев и текстовых боксов так же, как с прогонами общих строк. Прежде чем таблица шрифтов ужмется, каждый прогон на каждом листе конвертируется из своего skip-4 FontIndex в слот таблицы и считается ссылкой, что сохраняет шрифт, которым пользуется только прогон. На выходе прогоны идут через ту же таблицу «слот — сохраняемый индекс», которая перенумеровывает записи XF. Закрывающая запись TxOLastRun не несет шрифта и пишется как была прочитана. Из-за этого перенумерования сравнение значений FontIndex до и после сохранения не говорит ничего; сравнивайте имена шрифтов, в которые они разрешаются

Копии, вставки строк и прогоны, пересекающие книги

В классическом движке Range.Copy, CopyRange, Sheets.AddCopy и сдвиги ячеек за Range.Insert и Range.Delete идут через один путь копирования ячеек, а сдвиг — просто копия, за которой следует очистка. Копия, унесшая бы только текст и автора комментария, превратила бы заметку из двух прогонов в заметку с одним шрифтом после единственной вставки строки — без того, чтобы пользователь тронул комментарий

HotXLS копирует смещение старта и шрифт каждого прогона вместе с текстом. Внутри одной книги FontIndex переиспользуется как есть. Между книгами шрифт движется по значению: skip-4 номер конвертируется в слот, шрифт сопоставляется или добавляется в таблицу шрифтов назначения по своим атрибутам, и получившийся слот конвертируется назад в файловую нумерацию. Rich text в общих строках идет через ту же конверсию, когда Sheets.AddCopy копирует лист в другую книгу, так что два сорта прогонов не могут разъехаться. Сторона таблицы шрифтов следует тому же подходу «по значению», что и сторона формул, разобранная в межкнижном копировании и перепривязке формул

Два краевых случая стоит знать, когда пишете для этого тесты:

  • Вставка на месте, где источник и назначение разрешаются в один комментарий, хранит свои прогоны; ничего не очищается, прежде чем было прочитано
  • Sheets.AddCopy копирует и комментарии, привязанные к ячейкам без сохраненной записи ячейки, которые цикл только по сохраненным ячейкам пропустил бы

На движке XLSX копии клонируют прогоны комментариев по значению, а часть комментариев читается и пишется с rFont, strike, u и vertAlign. Имя шрифта прогона, зачеркивание, подчеркивание и настройка верхнего или нижнего индекса поэтому возвращаются целыми после сохранения и переоткрытия

Регрессионный тест, переживающий перенумерование

Каждая ловушка этой статьи проходит тест в памяти. Неверное чтение «с нуля» живет в согласованной паре писатель-читатель, потеря шрифта комментария требует двух сохранений, а потерянные прогоны комментариев на XLSX видны только после переоткрытия. Так что тест обязан переоткрывать с диска, прогонять минимум два поколения сохранений и проверять структуру прогонов вместо сырых номеров шрифтов. Стартуйте с книги, сохраненной самим Excel, с комментарием из двух прогонов на C2, чей второй прогон использует шрифт, на который больше ничто в файле не ссылается; это тот шрифт, который второе сохранение иначе выбросило бы

procedure CheckNoteAcrossTwoSaves(const SrcFile, Out1, Out2: string);
var
  Book: IXLSWorkbook;
  Note: TXLSComment;
  RunCount: Integer;
  SecondRunAt: Word;
begin
  // Вызовы Assert — ваши собственные проверки в тесте
  Book := TXLSWorkbook.Create;
  Assert(Book.Open(SrcFile) = 1);          // сохранено Excel, у C2 два прогона
  Note := Book.Sheets[1].Range['C2', 'C2'].Comment;
  Assert(Note <> nil);
  RunCount := Note.TextRuns.Count;
  SecondRunAt := Note.TextRuns.CharIndex[2];

  Book.Sheets[1].Range['C2', 'C2'].Copy(Book.Sheets[1].Range['E5', 'E5']);
  Book.Sheets[1].Range['C1', 'C1'].Insert(xlShiftDown);   // C2 сдвигается в C3
  Assert(Book.SaveAs(Out1) = 1);

  Book := TXLSWorkbook.Create;               // поколение два
  Assert(Book.Open(Out1) = 1);
  Assert(Book.SaveAs(Out2) = 1);

  Book := TXLSWorkbook.Create;               // переоткрытие, памяти не доверяем
  Assert(Book.Open(Out2) = 1);
  Note := Book.Sheets[1].Range['C3', 'C3'].Comment;
  Assert((Note <> nil) and (Note.TextRuns.Count = RunCount));
  Assert(Note.TextRuns.CharIndex[2] = SecondRunAt);
  Assert(Note.TextRuns.FontIndex[2] <> 4);
  Note := Book.Sheets[1].Range['E5', 'E5'].Comment;
  Assert((Note <> nil) and (Note.TextRuns.Count = RunCount));
end;

Число прогонов и смещения старта ловят расплющенные заметки. Самому шрифту нужен еще один шаг вне теста: откройте Out2 в просмотрщике записей, прогоните ifnt каждого прогона через FontIndexToRecordNo и подтвердите, что запись FONT, на которую он лег, несет то же имя шрифта, что в исходном файле. В Excel потерянный шрифт проявляется как гарнитура по умолчанию на втором прогоне заметки C3

Классический XLS все еще встречается во множестве проектов на Delphi и C++Builder, и каждый потребитель шрифтов в файле BIFF8 обязан сходиться на §2.5.129, чтобы вывод открылся в Excel корректно. HotXLS, компонент электронных таблиц для Delphi, применяет нумерацию с пропуском 4 по форматам ячеек, общим строкам, комментариям, текстовым боксам и диаграммам, перенумеровывает прогоны при каждом сохранении и переносит их по значению между книгами, читая и пиша и XLS, и XLSX без Excel или OLE-автоматизации