技術記事

Data Matrix と PDF417 の UTF-8: ECI 26 マーカー

倉庫のラベルは荷受人 Müller GmbH, Köln を UTF-8 で Data Matrix シンボルに格納しますが、現場のハンドヘルドスキャナはどれも Müller GmbH, Köln として読み返してきます。PDFlibPas のプロパティ BarcodePayloadEncoding を bpeUTF8WithECI に設定すると、データの先頭に ECI 000026 マーカーが置かれ、Data Matrix と PDF417 のリーダーにバイト列を UTF-8 としてデコードするよう伝えます

なぜ UTF-8 のペイロードは Müller に化けるのか

シンボル自身は文字コードの宣言を持たないため、リーダーはそのシンボル体系の既定の 1 バイト文字セットにフォールバックします。Data Matrix なら ISO-8859-1 です。UTF-8 の ü は 2 バイトの C3 BC ですが、ISO-8859-1 では à と ¼ に割り当てられており、ö も同じやり方で ö になります。バイト列そのものは無傷です。Extended Channel Interpretation は、バーコードの世界における文字コード宣言です。AIM の ECI レジストリは文字セットに番号を割り当てており、その 1 つ 000026 が UTF-8 用で、ECI 指示子で始まるシンボルは、準拠リーダーに対して以降のすべてをその文字セットでデコードするよう命じます。指示子はシンボルにとってはただのデータです。ここで扱う 2 つのシンボル体系ではいずれも 2 コードワードを消費し、容量計算に算入され、後続のペイロードと同じ 2D バーコードの Reed-Solomon 誤り訂正で守られます

Delphi の PDFlibPas バーコードで同一の UTF-8 バイト列が 2 通りにデコードされる流れ。ECI マーカーなしでは ISO-8859-1 の推測、ECI 000026 なら UTF-8 として扱われる
シンボルが格納するのはバイト列だけで、ECI 000026 指示子こそが、バイト列を ISO-8859-1 の推測ではなく UTF-8 として扱えとリーダーに伝えるものです

Data Matrix と PDF417 における ECI コードワードの位置

マーカーの置き場所は各シンボル体系で決まっています。別の場所に置くと、シンボルはデコードに失敗するか、先頭にゴミを付けた状態でデコードされます:

Delphi の PDFlibPas で生成する Data Matrix、GS1 Data Matrix、PDF417 シンボルにおける ECI UTF-8 マーカーのコードワード配置。いずれもペイロード直前の固定位置
どのシンボル体系でも ECI 指示子は先頭の固定スロットに置かれ、PDFlibPas は位置依存の符号化が走る前に書き込みます
  • Data Matrix(ISO/IEC 16022):コードワード 241 の次に、ECI 番号に 1 を加えた値を 127 未満用の 1 コードワード形式で置きます。UTF-8 なら 27 です。データストリームの先頭に来ます
  • GS1 Data Matrix:FNC1(コードワード 232)は先頭位置を守らなければならないので、指定があれば PDFlibPas はその直後にマーカーを置きます。ただし GS1 のエレメント文字列は ASCII の部分集合からなり、マーカーがなくても読み取り結果は同じです
  • PDF417(ISO/IEC 15438):コードワード 0 がシンボル長記述子で、マーカーはコードワード 927 と 26 として続き、最初のデータコードワードより前に置かれます

Base 256 が厄介なケースです。この符号化は任意のバイト列を格納する Data Matrix のコンパクトモードで、各コードワードを、シンボル内の絶対位置から導かれる擬似乱数値 (149 × position mod 255) + 1 でスクランブルします。スクランブルの後にマーカーを前置すると、後続の全バイトは、リーダーが見る位置より 2 つ前の位置としてスクランブルされたことになり、ペイロード全体が間違った値に復元されます。EDIFACT 符号化は同じ依存関係の穏やかな版で、マーカーが前に入るとアンラッチ位置が 2 つずれます。PDFlibPas はどちらの処理が走るより前にマーカーをコードワードストリームへ書き込み、シンボルサイズを選ぶ容量チェックにも最初から含めています。両シンボル体系共通のラベルコードがこちら:

uses
  SysUtils, PDFlibrary;

procedure PrintConsigneeLabel(const FileName: string);
var
  Pdf: TPDFlib;
begin
  Pdf := TPDFlib.Create;
  try
    Pdf.NewDocument;                                // ページ 1 を作成して選択
    Pdf.SetPageSize('A4');
    Pdf.SetMeasurementUnits(1);                     // ミリメートル
    Pdf.SetOrigin(1);                               // Top は上端からの距離になる

    Pdf.BarcodePayloadEncoding := bpeUTF8WithECI;   // UTF-8 バイト列 + ECI 000026
    if Pdf.DrawDataMatrixSymbol(20, 20, 0.5, 'Müller GmbH, Köln',
      1,      // Encoding: 1 = ASCII 符号化
      0,      // SymbolSize: 0 = 収まる表中の最初のサイズ
      100) <> 1 then                                // 正しい向き、既定の 1 モジュールのクワイエットゾーン
      raise Exception.CreateFmt('Data Matrix failed (%d)', [Pdf.LastErrorCode]);

    if Pdf.DrawPDF417SymbolEx(20, 50, 'Zustellung: Müller GmbH, Köln',
      0, 0, 0,  // 向き、列数、行数:自動
      -1,       // 誤り訂正レベルは自動
      0.3, 3.0) <> 1 then
      raise Exception.Create('PDF417 failed');

    // ECI 対応のスキャナならどちらのシンボルもドイツ語テキストを返すはず
    Pdf.BarcodePayloadEncoding := bpeSystemANSI;    // 既定に戻す
    Pdf.SaveToFile(FileName);
  finally
    Pdf.Free;
  end;
end;

NewDocument はすでにページ 1 を作成して選択済みなので、NewPage を呼ばなくてもシンボルは 1 ページ目に載ります。SetOrigin(1) が原点を左上コーナーへ移すため、Top はシンボル上端からページ上端までの距離になります。既定の左下原点のままだと、Top 10 mm はその端を用紙下端から 10 mm 上に置く指定であり、11 mm のシンボルは用紙からはみ出します。DrawDataMatrixSymbol は成功時に 1 を返します。エンコードできないデータ——マーカーを数えると最大シンボルに収まらないペイロードや、指定した固定サイズ——に対しては 0 を返し、LastErrorCode に 302 を設定して何も描かないため、この例では 1 以外をすべてエラーとして扱います

すべてのラベルに ECI マーカーを付けるべきか

答えはノーで、既定値もそれを反映しています。BarcodePayloadEncoding は 3 つの値を取り、それぞれ向いているリーダー層が違います:

  • bpeSystemANSI(既定)はテキストをシステムの ANSI コードページで変換し、マーカーを書き込みません。PDFlibPas の QR・PDF417・Data Matrix 関数で作ったラベルレイアウトが想定しているのはこの挙動です
  • bpeUTF8 はマーカーなしで UTF-8 バイト列を書き込みます。自社ソフトウェアがバーコードを読み、最初から UTF-8 を仮定している閉じたシステム向けです
  • bpeUTF8WithECI は UTF-8 バイト列を書き、それに ECI 000026 のラベルを付けます

すべてにラベルを付ける代償はリーダー側の対応状況です。ECI 処理は多くのスキャナで設定オプションになっていて、その設定次第でデバイスはシンボルを拒否するか、指示子をテキストとしてホストに渡します。AIM の規約ではバックスラッシュに 6 桁の数字が続くので、アプリケーションが受け取るのは \000026Müller GmbH, Köln です。マーカーはシンボル単位で、非 ASCII テキストを含むペイロードにだけ有効化し、スキャナのプロファイル変更と一緒に展開しましょう。読み手が想定するコードページに名前がすべて収まるなら、1 バイトのペイロードも依然として妥当な選択です。ü は Windows-1252 でも ISO-8859-1 でもバイト FC なので、西欧 Windows 環境で bpeSystemANSI で書いたドイツ語住所は、ECI を知らない Data Matrix リーダーでも正しくデコードされます。日本語テキストにはそのようなフォールバックがありません

シンボルサイズ:自動選択、固定テンプレート、矩形

マーカーの 2 コードワードは、単独で効くことはめったにありません。ASCII 符号化では、bpeSystemANSI の下の荷受人行は ü と ö を 127 超の 1 バイトとして格納し、それぞれ 2 コードワードを消費します。行全体では 19 コードワードで、データコードワード 22 個の 20×20 シンボルに収まります。UTF-8 ではこの 2 文字が 4 個の高位バイトになり、行は 23 コードワード。マーカーで 25 です。これには 22×22 が必要で、ステップアップの原因は UTF-8 バイトだけです。23 ですでに 20×20 は溢れているからです。SymbolSize を 9(20×20)に固定したテンプレートは、エンコード方式が変わった途端に DrawDataMatrixSymbol から 0 とエラー 302 を受け取り、バーコード枠には何も描かれません

自動サイズ選択はシンボルの形を変え得ます。SymbolSize が 0 なら、PDFlibPas は ISO/IEC 16022 のサイズリストを順にたどり、データ容量がストリームを収められる最初のエントリを選びます。6 つの矩形サイズは、このリストでは正方形の間に挟まれています。26×26 シンボル(データコードワード 44 個)にちょうど収っていたペイロードは、マーカー込みで 46 必要になり、46 を収められる次のエントリは、62 収めの 32×32 より先に並ぶ 49 収めの 16×48 です。モジュール 0.5 mm なら 13 mm の正方形が 8 × 24 mm の帯に変わります。22×22 を使い切ったケースも同じで、30 コードワード + 2 は 16×36 に着地します。小さいペイロードは正方形のままです。10×10 を埋めていた 3 コードワードは 5 になり、リストで 8×18 より先にある 12×12 に収まります。ラベルが正方形の枠を確保しているなら、SymbolSize を賄える正方形(32×32 なら 16)に固定し、名前が長すぎたらエラー 302 に教えてもらいましょう。自動サイズ選択が向いているのは、どちらの形でも受け入れるレイアウトです

PDF417 は別の規則で育ちます。ErrorLevel が -1 のとき、エンコーダーは ISO/IEC 15438 の推奨最小レベルに従って誤り訂正を計画します。このしきい値は長さ記述子込みで 41、161、321 コードワードで一段上がります。39 コードワードのストリームはマーカーで 41 になり、最小レベルは 2 から 3 へ、計画される誤り訂正ブロックは 8 から 16 コードワードへ膨らみます。増えるのは 10 コードワードです。列数と行数が自動なら、エンコーダーはこの大きくなった総数から矩形をレイアウトするので、しきい値の直下にいたペイロードは、マーカー 2 コードワードからは想像できない面積を取られます

UTF-8 の Data Matrix を小さく保つ符号化はどれか

2 つのコストを直接比べましょう。ASCII 符号化は数字ペアを 1 コードワードに詰め、素の ASCII は 1 文字 1 コードワードですが、127 超のバイトはどれも 2 コードワードかかります。Upper Shift(235)と、バイト値から 127 を引いた値の 2 つです。Base 256 はラッチと長さフィールドに 1 回だけ払い(長さコードワードは 249 バイトまで 1 個、それ以降は 2 個)、以降は 1 バイト 1 コードワードで、数字のパッキングはありません。数字の連なりを含まないテキストなら、ペイロードに高位バイトが 3 個入った時点で Base 256 が勝ちます。Müller の行はすでにそうで、23 に対して 21 コードワードです。長い数字列は天秤を ASCII の方へ押し戻します。数字ペア 1 組につき 1 コードワード節約できるからです。下のヘルパーは両方のコストを数えて安い方のモードで描画します。純 ASCII にはマーカーを一切付けません。どの文字セットでも同じ読みになるからです:

// Unicode テキストを安い方の符号化で Data Matrix に描く
function DrawUnicodeDataMatrix(Pdf: TPDFlib; Left, Top, ModuleSize: Double;
  const Text: WideString): Integer;
var
  Bytes: UTF8String;
  I, HighBytes, AsciiCost, Base256Cost, Mode: Integer;
  Saved: TPDFlibBarcodePayloadEncoding;
begin
  Bytes := UTF8Encode(Text);
  HighBytes := 0;
  AsciiCost := 0;
  I := 1;
  while I <= Length(Bytes) do
  begin
    if (I < Length(Bytes)) and (Bytes[I] >= '0') and (Bytes[I] <= '9') and
       (Bytes[I + 1] >= '0') and (Bytes[I + 1] <= '9') then
    begin
      Inc(AsciiCost);                    // 数字ペア: 1 コードワード
      Inc(I, 2);
      Continue;
    end;
    if Ord(Bytes[I]) > 127 then
    begin
      Inc(HighBytes);
      Inc(AsciiCost, 2);                 // Upper Shift + (バイト値 - 127)
    end
    else
      Inc(AsciiCost);
    Inc(I);
  end;
  if Length(Bytes) <= 249 then
    Base256Cost := Length(Bytes) + 2     // ラッチ + 長さコードワード 1 個
  else
    Base256Cost := Length(Bytes) + 3;    // ラッチ + 長さコードワード 2 個

  Saved := Pdf.BarcodePayloadEncoding;
  try
    if HighBytes = 0 then
    begin
      Pdf.BarcodePayloadEncoding := bpeSystemANSI;  // 純 ASCII: マーカーなし
      Mode := 1;
    end
    else
    begin
      Pdf.BarcodePayloadEncoding := bpeUTF8WithECI;
      if Base256Cost < AsciiCost then
        Mode := 3                        // Base 256
      else
        Mode := 1;                       // ASCII
    end;
    Result := Pdf.DrawDataMatrixSymbol(Left, Top, ModuleSize, Text, Mode, 0, 100);
  finally
    Pdf.BarcodePayloadEncoding := Saved;
  end;
end;

東京都千代田区 の UTF-8 表現は 21 バイトで、すべて 127 超です。マーカー込みでは Base 256 はデータコードワード 25 個、ASCII 符号化は 44 個が必要で、容量表によれば同じモジュールサイズで 26×26 に対して 22×22 のシンボルになります。その 26×26 は満杯です。コードワードが 1 個増えれば 16×48 に跳ねます。GS1 ペイロード(モード 7)はエレメント文字列が ASCII なのでヘルパーの対象外です。QR コードのデータモードは DrawQRCode の EncodeOptions 引数で指定し、PDFlibPas が描く Aztec シンボルは、ペイロードのバイト列が非 ASCII を 1 文字以上含む有効な UTF-8 であれば、常に自動で ECI 26 フラグを付けます

Delphi の PDFlibPas Data Matrix バーコードにおける ASCII 対 Base 256 符号化のコスト比較。コードワード総数の計算例とヘルパーが選ぶモード
高位バイトが 3 個以上並んだ時点で Base 256 が制し、数字主体のペイロードはコストの天秤を ASCII 符号化へ振り戻します

Müller の行でマーカーが占めるのは 2 コードワードですが、20×20 から 22×22 への移行——モジュール 0.5 mm で 10 mm から 11 mm へ——を引き起こしたのは UTF-8 バイトの方です。ラベルの枠にその 1 mm の余裕があるなら、荷受人シンボルを描く直前に PDFlibPas Delphi PDF Library の TPDFlib インスタンスで BarcodePayloadEncoding を bpeUTF8WithECI に設定し、同じページのレガシーシンボルでは bpeSystemANSI に戻してください