Article technique

UTF-8 en Data Matrix et PDF417 : le marqueur ECI 26

Une étiquette d'entrepôt stocke le destinataire Müller GmbH, Köln en UTF-8 dans un symbole Data Matrix, et chaque terminal portable de l'entrepôt le relit sous la forme Müller GmbH, Köln. Mettre la propriété PDFlibPas BarcodePayloadEncoding sur bpeUTF8WithECI place un marqueur ECI 000026 devant les données, ce qui indique aux lecteurs Data Matrix et PDF417 de décoder les octets comme de l'UTF-8

Pourquoi un payload UTF-8 se décode-t-il en Müller ?

Le symbole ne transporte aucune déclaration de jeu de caractères, si bien que le lecteur retombe sur le jeu sur un octet par défaut de la symbologie, ISO-8859-1 pour Data Matrix. Un ü UTF-8 tient en deux octets, C3 BC, que l'ISO-8859-1 traduit en à et ¼ ; ö devient ö de la même façon. Les octets eux-mêmes sont intacts. L'Extended Channel Interpretation est la déclaration de jeu de caractères du monde du code-barres. Le registre ECI de l'AIM attribue des numéros aux jeux de caractères, dont le 000026 pour l'UTF-8, et un symbole qui s'ouvre sur un désignateur ECI demande au lecteur conforme de décoder tout ce qui suit dans ce jeu de caractères. Pour le symbole, le désignateur est une donnée ordinaire. Il occupe deux codewords dans les deux symbologies traitées ici, compte dans la capacité, et bénéficie de la même correction d'erreurs Reed-Solomon pour code-barres 2D que le payload qui le suit

Comment des octets UTF-8 identiques se décodent de deux façons dans les code-barres PDFlibPas depuis Delphi : sans marqueur ECI, une supposition ISO-8859-1 ; avec ECI 000026, de l'UTF-8
le symbole ne stocke que des octets, et c'est le désignateur ECI 000026 qui indique au lecteur que ces octets sont de l'UTF-8 et non une supposition ISO-8859-1

Position du codeword ECI dans Data Matrix et PDF417

Chaque symbologie réserve une position fixe au marqueur. Placez-le ailleurs et le symbole refuse de se décoder ou se décode avec des caractères parasites devant :

Positions des codewords pour le marqueur ECI UTF-8 dans les symboles Data Matrix, GS1 Data Matrix et PDF417 de PDFlibPas depuis Delphi, chacun fixé devant le payload
chaque symbologie épingle le désignateur ECI sur une position d'entrée fixe, et PDFlibPas l'écrit avant que les encodations dépendantes de la position ne s'exécutent
  • Data Matrix (ISO/IEC 16022) : le codeword 241, puis le numéro ECI plus un sous la forme à codeword unique réservée aux valeurs inférieures à 127, donc 27 pour l'UTF-8. Il ouvre le flux de données
  • GS1 Data Matrix : le FNC1 (codeword 232) doit rester en première position, et PDFlibPas place donc le marqueur juste derrière si vous en demandez un ; les chaînes d'éléments GS1 proviennent d'un sous-ensemble de l'ASCII et se lisent pareil sans lui
  • PDF417 (ISO/IEC 15438) : le codeword 0 est le descripteur de longueur du symbole, et le marqueur suit sous la forme des codewords 927 et 26, devant le premier codeword de données

Base 256 est le cas difficile. Cet encodage, le mode compact de Data Matrix pour octets arbitraires, brouille chaque codeword avec une valeur pseudo-aléatoire dérivée de sa position absolue dans le symbole, (149 × position mod 255) + 1. Insérer le marqueur après le brouillage et chaque octet derrière lui a été brouillé pour une position en avance de deux sur celle que voit le lecteur, si bien que tout le payload se débrouille en valeurs fausses. L'encodage EDIFACT connaît une version plus douce de la même dépendance — sa position de unlatch se décale de deux quand le marqueur passe devant. PDFlibPas écrit le marqueur dans le flux de codewords avant que l'un ou l'autre de ces traitements ne s'exécute, et le contrôle de capacité qui choisit la taille du symbole le compte déjà. Le code d'étiquette pour les deux symbologies :

uses
  SysUtils, PDFlibrary;

procedure PrintConsigneeLabel(const FileName: string);
var
  Pdf: TPDFlib;
begin
  Pdf := TPDFlib.Create;
  try
    Pdf.NewDocument;                                // crée et sélectionne la page 1
    Pdf.SetPageSize('A4');
    Pdf.SetMeasurementUnits(1);                     // millimètres
    Pdf.SetOrigin(1);                               // Top se mesure depuis le bord supérieur

    Pdf.BarcodePayloadEncoding := bpeUTF8WithECI;   // octets UTF-8 + ECI 000026
    if Pdf.DrawDataMatrixSymbol(20, 20, 0.5, 'Müller GmbH, Köln',
      1,      // Encoding : 1 = encodage ASCII
      0,      // SymbolSize : 0 = première taille de la table qui convient
      100) <> 1 then                                // orientation normale, quiet zone d'un module par défaut
      raise Exception.CreateFmt('Data Matrix failed (%d)', [Pdf.LastErrorCode]);

    if Pdf.DrawPDF417SymbolEx(20, 50, 'Zustellung: Müller GmbH, Köln',
      0, 0, 0,  // orientation, colonnes, lignes : automatique
      -1,       // niveau d'erreur automatique
      0.3, 3.0) <> 1 then
      raise Exception.Create('PDF417 failed');

    // un scanner conscient de l'ECI doit rendre le texte allemand pour les deux symboles
    Pdf.BarcodePayloadEncoding := bpeSystemANSI;    // retour à la valeur par défaut
    Pdf.SaveToFile(FileName);
  finally
    Pdf.Free;
  end;
end;

NewDocument crée déjà la page 1 et la sélectionne, si bien que les symboles atterrissent sur la première page sans appel à NewPage. SetOrigin(1) déplace l'origine vers le coin supérieur gauche, ce qui fait de Top la distance du bord supérieur du symbole au haut de la page. Avec l'origine par défaut en bas à gauche, un Top de 10 mm place ce bord 10 mm au-dessus du bas de la feuille, et un symbole de 11 mm dépasse de la page. DrawDataMatrixSymbol renvoie 1 en cas de succès. Pour des données qu'il ne peut pas encoder — un payload qui déborde le plus grand symbole une fois le marqueur compté, ou la taille fixe que vous avez demandée — il renvoie 0, met LastErrorCode à 302 et ne dessine rien, si bien que l'exemple traite tout ce qui n'est pas 1 comme une erreur

Faut-il que chaque étiquette porte le marqueur ECI ?

Non, et la valeur par défaut en témoigne. BarcodePayloadEncoding prend trois valeurs, et chacune convient à un parc de lecteurs différent :

  • bpeSystemANSI (la valeur par défaut) convertit le texte via la page de codes ANSI du système et n'écrit aucun marqueur, ce à quoi s'attendent les mises en page d'étiquettes construites avec les fonctions QR, PDF417 et Data Matrix de PDFlibPas
  • bpeUTF8 écrit des octets UTF-8 sans marqueur, pour les systèmes fermés où votre propre logiciel lit le code-barres et suppose déjà l'UTF-8
  • bpeUTF8WithECI écrit des octets UTF-8 et les étiquette avec ECI 000026

Le prix de l'étiquetage systématique, c'est le support côté lecteurs. Le traitement ECI est une option de configuration sur bien des scanners, et selon ce réglage un terminal peut refuser le symbole ou passer le désignateur à l'hôte comme du texte : la convention AIM veut un antislash suivi de six chiffres, si bien que l'application reçoit \000026Müller GmbH, Köln. Activez le marqueur symbole par symbole, pour les payloads qui contiennent du texte non ASCII, et déployez-le en même temps que le changement de profil scanner. Un payload sur un octet reste un choix défendable quand chaque nom tient dans la page de codes que vos lecteurs supposent. ü est l'octet FC tant en Windows-1252 qu'en ISO-8859-1, si bien qu'une adresse allemande écrite sous bpeSystemANSI sur un Windows d'Europe de l'Ouest se décode correctement sur un lecteur Data Matrix qui n'a jamais entendu parler de l'ECI. Le texte japonais n'a pas ce filet de sécurité

Taille du symbole : sélection automatique, gabarits fixes et rectangles

Les deux codewords du marqueur agissent rarement seuls. En encodage ASCII, la ligne du destinataire sous bpeSystemANSI porte ü et ö comme octets simples au-dessus de 127, à deux codewords chacun, et la ligne entière coûte 19 codewords, ce qui tient dans un symbole 20×20 avec ses 22 codewords de données. En UTF-8, les deux lettres deviennent quatre octets hauts et la ligne coûte 23. Le marqueur porte le total à 25. Il faut du 22×22, et le saut vient des seuls octets UTF-8, puisque 23 déborde déjà du 20×20. Un gabarit qui fige SymbolSize à 9 (20×20) reçoit 0 et l'erreur 302 de DrawDataMatrixSymbol dès que l'encodage change, et rien n'est dessiné dans l'emplacement du code-barres

La taille automatique peut changer la forme. Avec SymbolSize à 0, PDFlibPas parcourt la liste des tailles de l'ISO/IEC 16022 dans l'ordre et prend la première entrée dont la capacité de données tient le flux. Les six tailles rectangulaires se logent dans cette liste entre les carrés. Un payload qui remplissait un symbole 26×26 (44 codewords de données) exige 46 avec le marqueur, et la prochaine entrée qui tient 46 est le 16×48 avec 49, devant le 32×32 avec 62. À 0,5 mm par module, un carré de 13 mm devient une bande de 8 × 24 mm. Un 22×22 complet fait la même chose : 30 codewords plus deux atterrissent en 16×36. Les petits payloads restent carrés — trois codewords qui remplissaient un 10×10 en deviennent cinq et tiennent en 12×12, qui précède le 8×18 dans la liste. Si l'étiquette réserve un emplacement carré, épinglez SymbolSize sur le carré que vous pouvez vous permettre (16 pour du 32×32) et laissez l'erreur 302 vous dire quand un nom est trop long pour lui ; la taille automatique convient aux mises en page qui acceptent l'une ou l'autre forme

PDF417 grandit selon une autre règle. Avec ErrorLevel à -1, l'encodeur planifie la correction d'erreurs d'après les niveaux minimums recommandés de l'ISO/IEC 15438, qui grimpent à 41, 161 et 321 codewords, descripteur de longueur compris. Un flux de 39 codewords passe à 41 avec le marqueur, le niveau minimum passe de 2 à 3, et le bloc de correction d'erreurs qu'il prévoit grossit de 8 à 16 codewords. Cela fait dix codewords de plus. Avec colonnes et lignes automatiques, l'encodeur dispose le rectangle à partir de ce total accru, si bien qu'un payload juste sous un palier gagne plus de surface que ne le laissent croire ses deux codewords de marqueur

Quel encodage garde un Data Matrix UTF-8 compact ?

Comparez les deux coûts directement. L'encodage ASCII range une paire de chiffres dans un codeword et l'ASCII simple à un par caractère, mais chaque octet au-dessus de 127 en coûte deux : un Upper Shift (235) et l'octet moins 127. Base 256 paie un latch et un champ de longueur une seule fois — un codeword de longueur jusqu'à 249 octets, deux au-delà — puis un codeword par octet, sans compactage des chiffres. Pour du texte sans séries de chiffres, Base 256 gagne dès qu'un payload contient trois octets hauts. La ligne Müller y est déjà, à 21 codewords contre 23. Les longues suites numériques font pencher la balance vers ASCII, car chaque paire de chiffres y économise un codeword. La fonction auxiliaire ci-dessous compte les deux coûts et dessine avec le mode le moins cher ; l'ASCII pur ne reçoit aucun marqueur, puisqu'il se lit à l'identique sous tous les jeux de caractères :

// Dessine un Data Matrix pour texte Unicode avec l'encodage le moins cher
function DrawUnicodeDataMatrix(Pdf: TPDFlib; Left, Top, ModuleSize: Double;
  const Text: WideString): Integer;
var
  Bytes: UTF8String;
  I, HighBytes, AsciiCost, Base256Cost, Mode: Integer;
  Saved: TPDFlibBarcodePayloadEncoding;
begin
  Bytes := UTF8Encode(Text);
  HighBytes := 0;
  AsciiCost := 0;
  I := 1;
  while I <= Length(Bytes) do
  begin
    if (I < Length(Bytes)) and (Bytes[I] >= '0') and (Bytes[I] <= '9') and
       (Bytes[I + 1] >= '0') and (Bytes[I + 1] <= '9') then
    begin
      Inc(AsciiCost);                    // paire de chiffres : un codeword
      Inc(I, 2);
      Continue;
    end;
    if Ord(Bytes[I]) > 127 then
    begin
      Inc(HighBytes);
      Inc(AsciiCost, 2);                 // Upper Shift + (octet - 127)
    end
    else
      Inc(AsciiCost);
    Inc(I);
  end;
  if Length(Bytes) <= 249 then
    Base256Cost := Length(Bytes) + 2     // latch + un codeword de longueur
  else
    Base256Cost := Length(Bytes) + 3;    // latch + deux codewords de longueur

  Saved := Pdf.BarcodePayloadEncoding;
  try
    if HighBytes = 0 then
    begin
      Pdf.BarcodePayloadEncoding := bpeSystemANSI;  // ASCII pur : aucun marqueur
      Mode := 1;
    end
    else
    begin
      Pdf.BarcodePayloadEncoding := bpeUTF8WithECI;
      if Base256Cost < AsciiCost then
        Mode := 3                        // Base 256
      else
        Mode := 1;                       // ASCII
    end;
    Result := Pdf.DrawDataMatrixSymbol(Left, Top, ModuleSize, Text, Mode, 0, 100);
  finally
    Pdf.BarcodePayloadEncoding := Saved;
  end;
end;

Pour 東京都千代田区, la forme UTF-8 fait 21 octets, tous au-dessus de 127. Avec le marqueur, Base 256 exige 25 codewords de données et l'encodage ASCII 44, ce qui donne, à lecture de la table des capacités, un symbole 22×22 contre un 26×26 à la même taille de module. Ce 26×26 est plein. Un codeword de plus et il saute à 16×48. Les payloads GS1 (mode 7) restent hors de la fonction auxiliaire car leurs chaînes d'éléments sont en ASCII. Les codes QR reçoivent leur mode de données via l'argument EncodeOptions de DrawQRCode, et les symboles Aztec dessinés par PDFlibPas portent automatiquement un fanion ECI 26 dès que les octets du payload forment de l'UTF-8 valide avec au moins un caractère non ASCII

Coûts d'encodage ASCII contre Base 256 pour les code-barres Data Matrix PDFlibPas en Delphi, avec totaux de codewords détaillés et le mode choisi par la fonction auxiliaire
base 256 l'emporte dès que trois octets hauts ou plus apparaissent, tandis que les payloads riches en chiffres font repartir le coût vers l'encodage ASCII

Pour la ligne Müller, le marqueur coûte deux codewords, tandis que le passage du 20×20 au 22×22 — 10 mm à 11 mm à modules de 0,5 mm — provient des octets UTF-8. Si l'emplacement de votre étiquette a ce millimètre en réserve, mettez BarcodePayloadEncoding sur bpeUTF8WithECI sur l'instance de TPDFlib de la PDFlibPas Delphi PDF Library juste avant de dessiner le symbole du destinataire, et remettez bpeSystemANSI pour les symboles historiques de la même page