Artículo técnico

OCR chino y multilingüe con RapidOCR en HotPDF y Delphi

Una factura rusa que pasa por un reconocedor que carga el modelo cirílico pero sigue leyendo el diccionario de caracteres chinos regresa convertida en filas de caracteres Han perfectamente válidos. Cada línea es UTF-8 bien formado, cada línea cae en la capa de texto buscable, y una búsqueda de cualquier palabra impresa en la página no encuentra nada. El modelo hizo su trabajo. Un reconocedor CTC nunca produce caracteres, solo números de clase, y el archivo de diccionario es lo único que mapea la clase 1,204 con un glifo

Tres fallas relacionadas viven cerca, y una demo en escritura latina no muestra ninguna de ellas: líneas que pierden su último carácter, texto en inglés que llega sin espacios entre palabras y cajas de texto árabe que regresan en orden izquierda-derecha. Cada una se remonta a una regla de diccionario, un límite de bucle o un criterio de orden que es fácil de dejar casi bien. Las cuatro empiezan en el mismo punto: el paso que convierte un tag de idioma en un modelo y un diccionario

Presets de idioma RapidOCR en HotPDF: un tag, un par fijo

En HotPDF, THPDFRapidOCRDLLOptions.ForLanguage convierte un tag de idioma en opciones que apuntan a <profile>/recognition.onnx y <profile>/dictionary.txt dentro de su directorio de modelos. Todo lo demás viene de THPDFRapidOCRDLLOptions.Default: el detector compartido, el clasificador de ángulo opcional, un hilo, un presupuesto de 16,777,216 píxeles por solicitud y un timeout de 60 segundos. El tag se pasa a minúsculas, los guiones bajos se vuelven guiones y los espacios alrededor se recortan, así que 'zh_TW', 'ZH-tw' y ' zh-tw ' resuelven al mismo perfil

El emparejamiento corre contra una lista explícita de alias, sin coincidencias por prefijo. 'zh-Hant-TW' y 'zh-MO' se aceptan porque están listados; 'pt-AO' no, y ForLanguage lanza EArgumentException antes de abrir cualquier archivo. Esa rigidez es deliberada. Una regla de prefijo enviaría en silencio 'zh-Hant-SG' o algún tag futuro al perfil que comparta sus primeras dos letras, y con el chino las primeras dos letras no le dicen cuál escritura es

Resolución de perfiles ForLanguage de HotPDF para THPDFRapidOCRDLLOptions: tags como zh_TW, ZH-tw y zh-TW se normalizan y comparan contra nueve perfiles listados, cada uno fijando un modelo de reconocimiento y un diccionario que siempre se asignan juntos, mientras que un tag no listado levanta EArgumentException antes de cargar cualquier modelo
un tag selecciona un par modelo-diccionario fijo; el detector, el clasificador y los presupuestos siguen compartidos, y un tag desconocido falla rápido en vez de cargar nada
PerfilIdiomasTags de ejemploOrden de cajas en una fila
chChino simplificado e inglészh, zh-CN, zh-Hans, chi_simIzquierda a derecha
chinese_chtChino tradicionalzh-TW, zh-HK, zh-Hant, chi_traIzquierda a derecha
enInglésen, en-US, en-GB, engIzquierda a derecha
latinFrancés, alemán, español, portugués, italiano, neerlandés, turcofr, de, es-419, pt-BR, trIzquierda a derecha
japanJaponésja, ja-JP, jpnIzquierda a derecha
koreanCoreanoko, ko-KR, korIzquierda a derecha
cyrillicRuso, ucraniano, búlgaro, bielorrusoru, ru-RU, uk, bgIzquierda a derecha
arabicÁrabe, persa, urduar, ar-SA, fa, urDerecha a izquierda
devanagariHindi, marathi, nepalíhi, mr, neIzquierda a derecha

El adaptador nunca descarga nada. Los archivos de modelo se aprovisionan una sola vez con el helper incluido, por ejemplo tools/Install-RapidOCRModels.ps1 -Destination C:/OCR/models -Language ch,chinese_cht,cyrillic, o -Language All para los nueve perfiles. El helper deja el detector y el clasificador compartidos en los nombres de archivo raíz que Default espera, y cada perfil en su propia carpeta. La creación del engine, la frontera del DLL y el threading están cubiertos en el artículo sobre el DLL de RapidOCR in-process; con los archivos en su lugar, un escaneo en chino simplificado queda buscable así

uses
  SysUtils, HPDFDoc, HPDFRapidOCRRecognition;

procedure MakeChineseScanSearchable(const SourceFile, TargetFile: string);
var
  Doc: THotPDF;
  Engine: IHPDFOCREngine;
  Models: THPDFRapidOCRDLLOptions;
  Layer: THPDFOCRTextLayerOptions;
  Info: THPDFOCRTextLayerInfo;
begin
  // ch/recognition.onnx + ch/dictionary.txt, detector y clasificador compartidos
  Models := THPDFRapidOCRDLLOptions.ForLanguage('zh-CN');
  // los modelos se cargan aquí; reutilice el engine entre documentos
  Engine := HPDFCreateRapidOCRDLLOCREngine(
    'C:\OCR\Win64\HotPDFRapidOCR.dll', 'C:\OCR\models', Models);
  Doc := THotPDF.Create(nil);
  try
    Doc.AutoLaunch := False;
    if Doc.LoadFromFile(SourceFile) < 1 then
      raise Exception.Create('Cannot load ' + SourceFile);
    Layer := THPDFOCRTextLayerOptions.Default;  // 300 DPI, MinimumConfidence 0.5
    // lista de páginas vacía = todas; SkipPagesWithText deja quietas las páginas con texto
    if not Doc.ApplyLoadedOCRTextLayer([], Engine, Layer, Info) then
      raise Exception.Create(string(Info.Diagnostic));
    Writeln(string(Info.EngineName), ': ', Info.AcceptedWordCount,
      ' lines, ', Info.UniqueScalarCount, ' distinct characters');
    Doc.SaveLoadedDocument(TargetFile);
  finally
    Doc.Free;
  end;
end;

Dos números de esa salida hay que leerlos con cuidado. El pipeline nativo reporta un resultado por línea de texto detectada, así que AcceptedWordCount cuenta líneas aquí, y MinimumConfidence se compara con la confianza media de caracteres de toda la línea: una línea que promedia 0.45 se descarta como unidad. UniqueScalarCount es la cantidad de escalares Unicode distintos que la capa de texto tuvo que mapear en su fuente y su tabla ToUnicode. Una página de texto corrido en chino debería empujar esa cifra muy por encima de las pocas docenas de escalares que necesita una página latina; un conteo en territorio latino sobre un escaneo chino normalmente significa que hay un perfil equivocado cargado

¿Por qué cambiar solo el modelo de reconocimiento produce basura?

Porque el modelo y el diccionario son dos mitades de una misma tabla de búsqueda, y solo el diccionario sabe qué significan los índices. Apunte RecognitionModel a cyrillic/recognition.onnx mientras CharacterDictionary sigue nombrando el archivo chino, y el modelo emite índices cirílicos válidos que el diccionario viejo traduce en caracteres Han aleatorios. ForLanguage siempre asigna ambos campos juntos. Las opciones armadas a mano deben seguir la misma regla: nunca cambie uno sin el otro

La guardia obvia, comparar el tamaño del diccionario con el ancho de salida del modelo, es necesaria y aun así no alcanza. Dos diccionarios pueden tener la misma cantidad de entradas en otro orden, y un desfase de uno desplaza cada carácter una posición. El DLL RapidOCR de HotPDF por eso verifica dos veces mientras la factory inicializa el reconocedor. El conteo de clases de salida del modelo debe ser igual a las entradas del diccionario más dos. Luego, si el archivo ONNX incrusta una lista de metadatos character, cada línea del diccionario se compara con ella en orden. Cualquier desajuste hace que HPDFCreateRapidOCRDLLOCREngine lance EInvalidOperation con el diagnóstico nativo, así que el error aparece al arrancar y no en el archivo de un cliente

El "más dos" viene de la distribución de clases. La clase 0 es el blank de CTC, las clases 1 a N son las líneas del diccionario en orden de archivo, y la clase final es un espacio. Algunos diccionarios traen además su propia entrada de un solo espacio, y esa línea tiene que sobrevivir exactamente como está. Aquí un Trim bien intencionado hace daño real: convierte la entrada de espacio en una cadena vacía y desplaza o rompe la tabla. El DLL recorta un retorno de carro final para que los archivos CRLF carguen, y rechaza una marca de orden de bytes UTF-8, una línea vacía, o una entrada que contenga un tabulador o un retorno de carro suelto

Layout de la tabla de clases CTC de HotPDF para diccionarios RapidOCR: la clase 0 es el blank, las clases 1 a N son las líneas del diccionario en orden de archivo con cualquier entrada de espacio solitario conservada, y la clase final es un espacio, dando N más 2 clases de salida que la factory verifica contra el modelo, metadatos incluidos
el diccionario es lo único que convierte índices de clase en caracteres, así que su tamaño, su orden y su entrada de espacio se verifican antes de reconocer una sola página

Si usted mantiene sus propios diccionarios, un chequeo previo en su script de build o despliegue atrapa estos problemas antes que el engine. La función de abajo es código suyo, escrito para imitar las reglas de arriba

// Helper suyo, no una API de HotPDF: arma la tabla de clases
// que un reconocedor CTC espera y rechaza los defectos de diccionario que el DLL rechaza
uses
  SysUtils, IOUtils;

function BuildCTCClassTable(const FileName: string): TArray<string>;
var
  Text, Entry: string;
  Lines: TArray<string>;
  I, Last: Integer;
begin
  Text := TEncoding.UTF8.GetString(TFile.ReadAllBytes(FileName));
  if (Text <> '') and (Text[1] = #$FEFF) then
    raise EArgumentException.Create('Dictionary must be UTF-8 without a BOM');
  Lines := Text.Split([#10]);
  Last := High(Lines);
  if (Last >= 0) and (Lines[Last] = '') then
    Dec(Last);                                   // newline al final del archivo
  if Last < 0 then
    raise EArgumentException.Create('Dictionary is empty');
  SetLength(Result, Last + 3);
  Result[0] := '';                               // clase 0: blank de CTC
  for I := 0 to Last do
  begin
    Entry := Lines[I];
    if (Entry <> '') and (Entry[Length(Entry)] = #13) then
      SetLength(Entry, Length(Entry) - 1);       // CRLF: quite solo el CR
    if (Entry = '') or (Pos(#9, Entry) > 0) or (Pos(#13, Entry) > 0) then
      raise EArgumentException.CreateFmt('Invalid dictionary line %d', [I + 1]);
    Result[I + 1] := Entry;                      // nunca Trim: ' ' es una clase
  end;
  Result[Last + 2] := ' ';                       // clase final: espacio
  // Length(Result) debe ser igual al conteo de clases de salida del modelo
end;

Decodificado CTC greedy y sus tres trampas de frontera

La decodificación CTC greedy elige la clase de mayor puntaje en cada time step, colapsa repeticiones consecutivas en un carácter y descarta el blank. El blank es lo que permite que una letra genuinamente doble sobreviva. Un modelo de reconocimiento lee una línea de texto como una secuencia de rebanadas verticales angostas, y para cada rebanada produce una probabilidad para cada clase. Una línea con AA中 puede generar la secuencia argmax A A blank A 中 space: los primeros dos pasos A colapsan en uno, el blank lo separa de la siguiente A, y la salida es AA中 con el espacio final intacto. Sin la regla del blank, book y bok se decodificarían igual

Recorrido GreedyCTCDecode de HotPDF: seis time steps votan clases argmax A, A, blank, A, un carácter Han y espacio, las repeticiones consecutivas colapsan, el blank resetea la guardia de repetición así una letra genuinamente doble sobrevive, y tres bugs de frontera sueltan en silencio los espacios entre palabras, el último carácter o los caracteres dobles
el decoder son una docena de líneas y cada frontera importa: incluya la última clase, incluya el último step, y deje que solo un blank separe repeticiones

Un decoder tan corto invita a errores de off-by-one, y cada error produce su propio síntoma reconocible. Detenga el bucle argmax interno una clase antes y la clase espacio nunca puede ganar, así que cada línea en inglés o latina regresa como una sola palabra larga y la búsqueda de frases deja de funcionar. Detenga el bucle externo un time step antes y el último carácter de cada línea desaparece, lo que en una etiqueta de dos caracteres es la mitad del texto. Olvide dejar que un blank resetee la guardia de repetición y los caracteres dobles colapsan: ll en hello, o el 谢谢 reduplicado. Si escribe un decoder para un pipeline propio, esos tres casos forman un set de pruebas compacto. El decoder de HotPDF cubre la última clase y el último paso, conserva repeticiones separadas por blank, y rechaza puntajes que no son finitos o caen fuera de 0 a 1, más cualquier conteo de clases que discrepe del diccionario

// Ilustración para su propio pipeline, no una API de HotPDF:
// decodificado CTC greedy con fronteras correctas. Scores guarda Steps * Classes
// probabilidades, una fila por time step
function GreedyCTCDecode(const Scores: array of Single;
  Steps, Classes: Integer; const Characters: array of string): string;
var
  Step, C, Best, Previous: Integer;
  BestScore: Single;
begin
  if (Classes < 3) or (Length(Characters) <> Classes) or
    (Length(Scores) <> Steps * Classes) then
    raise EArgumentException.Create('Model output does not match the dictionary');
  Result := '';
  Previous := 0;                            // la clase 0 es el blank de CTC
  for Step := 0 to Steps - 1 do             // incluya el último time step
  begin
    Best := 0;
    BestScore := Scores[Step * Classes];
    for C := 1 to Classes - 1 do            // incluya la última clase (espacio)
      if Scores[Step * Classes + C] > BestScore then
      begin
        Best := C;
        BestScore := Scores[Step * Classes + C];
      end;
    if (Best <> 0) and (Best <> Previous) then
      Result := Result + Characters[Best];
    Previous := Best;                       // un blank resetea la guardia de repetición
  end;
end;

Beam search con un modelo de lenguaje puede resolver algunas rebanadas ambiguas donde la decodificación greedy se equivoca, a un costo real en velocidad y en un segundo set de archivos que versionar. Para documentos impresos renderizados a 300 DPI, la decodificación greedy es el default correcto, y el decoder es el lugar equivocado para compensar lo que el modelo no puede ver. Lo mismo aplica a tablas de sustitución de caracteres. Si un modelo lee una letra acentuada como su letra base, parchar la salida con una tabla de reemplazos repara un idioma y rompe otro. Un carácter equivocado en una capa buscable es peor que uno faltante, porque la búsqueda encuentra el documento equivocado en vez de ningún documento, así que el texto reconocido entra al PDF exactamente como el modelo lo produjo

¿En qué orden quedan las líneas de texto para el árabe de derecha a izquierda?

El DLL ordena las cajas de texto detectadas de arriba abajo, agrupa cajas en una fila cuando se superponen verticalmente por al menos la mitad de la altura de la caja menor, y ordena cada fila de izquierda a derecha, o de derecha a izquierda cuando RightToLeft está asignado. Los caracteres dentro de una línea reconocida nunca se invierten. Agrupar filas importa porque los detectores suelen partir una línea visual en varias cajas, una etiqueta y un valor separados por un hueco amplio, por ejemplo, y un orden plano por coordenada superior las intercalaría con la línea siguiente siempre que sus bordes superiores difieran en un píxel o dos

El perfil árabe es el único donde ForLanguage asigna RightToLeft := True, lo que hace que el DLL ordene cada fila por los bordes derechos de las cajas, empezando por el margen derecho. Ese es todo el efecto. El texto que el modelo devuelve para una línea ya está en orden lógico Unicode, el orden en que un lector árabe lo lee y lo escribe, y ese es también el orden que la extracción de texto y la búsqueda del PDF esperan. Invertir la cadena para que "se vea bien" en el debugger de Delphi rompería la búsqueda, el copiar y pegar, y los lectores de pantalla. El display bidireccional y el shaping de glifos le tocan al visor de PDF

Un engine sirve un perfil de idioma, y no hay detección automática de escritura. Un documento que mezcla escrituras necesita un engine por perfil, cada uno aplicado a sus propias páginas. ApplyLoadedOCRTextLayer toma una lista explícita de páginas y confirma cada llamada como su propia transacción, así que una falla en las páginas árabes hace rollback de esa llamada sin tocar la capa china ya escrita

uses
  SysUtils, HPDFDoc, HPDFRapidOCRRecognition;

function CreateRapidEngine(const Tag: string): IHPDFOCREngine;
var
  Models: THPDFRapidOCRDLLOptions;
begin
  // lanza EArgumentException para un tag no listado, antes de cargar cualquier modelo
  Models := THPDFRapidOCRDLLOptions.ForLanguage(Tag);
  Models.MaxPixels := 33554432;          // espacio para páginas A3 a 300 DPI
  Result := HPDFCreateRapidOCRDLLOCREngine(
    'C:\OCR\Win64\HotPDFRapidOCR.dll', 'C:\OCR\models', Models);
end;

procedure OCRMixedArchive(Doc: THotPDF);
var
  Chinese, Arabic: IHPDFOCREngine;
  Layer: THPDFOCRTextLayerOptions;
  Info: THPDFOCRTextLayerInfo;
begin
  Chinese := CreateRapidEngine('zh-TW');  // perfil chinese_cht
  Arabic := CreateRapidEngine('ar-SA');   // perfil arabic, RightToLeft = True
  Layer := THPDFOCRTextLayerOptions.Default;
  if not Doc.ApplyLoadedOCRTextLayer([0, 1, 2], Chinese, Layer, Info) then
    raise Exception.Create(string(Info.Diagnostic));
  if not Doc.ApplyLoadedOCRTextLayer([3], Arabic, Layer, Info) then
    raise Exception.Create(string(Info.Diagnostic));
end;

La línea de MaxPixels está ahí por algo. El presupuesto default de 16,777,216 píxeles por solicitud cubre A4 y carta US a 300 DPI de sobra. Una hoja A3 a 300 DPI da alrededor de 3508 por 4961 píxeles, unos 17.4 millones, así que esa solicitud se rechaza y Info.Diagnostic reporta una solicitud inválida o un presupuesto de píxeles insuficiente. Suba MaxPixels hasta el techo de 67,108,864, o baje THPDFOCRTextLayerOptions.DPI para formatos grandes. El orden de derecha a izquierda pasa por la exportación del DLL HPDFRapidOCRSetReadingDirection, que el adaptador busca solo cuando RightToLeft está asignado; un build del DLL sin esa exportación igual sirve a los perfiles de izquierda a derecha, y crear un engine árabe con él lanza EArgumentException nombrando la exportación faltante

Packs de modelo fijados y lo que debe pasar un par propio

El DLL RapidOCR de HotPDF enlaza un ONNX Runtime compilado estáticamente, así que lee las versiones del formato de archivo ONNX que ese runtime entiende y nada más nuevo. Las exportaciones de modelos recientes pueden apuntar a un formato más nuevo; tal archivo se rechaza en la creación del engine con un diagnóstico nativo. Ese emparejamiento es la razón por la que cada pack de idioma apunta a un reconocedor y un diccionario específicos que cargan y pasan las verificaciones de clase bajo el runtime incluido, y por la que los packs nunca son "latest"

Install-RapidOCRModels.ps1 hace cumplir el emparejamiento en disco. Cada archivo de su manifiesto lleva un hash SHA256. Un archivo existente con otro hash detiene la instalación y se deja en su lugar para que usted lo mueva o elimine, y cada descarga se escribe bajo un nombre temporal y se mueve a su posición solo después de que su hash coincide. Eso bloquea la versión silenciosa del problema del diccionario: alguien copia a mano un recognition.onnx más nuevo a una carpeta de perfil, el conteo de clases coincide de casualidad, y el primer signo de problema es un cliente diciendo que la búsqueda no encuentra palabras que se ven a la vista. Si instala con -SkipClassifier, asigne UseAngleClassifier := False en las opciones, porque Default espera el archivo del clasificador y la creación del engine verifica que exista

El reconocedor también verifica la forma de entrada del modelo al cargar. Acepta entrada float NCHW con altura fija de 32 o 48 píxeles, o una altura dinámica, que corre a 48. Un modelo exportado con cualquier otra altura fija falla en la creación del engine con "Unsupported recognition model input or output shape"

Para una escritura que ninguno de los nueve perfiles cubre, RecognitionModel y CharacterDictionary pueden apuntar a sus propios archivos, y todas las verificaciones de arriba siguen aplicando. Un par mal emparejado falla en la creación del engine, en su corrida de pruebas. Para páginas donde ningún perfil RapidOCR encaja, el adaptador Tesseract para PDF buscable se conecta a la misma llamada ApplyLoadedOCRTextLayer, y para formas ASCII impresas por máquina el engine OCR de template matching incluido no necesita archivos de modelo

Los presets de idioma, el adaptador RapidOCR nativo y la capa de texto OCR vienen incluidos en el HotPDF Delphi PDF Component para proyectos Delphi, C++Builder y FPC/Lazarus en Windows