Una factura rusa que pasa por un reconocedor que carga el modelo cirílico pero sigue leyendo el diccionario de caracteres chinos regresa convertida en filas de caracteres Han perfectamente válidos. Cada línea es UTF-8 bien formado, cada línea cae en la capa de texto buscable, y una búsqueda de cualquier palabra impresa en la página no encuentra nada. El modelo hizo su trabajo. Un reconocedor CTC nunca produce caracteres, solo números de clase, y el archivo de diccionario es lo único que mapea la clase 1,204 con un glifo
Tres fallas relacionadas viven cerca, y una demo en escritura latina no muestra ninguna de ellas: líneas que pierden su último carácter, texto en inglés que llega sin espacios entre palabras y cajas de texto árabe que regresan en orden izquierda-derecha. Cada una se remonta a una regla de diccionario, un límite de bucle o un criterio de orden que es fácil de dejar casi bien. Las cuatro empiezan en el mismo punto: el paso que convierte un tag de idioma en un modelo y un diccionario
Presets de idioma RapidOCR en HotPDF: un tag, un par fijo
En HotPDF, THPDFRapidOCRDLLOptions.ForLanguage convierte un tag de idioma en opciones que apuntan a <profile>/recognition.onnx y <profile>/dictionary.txt dentro de su directorio de modelos. Todo lo demás viene de THPDFRapidOCRDLLOptions.Default: el detector compartido, el clasificador de ángulo opcional, un hilo, un presupuesto de 16,777,216 píxeles por solicitud y un timeout de 60 segundos. El tag se pasa a minúsculas, los guiones bajos se vuelven guiones y los espacios alrededor se recortan, así que 'zh_TW', 'ZH-tw' y ' zh-tw ' resuelven al mismo perfil
El emparejamiento corre contra una lista explícita de alias, sin coincidencias por prefijo. 'zh-Hant-TW' y 'zh-MO' se aceptan porque están listados; 'pt-AO' no, y ForLanguage lanza EArgumentException antes de abrir cualquier archivo. Esa rigidez es deliberada. Una regla de prefijo enviaría en silencio 'zh-Hant-SG' o algún tag futuro al perfil que comparta sus primeras dos letras, y con el chino las primeras dos letras no le dicen cuál escritura es
| Perfil | Idiomas | Tags de ejemplo | Orden de cajas en una fila |
|---|---|---|---|
ch | Chino simplificado e inglés | zh, zh-CN, zh-Hans, chi_sim | Izquierda a derecha |
chinese_cht | Chino tradicional | zh-TW, zh-HK, zh-Hant, chi_tra | Izquierda a derecha |
en | Inglés | en, en-US, en-GB, eng | Izquierda a derecha |
latin | Francés, alemán, español, portugués, italiano, neerlandés, turco | fr, de, es-419, pt-BR, tr | Izquierda a derecha |
japan | Japonés | ja, ja-JP, jpn | Izquierda a derecha |
korean | Coreano | ko, ko-KR, kor | Izquierda a derecha |
cyrillic | Ruso, ucraniano, búlgaro, bielorruso | ru, ru-RU, uk, bg | Izquierda a derecha |
arabic | Árabe, persa, urdu | ar, ar-SA, fa, ur | Derecha a izquierda |
devanagari | Hindi, marathi, nepalí | hi, mr, ne | Izquierda a derecha |
El adaptador nunca descarga nada. Los archivos de modelo se aprovisionan una sola vez con el helper incluido, por ejemplo tools/Install-RapidOCRModels.ps1 -Destination C:/OCR/models -Language ch,chinese_cht,cyrillic, o -Language All para los nueve perfiles. El helper deja el detector y el clasificador compartidos en los nombres de archivo raíz que Default espera, y cada perfil en su propia carpeta. La creación del engine, la frontera del DLL y el threading están cubiertos en el artículo sobre el DLL de RapidOCR in-process; con los archivos en su lugar, un escaneo en chino simplificado queda buscable así
uses
SysUtils, HPDFDoc, HPDFRapidOCRRecognition;
procedure MakeChineseScanSearchable(const SourceFile, TargetFile: string);
var
Doc: THotPDF;
Engine: IHPDFOCREngine;
Models: THPDFRapidOCRDLLOptions;
Layer: THPDFOCRTextLayerOptions;
Info: THPDFOCRTextLayerInfo;
begin
// ch/recognition.onnx + ch/dictionary.txt, detector y clasificador compartidos
Models := THPDFRapidOCRDLLOptions.ForLanguage('zh-CN');
// los modelos se cargan aquí; reutilice el engine entre documentos
Engine := HPDFCreateRapidOCRDLLOCREngine(
'C:\OCR\Win64\HotPDFRapidOCR.dll', 'C:\OCR\models', Models);
Doc := THotPDF.Create(nil);
try
Doc.AutoLaunch := False;
if Doc.LoadFromFile(SourceFile) < 1 then
raise Exception.Create('Cannot load ' + SourceFile);
Layer := THPDFOCRTextLayerOptions.Default; // 300 DPI, MinimumConfidence 0.5
// lista de páginas vacía = todas; SkipPagesWithText deja quietas las páginas con texto
if not Doc.ApplyLoadedOCRTextLayer([], Engine, Layer, Info) then
raise Exception.Create(string(Info.Diagnostic));
Writeln(string(Info.EngineName), ': ', Info.AcceptedWordCount,
' lines, ', Info.UniqueScalarCount, ' distinct characters');
Doc.SaveLoadedDocument(TargetFile);
finally
Doc.Free;
end;
end;
Dos números de esa salida hay que leerlos con cuidado. El pipeline nativo reporta un resultado por línea de texto detectada, así que AcceptedWordCount cuenta líneas aquí, y MinimumConfidence se compara con la confianza media de caracteres de toda la línea: una línea que promedia 0.45 se descarta como unidad. UniqueScalarCount es la cantidad de escalares Unicode distintos que la capa de texto tuvo que mapear en su fuente y su tabla ToUnicode. Una página de texto corrido en chino debería empujar esa cifra muy por encima de las pocas docenas de escalares que necesita una página latina; un conteo en territorio latino sobre un escaneo chino normalmente significa que hay un perfil equivocado cargado
¿Por qué cambiar solo el modelo de reconocimiento produce basura?
Porque el modelo y el diccionario son dos mitades de una misma tabla de búsqueda, y solo el diccionario sabe qué significan los índices. Apunte RecognitionModel a cyrillic/recognition.onnx mientras CharacterDictionary sigue nombrando el archivo chino, y el modelo emite índices cirílicos válidos que el diccionario viejo traduce en caracteres Han aleatorios. ForLanguage siempre asigna ambos campos juntos. Las opciones armadas a mano deben seguir la misma regla: nunca cambie uno sin el otro
La guardia obvia, comparar el tamaño del diccionario con el ancho de salida del modelo, es necesaria y aun así no alcanza. Dos diccionarios pueden tener la misma cantidad de entradas en otro orden, y un desfase de uno desplaza cada carácter una posición. El DLL RapidOCR de HotPDF por eso verifica dos veces mientras la factory inicializa el reconocedor. El conteo de clases de salida del modelo debe ser igual a las entradas del diccionario más dos. Luego, si el archivo ONNX incrusta una lista de metadatos character, cada línea del diccionario se compara con ella en orden. Cualquier desajuste hace que HPDFCreateRapidOCRDLLOCREngine lance EInvalidOperation con el diagnóstico nativo, así que el error aparece al arrancar y no en el archivo de un cliente
El "más dos" viene de la distribución de clases. La clase 0 es el blank de CTC, las clases 1 a N son las líneas del diccionario en orden de archivo, y la clase final es un espacio. Algunos diccionarios traen además su propia entrada de un solo espacio, y esa línea tiene que sobrevivir exactamente como está. Aquí un Trim bien intencionado hace daño real: convierte la entrada de espacio en una cadena vacía y desplaza o rompe la tabla. El DLL recorta un retorno de carro final para que los archivos CRLF carguen, y rechaza una marca de orden de bytes UTF-8, una línea vacía, o una entrada que contenga un tabulador o un retorno de carro suelto
Si usted mantiene sus propios diccionarios, un chequeo previo en su script de build o despliegue atrapa estos problemas antes que el engine. La función de abajo es código suyo, escrito para imitar las reglas de arriba
// Helper suyo, no una API de HotPDF: arma la tabla de clases
// que un reconocedor CTC espera y rechaza los defectos de diccionario que el DLL rechaza
uses
SysUtils, IOUtils;
function BuildCTCClassTable(const FileName: string): TArray<string>;
var
Text, Entry: string;
Lines: TArray<string>;
I, Last: Integer;
begin
Text := TEncoding.UTF8.GetString(TFile.ReadAllBytes(FileName));
if (Text <> '') and (Text[1] = #$FEFF) then
raise EArgumentException.Create('Dictionary must be UTF-8 without a BOM');
Lines := Text.Split([#10]);
Last := High(Lines);
if (Last >= 0) and (Lines[Last] = '') then
Dec(Last); // newline al final del archivo
if Last < 0 then
raise EArgumentException.Create('Dictionary is empty');
SetLength(Result, Last + 3);
Result[0] := ''; // clase 0: blank de CTC
for I := 0 to Last do
begin
Entry := Lines[I];
if (Entry <> '') and (Entry[Length(Entry)] = #13) then
SetLength(Entry, Length(Entry) - 1); // CRLF: quite solo el CR
if (Entry = '') or (Pos(#9, Entry) > 0) or (Pos(#13, Entry) > 0) then
raise EArgumentException.CreateFmt('Invalid dictionary line %d', [I + 1]);
Result[I + 1] := Entry; // nunca Trim: ' ' es una clase
end;
Result[Last + 2] := ' '; // clase final: espacio
// Length(Result) debe ser igual al conteo de clases de salida del modelo
end;
Decodificado CTC greedy y sus tres trampas de frontera
La decodificación CTC greedy elige la clase de mayor puntaje en cada time step, colapsa repeticiones consecutivas en un carácter y descarta el blank. El blank es lo que permite que una letra genuinamente doble sobreviva. Un modelo de reconocimiento lee una línea de texto como una secuencia de rebanadas verticales angostas, y para cada rebanada produce una probabilidad para cada clase. Una línea con AA中 puede generar la secuencia argmax A A blank A 中 space: los primeros dos pasos A colapsan en uno, el blank lo separa de la siguiente A, y la salida es AA中 con el espacio final intacto. Sin la regla del blank, book y bok se decodificarían igual
Un decoder tan corto invita a errores de off-by-one, y cada error produce su propio síntoma reconocible. Detenga el bucle argmax interno una clase antes y la clase espacio nunca puede ganar, así que cada línea en inglés o latina regresa como una sola palabra larga y la búsqueda de frases deja de funcionar. Detenga el bucle externo un time step antes y el último carácter de cada línea desaparece, lo que en una etiqueta de dos caracteres es la mitad del texto. Olvide dejar que un blank resetee la guardia de repetición y los caracteres dobles colapsan: ll en hello, o el 谢谢 reduplicado. Si escribe un decoder para un pipeline propio, esos tres casos forman un set de pruebas compacto. El decoder de HotPDF cubre la última clase y el último paso, conserva repeticiones separadas por blank, y rechaza puntajes que no son finitos o caen fuera de 0 a 1, más cualquier conteo de clases que discrepe del diccionario
// Ilustración para su propio pipeline, no una API de HotPDF:
// decodificado CTC greedy con fronteras correctas. Scores guarda Steps * Classes
// probabilidades, una fila por time step
function GreedyCTCDecode(const Scores: array of Single;
Steps, Classes: Integer; const Characters: array of string): string;
var
Step, C, Best, Previous: Integer;
BestScore: Single;
begin
if (Classes < 3) or (Length(Characters) <> Classes) or
(Length(Scores) <> Steps * Classes) then
raise EArgumentException.Create('Model output does not match the dictionary');
Result := '';
Previous := 0; // la clase 0 es el blank de CTC
for Step := 0 to Steps - 1 do // incluya el último time step
begin
Best := 0;
BestScore := Scores[Step * Classes];
for C := 1 to Classes - 1 do // incluya la última clase (espacio)
if Scores[Step * Classes + C] > BestScore then
begin
Best := C;
BestScore := Scores[Step * Classes + C];
end;
if (Best <> 0) and (Best <> Previous) then
Result := Result + Characters[Best];
Previous := Best; // un blank resetea la guardia de repetición
end;
end;
Beam search con un modelo de lenguaje puede resolver algunas rebanadas ambiguas donde la decodificación greedy se equivoca, a un costo real en velocidad y en un segundo set de archivos que versionar. Para documentos impresos renderizados a 300 DPI, la decodificación greedy es el default correcto, y el decoder es el lugar equivocado para compensar lo que el modelo no puede ver. Lo mismo aplica a tablas de sustitución de caracteres. Si un modelo lee una letra acentuada como su letra base, parchar la salida con una tabla de reemplazos repara un idioma y rompe otro. Un carácter equivocado en una capa buscable es peor que uno faltante, porque la búsqueda encuentra el documento equivocado en vez de ningún documento, así que el texto reconocido entra al PDF exactamente como el modelo lo produjo
¿En qué orden quedan las líneas de texto para el árabe de derecha a izquierda?
El DLL ordena las cajas de texto detectadas de arriba abajo, agrupa cajas en una fila cuando se superponen verticalmente por al menos la mitad de la altura de la caja menor, y ordena cada fila de izquierda a derecha, o de derecha a izquierda cuando RightToLeft está asignado. Los caracteres dentro de una línea reconocida nunca se invierten. Agrupar filas importa porque los detectores suelen partir una línea visual en varias cajas, una etiqueta y un valor separados por un hueco amplio, por ejemplo, y un orden plano por coordenada superior las intercalaría con la línea siguiente siempre que sus bordes superiores difieran en un píxel o dos
El perfil árabe es el único donde ForLanguage asigna RightToLeft := True, lo que hace que el DLL ordene cada fila por los bordes derechos de las cajas, empezando por el margen derecho. Ese es todo el efecto. El texto que el modelo devuelve para una línea ya está en orden lógico Unicode, el orden en que un lector árabe lo lee y lo escribe, y ese es también el orden que la extracción de texto y la búsqueda del PDF esperan. Invertir la cadena para que "se vea bien" en el debugger de Delphi rompería la búsqueda, el copiar y pegar, y los lectores de pantalla. El display bidireccional y el shaping de glifos le tocan al visor de PDF
Un engine sirve un perfil de idioma, y no hay detección automática de escritura. Un documento que mezcla escrituras necesita un engine por perfil, cada uno aplicado a sus propias páginas. ApplyLoadedOCRTextLayer toma una lista explícita de páginas y confirma cada llamada como su propia transacción, así que una falla en las páginas árabes hace rollback de esa llamada sin tocar la capa china ya escrita
uses
SysUtils, HPDFDoc, HPDFRapidOCRRecognition;
function CreateRapidEngine(const Tag: string): IHPDFOCREngine;
var
Models: THPDFRapidOCRDLLOptions;
begin
// lanza EArgumentException para un tag no listado, antes de cargar cualquier modelo
Models := THPDFRapidOCRDLLOptions.ForLanguage(Tag);
Models.MaxPixels := 33554432; // espacio para páginas A3 a 300 DPI
Result := HPDFCreateRapidOCRDLLOCREngine(
'C:\OCR\Win64\HotPDFRapidOCR.dll', 'C:\OCR\models', Models);
end;
procedure OCRMixedArchive(Doc: THotPDF);
var
Chinese, Arabic: IHPDFOCREngine;
Layer: THPDFOCRTextLayerOptions;
Info: THPDFOCRTextLayerInfo;
begin
Chinese := CreateRapidEngine('zh-TW'); // perfil chinese_cht
Arabic := CreateRapidEngine('ar-SA'); // perfil arabic, RightToLeft = True
Layer := THPDFOCRTextLayerOptions.Default;
if not Doc.ApplyLoadedOCRTextLayer([0, 1, 2], Chinese, Layer, Info) then
raise Exception.Create(string(Info.Diagnostic));
if not Doc.ApplyLoadedOCRTextLayer([3], Arabic, Layer, Info) then
raise Exception.Create(string(Info.Diagnostic));
end;
La línea de MaxPixels está ahí por algo. El presupuesto default de 16,777,216 píxeles por solicitud cubre A4 y carta US a 300 DPI de sobra. Una hoja A3 a 300 DPI da alrededor de 3508 por 4961 píxeles, unos 17.4 millones, así que esa solicitud se rechaza y Info.Diagnostic reporta una solicitud inválida o un presupuesto de píxeles insuficiente. Suba MaxPixels hasta el techo de 67,108,864, o baje THPDFOCRTextLayerOptions.DPI para formatos grandes. El orden de derecha a izquierda pasa por la exportación del DLL HPDFRapidOCRSetReadingDirection, que el adaptador busca solo cuando RightToLeft está asignado; un build del DLL sin esa exportación igual sirve a los perfiles de izquierda a derecha, y crear un engine árabe con él lanza EArgumentException nombrando la exportación faltante
Packs de modelo fijados y lo que debe pasar un par propio
El DLL RapidOCR de HotPDF enlaza un ONNX Runtime compilado estáticamente, así que lee las versiones del formato de archivo ONNX que ese runtime entiende y nada más nuevo. Las exportaciones de modelos recientes pueden apuntar a un formato más nuevo; tal archivo se rechaza en la creación del engine con un diagnóstico nativo. Ese emparejamiento es la razón por la que cada pack de idioma apunta a un reconocedor y un diccionario específicos que cargan y pasan las verificaciones de clase bajo el runtime incluido, y por la que los packs nunca son "latest"
Install-RapidOCRModels.ps1 hace cumplir el emparejamiento en disco. Cada archivo de su manifiesto lleva un hash SHA256. Un archivo existente con otro hash detiene la instalación y se deja en su lugar para que usted lo mueva o elimine, y cada descarga se escribe bajo un nombre temporal y se mueve a su posición solo después de que su hash coincide. Eso bloquea la versión silenciosa del problema del diccionario: alguien copia a mano un recognition.onnx más nuevo a una carpeta de perfil, el conteo de clases coincide de casualidad, y el primer signo de problema es un cliente diciendo que la búsqueda no encuentra palabras que se ven a la vista. Si instala con -SkipClassifier, asigne UseAngleClassifier := False en las opciones, porque Default espera el archivo del clasificador y la creación del engine verifica que exista
El reconocedor también verifica la forma de entrada del modelo al cargar. Acepta entrada float NCHW con altura fija de 32 o 48 píxeles, o una altura dinámica, que corre a 48. Un modelo exportado con cualquier otra altura fija falla en la creación del engine con "Unsupported recognition model input or output shape"
Para una escritura que ninguno de los nueve perfiles cubre, RecognitionModel y CharacterDictionary pueden apuntar a sus propios archivos, y todas las verificaciones de arriba siguen aplicando. Un par mal emparejado falla en la creación del engine, en su corrida de pruebas. Para páginas donde ningún perfil RapidOCR encaja, el adaptador Tesseract para PDF buscable se conecta a la misma llamada ApplyLoadedOCRTextLayer, y para formas ASCII impresas por máquina el engine OCR de template matching incluido no necesita archivos de modelo
Los presets de idioma, el adaptador RapidOCR nativo y la capa de texto OCR vienen incluidos en el HotPDF Delphi PDF Component para proyectos Delphi, C++Builder y FPC/Lazarus en Windows