Un usuario escribe Müller en un cuadro de búsqueda, no obtiene nada, copia el mismo nombre desde el PDF, lo pega de vuelta en el cuadro, y de pronto obtiene coincidencias. Revise ambas cadenas en el debugger y Length devuelve 6 para la escrita y 7 para la pegada. La palabra escrita carga U+00FC, una ü precompuesta única; el documento guarda una u simple seguida de U+0308 COMBINING DIAERESIS. Ambas se renderizan como los mismos glifos, y una comparación por unidades de código jamás las llamará iguales
¿Por qué cadenas de aspecto idéntico comparan desiguales?
Unicode permite deliberadamente más de una codificación para el mismo carácter abstracto, y llama a las codificaciones canónicamente equivalentes. Unicode Standard Annex #15 define dos formas normales que importan para la búsqueda: NFC, que prefiere puntos de código precompuestos, y NFD, que parte cada carácter precompuesto en una letra base más sus marcas combinantes en un orden fijo. Las letras latinas con diacríticos existen en ambas formas. También las sílabas Hangul, que pueden aparecer como una sílaba precompuesta o como una corrida de dos o tres jamo conyugantes
Qué forma termina en un PDF depende del software que lo produjo, la plataforma donde corrió, y a veces de cómo se construyó el mapa ToUnicode de una fuente. Un documento escrito en una máquina y editado en otra puede mezclar ambas formas en la misma página. Nada de eso es visible para la persona que busca. Su teclado y método de entrada suelen producir NFC, así que cualquier contenido descompuesto en el archivo se vuelve inbuscable desde su lado
La solución obvia es tirar el problema al mismo cubo que el plegado de mayúsculas: minúsculas en ambos lados, quitar acentos, comparar. Eso falla por una razón estructural. El plegado de mayúsculas y el quitado de acentos son uno a uno a nivel de unidades de código, así que el texto plegado tiene exactamente la misma longitud que el original y una coincidencia en la posición 17 de la copia plegada es una coincidencia en la posición 17 del texto extraído. La normalización cambia longitudes. Una letra precompuesta se vuelve dos o tres unidades de código, una secuencia descompuesta colapsa de vuelta a una, las sílabas Hangul se expanden en jamo, y después de esa transformación las posiciones que recibe ya no apuntan al texto que usted extrajo
Buscar con soCanonicalEquivalent en PDF Library for Delphi
En PDF Library for Delphi, el miembro soCanonicalEquivalent de TPDFlibSearchOptions hace que SearchText compare descomposiciones canónicas de la consulta y el texto de la página, así una consulta NFC halla contenido NFD y una consulta NFD halla contenido NFC. La opción es parte de un conjunto, lo que significa que se combina con soWholeWord, soCaseSensitive, soWildcards y soDiacriticInsensitive sin ninguna API separada:
uses
SysUtils, Math, PDFlibrary;
var
Lib: TPDFlib;
Hits: array of TPDFlibSearchHit;
Found, Stored, I: Integer;
Slice: WideString;
begin
Lib := TPDFlib.Create;
try
Lib.LoadFromFile('contracts.pdf', '');
Lib.SearchContextChars := 24; // llena ContextBefore / ContextAfter
SetLength(Hits, 500);
Found := Lib.SearchText('Bäcker',
[soCanonicalEquivalent, soWholeWord, soGraphemeClusters],
'', Hits); // rango de páginas vacío = todas las páginas
// Found cuenta cada coincidencia; solo las primeras Length(Hits) se copiaron
Stored := Min(Found, Length(Hits));
for I := 0 to Stored - 1 do
begin
Slice := Copy(Hits[I].MatchText, Hits[I].MatchStart,
Hits[I].MatchLength);
Writeln(Format('page %d: [%s] %d code units, ...%s|%s|%s...',
[Hits[I].Page, Slice, Hits[I].MatchLength,
Hits[I].ContextBefore, Slice, Hits[I].ContextAfter]));
end;
finally
Lib.Free;
end;
end;
Dos detalles de ese bucle hacen tropezar a la gente. SearchText devuelve el número total de coincidencias incluso cuando el buffer es más pequeño, así que iterar hasta Found - 1 en un documento grande se sale del final de un arreglo de 500 elementos; acote con Min o cambie a SearchTextEach, que entrega cada coincidencia a un callback y no necesita buffer. Y MatchText es el bloque de texto completo que contenía la coincidencia, con MatchStart como índice de base 1 dentro de él, así que la palabra coincidente misma es el Copy mostrado arriba
Corra eso contra un archivo que guarda Bäcker descompuesto y la longitud impresa es 7; contra un archivo NFC es 6. Misma consulta, mismo conjunto de opciones. El segmento siempre es el texto tal como está en el documento
Dónde cae la coincidencia en el texto original
Esa última propiedad es lo que hace a la búsqueda normalizada utilizable para cualquier cosa más allá de un sí/no. PDF Library for Delphi registra, para cada unidad de código que el normalizador produce, el inicio y el fin del rango UTF-16 original de donde vino. Una descomposición recursiva hereda el rango de su padre, una composición fusiona los rangos de sus entradas, y cuando se encuentra una coincidencia la búsqueda escanea el intervalo mapeado en busca del inicio más pequeño y el fin más grande
Como resultado, MatchStart, MatchLength, ContextBefore, ContextAfter y ambos puntos de entrada de reemplazo direccionan el texto extraído que el llamador ya tiene. Una búsqueda que pudiera decir «hay una coincidencia en este bloque» pero no exactamente dónde estaría bien para un conteo de resultados y mal para todo lo demás: los resaltados se correrían un carácter o dos por letra acentuada, y un reemplazo reescribiría la corrida de texto equivocada
El normalizador viaja dentro de la biblioteca. Carga tablas compactas para descomposición canónica, composición y clase combinante canónica de Unicode 15.1, aplica las reglas algorítmicas para Hangul en lugar de entradas de tabla, y reordena las marcas combinantes de forma estable durante la NFD. No se carga ningún archivo de datos externo y no se hace ninguna llamada de normalización del sistema operativo, así que un servicio de Windows, un daemon de Linux y un build de Free Pascal devuelven coincidencias idénticas para el mismo archivo. Lo preferimos así aunque el sistema operativo pudiera hacer el trabajo en Windows: un índice de búsqueda construido en un servidor y consultado en otro jamás debería discrepar porque las dos máquinas corrieron versiones de Unicode distintas
La opción viene apagada por default, y ese default es razonable. Construir el texto NFD y su mapa de posiciones cuesta tiempo, y una búsqueda sobre facturas de solo ASCII jamás lo necesita. Cuando soCanonicalEquivalent está asignada, cada bloque de texto conserva dos copias transformadas, una con marcas combinantes y otra sin ellas, así que un lote de consultas sobre el mismo bloque lo normaliza una vez. El plegado simple de mayúsculas se queda en la ruta más barata uno a uno
¿Qué se rompe cuando una coincidencia termina dentro de un carácter?
La equivalencia canónica responde «es este el mismo texto», pero no dice nada sobre dónde se permite detener una coincidencia. Busque un café descompuesto por cafe con soCanonicalEquivalent solamente y las primeras cuatro unidades de código coinciden; el acento agudo combinante que sigue queda fuera de la coincidencia. soWholeWord no lo atrapa, porque sus caracteres de palabra siguen reglas de identificadores (letras ASCII, dígitos y guion bajo) y una marca combinante cuenta como frontera. El resaltado cubre cafe, y un reemplazo deja un acento suelto flotando sobre lo que venga después
Lo mismo pasa mucho más allá de los acentos latinos. Un emoji de bandera son dos puntos de código de indicador regional. Un emoji de familia son varias personas unidas por joiners de ancho cero. Un conjunto devanágari es una consonante, una virama y otra consonante, y una vocal vietnamita puede cargar dos marcas apiladas. Cualquier cosa fuera del plano multilingüe básico es un par sustituto en UTF-16, y cortar uno a la mitad produce un sustituto sin pareja que muchos pipelines de texto reemplazan con U+FFFD
soGraphemeClusters exige que ambos extremos de cada coincidencia, literal o comodín, caigan en fronteras de clústeres de grafemas extendidos según los define Unicode Standard Annex #29. La segmentación cubre el emparejamiento CR/LF, caracteres de control, tipos de sílaba Hangul, Extend y SpacingMark, Prepend, secuencias emoji ZWJ, pares de indicadores regionales y cortes de conjuntos índicos, y jamás coloca una frontera dentro de un par sustituto. Con la bandera asignada, cafe ya no coincide con un café descompuesto en absoluto; agregue soDiacriticInsensitive si lo que usted quiere realmente es un cotejo ciego a acentos
Los comodines son donde la bandera cambia resultados de forma más visible. Bajo soCanonicalEquivalent el texto de la página se compara en NFD, así que côté se vuelve c o U+0302 t e U+0301 sin importar cómo lo guardó el archivo. Sin soGraphemeClusters, el ? en c?té consume exactamente una unidad de código, la o, luego espera una t y encuentra U+0302. Sin coincidencia. Con la bandera, ? avanza un clúster entero y el backtracking de * también se mueve solo entre fronteras de clúster:
// "?" avanza un carácter percibido por el usuario, así que esto coincide con côté
// sin importar si el PDF lo guardó precompuesto o descompuesto
Found := Lib.SearchText('c?té',
[soWildcards, soCanonicalEquivalent, soGraphemeClusters], '', Hits);
// El reemplazo usa los mismos rangos seguros por clúster, así que jamás
// divide un emoji ni deja un acento huérfano detrás
Replaced := Lib.SearchAndReplaceTextInContent('naïve', 'plain',
[soCanonicalEquivalent, soGraphemeClusters], '1-20');
if Replaced = 0 then
Writeln(Lib.GetLastUnicodeReplacementDiagnostics)
else
Lib.SaveToFile('contracts-edited.pdf');
SearchAndReplaceTextInContent reescribe el texto dentro del contenido de la página y devuelve el número de coincidencias que reemplazó. Cuando devuelve cero, GetLastUnicodeReplacementDiagnostics dice por qué, por ejemplo que una coincidencia no pudo mapearse de vuelta al contenido que la dibujó. El otro punto de entrada, SearchAndReplaceText, acepta el mismo conjunto de opciones y dibuja el reemplazo sobre el bloque coincidente en su lugar
Elegir un conjunto de opciones por carga de trabajo
Tres combinaciones cubren la mayoría de las aplicaciones. Para un cuadro de búsqueda de usuario final dentro de un visor de documentos, use soCanonicalEquivalent más soDiacriticInsensitive: ambas formas de codificación coinciden, y también las escrituras acentuadas y sin acento, que es lo que la gente espera después de años de búsqueda web. Para revisión legal o de cumplimiento, donde un falso positivo le cuesta una tarde a alguien, use soCanonicalEquivalent con soCaseSensitive y soWholeWord y deje el plegado de acentos apagado, así la equivalencia se mantiene exacta mientras ignora cómo le dio al archivo por codificarla
Para cualquier cosa que cambie el documento, agregue soGraphemeClusters siempre. Este es el único lugar que no dejaríamos al gusto. Una búsqueda que devuelve un rango una unidad de código corto solo despista a la persona que lee los resultados; un reemplazo o eliminación que usa el mismo rango escribe el error en el archivo, y nadie se entera hasta que la página se imprime o se extrae de nuevo. La eliminación que tiene que destruir contenido en vez de cubrirlo es tema aparte, cubierto en redacción verdadera y eliminación de contenido
Cuando varios términos corren contra el mismo documento, prefiera SearchTextBatch. Evalúa cada consulta no vacía mientras los bloques de texto de una página están residentes, así cada página se extrae una vez y cada bloque se normaliza una vez, y cada consulta carga su propio conjunto de opciones:
var
Queries: array[0..2] of TPDFlibSearchQuery;
BatchHits: array of TPDFlibSearchBatchHit;
Count, I: Integer;
begin
Queries[0].Query := 'Müller';
Queries[0].Options := [soCanonicalEquivalent, soDiacriticInsensitive];
Queries[1].Query := '서울'; // Hangul: NFC o jamo en el archivo
Queries[1].Options := [soCanonicalEquivalent, soGraphemeClusters];
Queries[2].Query := 'Nguyễn';
Queries[2].Options := [soCanonicalEquivalent, soCaseSensitive,
soWholeWord, soGraphemeClusters];
SetLength(BatchHits, 2000);
Count := Min(Lib.SearchTextBatch(Queries, '', BatchHits),
Length(BatchHits));
for I := 0 to Count - 1 do
Writeln(Format('query %d -> page %d',
[BatchHits[I].QueryIndex, BatchHits[I].Hit.Page]));
end;
Las coincidencias regresan ordenadas por página, luego por bloque, luego por consulta, y QueryIndex es la posición de base cero en el arreglo que usted pasó. SearchTextBatchEach es la forma de callback para conjuntos de resultados que no se pueden dimensionar de antemano. Cómo se extraen los bloques de texto en primer lugar se describe en búsqueda de texto y enumeración de elementos de página
Escrituras donde la equivalencia canónica no es opcional
Para el coreano, la equivalencia canónica decide si un nombre se encuentra siquiera, porque las sílabas precompuestas y los jamo descompuestos ambos aparecen en documentos reales. El vietnamita apila una marca de tono sobre una vocal que quizá ya carga un breve o un circunflejo, así que su forma de composición depende por completo del productor. Para devanágari, bengalí y las demás escrituras índicas, las reglas de conjunto deciden si una frontera de coincidencia cae en un lugar que un lector pueda reconocer. El japonés y el chino son comparativamente fáciles del lado de la búsqueda, aunque el lado de la composición no lo es, como cubre la escritura vertical para japonés y chino
Nuestra recomendación es directa. Si el corpus contiene algún idioma aparte del inglés, encienda soCanonicalEquivalent primero y solo apáguela después de medirla sobre sus propios documentos y encontrar el costo inaceptable. El fallo que previene cae exactamente sobre los nombres que sus usuarios más buscan
El mismo motor consciente de Unicode impulsa búsqueda, extracción, reemplazo y redacción desde Delphi, C++Builder y Free Pascal; los conjuntos de opciones, la API por lotes y el resto del toolkit de texto están listados en la página del producto PDF Library for Delphi