Usar un modelo NLP de idioma japonés en Elasticsearch para habilitar búsquedas semánticas

Encontrar rápido los documentos necesarios entre la gran cantidad de documentos internos e información de productos que se generan a diario es una tarea sumamente importante tanto en el ámbito laboral como en la vida cotidiana. Sin embargo, si hay una gran cantidad de documentos en los cuales buscar, el proceso de volver a leer todos los documentos en tiempo real y encontrar el archivo objetivo puede llevar mucho tiempo, incluso a las computadoras. Esto es lo que llevó a la aparición de Elasticsearch® y demás softwares de motores de búsqueda. Cuando se usa un motor de búsqueda, los datos de índice de búsqueda se crean primero para que los términos de búsqueda clave incluidos en los documentos puedan usarse para encontrar rápidamente esos documentos.

Sin embargo, incluso si el usuario tiene una idea general de qué tipo de información busca, es posible que no pueda recuperar una palabra clave adecuada o puede buscar otra expresión con el mismo significado. Elasticsearch permite que se definan sinónimos y términos similares para tales situaciones; pero en algunas ocasiones, puede resultar difícil usar simplemente una tabla de correspondencia para convertir una consulta de búsqueda en una más adecuada.

Para abordar esta necesidad, Elasticsearch 8.0 lanzó la característica de búsqueda de vectores, que busca por el contenido semántico de una frase. Además, también tenemos una serie de blogs sobre cómo usar Elasticsearch para realizar búsquedas de vectores y otras tareas de NLP. Sin embargo, hasta la versión 8.8, no podía analizar correctamente el texto en otros idiomas que no fueran inglés.

Con la versión 8.9, Elastic agregó la funcionalidad para analizar correctamente el japonés en el procesamiento de análisis de texto. Esta funcionalidad permite a Elasticsearch realizar búsquedas semánticas, como la búsqueda de vectores en texto en japonés, y tareas de procesamiento de lenguaje natural, como el análisis de sentimiento en japonés. En este artículo, brindaremos instrucciones paso a paso específicas sobre cómo usar estas características.

Fugashi, ipadic y unidic_lite serán necesarias para usar un modelo de japonés.

Una vez instaladas estas bibliotecas, también se puede instalar Eland. Eland 8.9.0 o posterior será necesario para usar un modelo de japonés, así que asegúrate de prestar atención al número de versión.

Una vez finalizada la instalación, usa el comando siguiente para confirmar que Eland se pueda usar.

El método principal para habilitar la búsqueda de vectores es el mismo que el usado en inglés en este artículo. Veremos brevemente el mismo procedimiento aquí para repasarlo.

Como explicamos antes, se debe importar el modelo de machine learning apropiado a Elasticsearch para permitir el procesamiento de NLP en Elasticsearch. Puedes implementar un modelo de machine learning tú mismo usando PyTorch, pero esto también requiere experiencia suficiente con machine learning y procesamiento de lenguaje natural, además del poder informático que necesita el machine learning. Sin embargo, ahora existe un repositorio en línea, Hugging Face, muy usado por los investigadores y desarrolladores en los ámbitos de machine learning y procesamiento de lenguaje natural, y muchos modelos se publican en este repositorio. En este ejemplo, usaremos un modelo publicado en Hugging Face para implementar la funcionalidad de búsqueda semántica.

Para comenzar, elijamos un modelo en Hugging Face que incruste (vectorice) oraciones en japonés en vectores numéricos. En este artículo, usaremos el modelo enlazado a continuación.

• cl-tohoku/bert-base-japanese-v2

Veamos algunos puntos a tener en cuenta al seleccionar un modelo de japonés en la versión 8.9.

Primero, solo el algoritmo de modelo BERT tiene soporte. Comprueba las etiquetas en Hugging Face y otra información para confirmar que el modelo NLP deseado es un modelo entrenado BERT.

Además, en el caso de BERT y otras tareas de NLP, el texto que se ingresa se "pretokeniza", lo que significa que el texto se divide en unidades a nivel de la palabra. En este caso, se usa un motor de análisis morfológico del idioma japonés para pretokenizar el texto en japonés. Elasticsearch 8.9 brinda soporte para el análisis morfológico con MeCab. En la página de modelos de Hugging Face, abre la pestaña "Files and versions" (Archivos y versiones) y ve los contenidos del archivo tokenizer_config.json. Confirma que el valor en word_tokenizer_type sea mecab.

Desafortunadamente, si el modelo que deseas usar tiene un valor distinto de mecab en word_tokenizer_type, ese modelo no contará con soporte en Elasticsearch en este momento. Agradecemos recibir comentarios sobre cualquier tipo de tokenizador de palabras específico (word_tokenizer_type) para el que se requiera soporte.

Una vez que hayas elegido un modelo para importar, los pasos requeridos para importar son los mismos que para un modelo de inglés. Primero, usa eland_import_hub_model para importar el modelo a Elasticsearch. Consulta esta página para saber cómo usar eland_import_hub_model.

Una vez que el modelo se haya importado correctamente, se mostrará en Machine Learning > Model Management (Gestión de modelos) > Trained Models (Modelos entrenados) en Kibana. Abre la pestaña "Config" del modelo para ver que "bert_ja" se use para la tokenización y el modelo esté configurado correctamente para japonés.

Una vez que finalice la carga del modelo, probémoslo. Haz clic en un botón de la columna Actions (Acciones) para abrir el menú.

Selecciona "Test model" (Probar modelo), luego ingresa cualquier frase en japonés en "Input text" (Texto de entrada) y haz clic en el botón "Test" (Probar).

Luego podrás ver que el modelo vectorizó el texto en japonés que ingresaste en una cadena numérica, como se muestra aquí. Parece estar funcionando correctamente.

Cuando se usa el procesador de inferencia, el modelo especificado en model_id se aplica al texto guardado en el campo de destino (en este caso, title) y la salida se almacena en target_field. Además, cada modelo espera un campo diferente (en este caso, text_field) para el valor de entrada para el proceso. Por ese motivo, field_map se usa para especificar la correspondencia entre el campo de entrada real del objetivo del proceso y el nombre de campo que espera el modelo de ML.

Una vez configurado el pipeline, se puede usar para crear índices. Como se necesitarán campos en esos índices para almacenar vectores, definiremos el mapeo apropiado. En el ejemplo siguiente, el campo text_embedding.predicted_value está configurado para contener datos dense_vector de 768 dimensiones. Ten en cuenta que la cantidad de dimensiones varía según el modelo. Comprueba la página del modelo en Hugging Face (valor hidden_size en el config.json del modelo) o en otro sitio, y configura un número apropiado.

Si ya hay un índice que incluya los datos de texto en japonés que son el objetivo de la búsqueda, se puede volver a indexar la API. En este ejemplo, los datos de texto originales están en el índice japanese-text. Un documento que contiene la vectorización de ese texto se registra en el índice japanese-text-embeddings.

Como alternativa, se puede registrar un documento directamente a fin de realizar pruebas especificando un pipeline creado como se muestra a continuación y almacenándolo en el índice.

Una vez que el documento vectorizado se registró, finalmente es posible ejecutar una búsqueda. Una búsqueda kNN (k vecino más cercano) es uno de los métodos disponibles que usa vectores. Ahora ejecutaremos una búsqueda de vectores kNN usando la opción query_vector_builder en la API _search estándar. Cuando se usa query_vector_builder, el modelo especificado en model_id puede usarse para convertir el texto en model_text en una búsqueda que contenga un vector en el cual esté incrustado ese texto.

Cuando se ejecuta esta consulta de búsqueda, se recibe el tipo de respuesta siguiente.

¡Búsqueda exitosa! La búsqueda también contiene campos en los que se incrustó japonés. En la mayoría de los casos de uso reales, no es necesario que se incluya este texto en la respuesta. En tales casos, usa _source parameter u otro método para excluir esa información de la respuesta (o tomar otra medida del estilo).

Para ajustar las clasificaciones de búsqueda, se lanzó la característicaReciprocal rank fusion (RRF) (Fusión de rango recíproco [RRF]), que combina hábilmente los resultados de las búsquedas de vectores y las búsquedas de palabras clave estándares. Asegúrate de echarle un vistazo a esto también.

Con esto concluimos nuestro debate sobre cómo habilitar la búsqueda semántica usando la búsqueda de vectores. Si bien configurar esta funcionalidad puede requerir más trabajo que una búsqueda estándar y es posible que encuentres cierto vocabulario exclusivo de machine learning, podrás ejecutar búsquedas casi de modo normal una vez que la fase de configuración esté completa, pruébalo.

Una vez que el modelo se haya importado correctamente, se mostrará en Machine Learning > Model Management (Gestión de modelos) > Trained Models (Modelos entrenados) en Kibana.

En este caso, haz clic en "Test model" (Probar modelo) en el menú Actions (Acciones).

Como antes, esto mostrará un cuadro de diálogo para realizar pruebas. Ingresa aquí el texto para clasificarlo, se clasificará como POSITIVE, NEUTRAL o NEGATIVE. A modo de prueba, ingresemos lo siguiente: "Estoy feliz de poder ejecutar ahora tareas de NLP con Elasticsearch". Como se muestra a continuación, esto generó un resultado 99.2 % positivo.

A continuación está el mismo proceso ejecutado mediante API.

La respuesta es la siguiente:

Como este proceso también puede ejecutarse con el procesador de inferencia, es posible adjuntar estos resultados de análisis antes de que se indexe el texto en japonés. Por ejemplo, aplicar este proceso al texto de comentarios para productos específicos podría ayudar a convertir las valoraciones de los usuarios para dichos productos en valores numéricos.

El lanzamiento y el plazo de cualquier característica o funcionalidad descrita en este blog quedan a la entera discreción de Elastic. Cualquier característica o funcionalidad que no esté disponible actualmente puede no entregarse a tiempo o no entregarse en absoluto.

En este blog, es posible que hayamos usado o mencionado herramientas de AI generativa de terceros, que son propiedad de sus respectivos propietarios y operadas por estos. Elastic no tiene ningún control sobre las herramientas de terceros, y no somos responsables de su contenido, funcionamiento o uso, ni de ninguna pérdida o daño que pueda resultar del uso de dichas herramientas. Ten cautela al usar herramientas de AI con información personal o confidencial. Cualquier dato que envíes puede ser utilizado para el entrenamiento de AI u otros fines. No hay garantías de que la información que proporciones se mantenga segura o confidencial. Deberías familiarizarte con las prácticas de privacidad y los términos de uso de cualquier herramienta de AI generativa previo a su uso.

Elastic, Elasticsearch, ESRE, Elasticsearch Relevance Engine y las marcas asociadas son marcas comerciales, logotipos o marcas comerciales registradas de Elasticsearch N.V. en los Estados Unidos y otros países. Todos los demás nombres de empresas y productos son marcas comerciales, logotipos o marcas comerciales registradas de sus respectivos propietarios.