Word Embeddings y Sentence Transformers para encontrar documentos en español con búsqueda s | | UPV скачать в хорошем качестве

Word Embeddings y Sentence Transformers para encontrar documentos en español con búsqueda s | | UPV

Título: Word Embeddings y Sentence Transformers para encontrar documentos en español con búsqueda semántica (semantic search) Descripción automática: En este video, se expone un método para encontrar respuestas a preguntas de alumnos en transcripciones de vídeos utilizando inteligencia artificial. Se utiliza un archivo de pruebas con 371 vídeos y sus transcripciones, que carecen de puntuación en su mayoría. Mediante el uso de la librería LanChain, se trocean los textos y con el modelo Sentence Transformer se convierten en vectores de 768 números, que representan la semántica de las frases. Este modelo permite comparar el vector de la pregunta con los de las transcripciones, utilizando la función de similaridad del coseno para establecer qué tan cercanas son las respuestas al interrogante. No obstante, los resultados dependen de la calidad del modelo de inteligencia artificial empleado, y hay diferentes factores a ajustar para optimizar la búsqueda. También se discuten otras técnicas y herramientas, como la librería Stanza que podría usarse si se cuenta con transcripciones puntualizadas. Se mencionan distintos modelos de transformadores de frases que se podrían probar y ajustar, destacando que los modelos entrenados específicamente en el idioma correspondiente podrían generar mejores resultados. Finalmente, se considera el uso de bases de datos de vectores y su implementación para mejorar la velocidad de respuesta, destacando los costes asociados con el uso de modelos proporcionados por la entidad correspondiente. El proceso finaliza con una agregación para seleccionar los vídeos más pertinentes basándose en una combinación de los vectores obtenidos y sus distancias. Se plantea la posibilidad de realizar pruebas automatizadas para evaluar diferentes configuraciones del sistema y elegir la más eficiente. Autor/a: Despujol Zabala Ignacio Universitat Politècnica de València UPV: https://www.upv.es Más vídeos en:    / valenciaupv   Accede a nuestros MOOC: https://upvx.es #LLM #IA #Inteligencia artificial #embeddings #semantic search #búsqueda semántica