¿Qué es la clonación de voz zero-shot?

¿Qué es la clonación de voz zero-shot? Descubre qué es y cómo funciona la clonación de voz zero-shot.

Gracias a los avances en el aprendizaje automático, la clonación de voz ha progresado significativamente en los últimos años, resultando en algunas de las soluciones de texto a voz más impresionantes hasta la fecha. Entre los desarrollos más importantes se encuentra el zero-shot, que ha estado causando sensación en el sector tecnológico. Este artículo presentará la clonación de voz zero-shot y cómo ha transformado la industria.

Explicación del aprendizaje automático zero-shot

El objetivo de la clonación de voz es replicar la voz de un hablante sintetizando su tono y color usando solo una pequeña cantidad de discurso grabado. En otras palabras, la clonación de voz es una tecnología de vanguardia que utiliza inteligencia artificial para crear una voz que se asemeje a una persona específica. Esta tecnología distingue tres procesos principales de clonación de voz:

Aprendizaje de un solo ejemplo

El aprendizaje de un solo ejemplo significa que el modelo se entrena con solo una imagen de algo nuevo, pero aún así debería poder reconocer otras imágenes de lo mismo.

Aprendizaje de pocos ejemplos

El aprendizaje de pocos ejemplos es cuando a un modelo se le muestran algunas imágenes de algo nuevo y puede reconocer cosas similares incluso si se ven un poco diferentes.

Aprendizaje zero-shot

El aprendizaje zero-shot consiste en enseñar a un modelo a reconocer nuevos objetos o conceptos que no ha sido entrenado previamente utilizando un conjunto de datos, como VCTK, para describirlos. Esto es cuando se enseña al modelo a reconocer cosas nuevas sin imágenes, ejemplos u otros datos de entrenamiento. En su lugar, se le proporciona una lista de características o rasgos que describen el nuevo elemento.

¿Qué es la clonación de voz?

La clonación de voz es la replicación de la voz de un hablante utilizando técnicas de aprendizaje automático. El objetivo de la clonación de voz es reproducir el tono del hablante usando solo una pequeña cantidad de su discurso grabado. En la clonación de voz, un codificador de hablante convierte el discurso de una persona en un código que luego puede transformarse en un vector utilizando la incrustación de hablante. Ese vector se utiliza para entrenar un sintetizador, también conocido como vocoder, para crear un discurso que suene como la voz del hablante. El sintetizador toma el vector de incrustación del hablante y un espectrograma mel, una representación visual de la señal de voz, como entrada. Este es el proceso básico para la clonación de voz. Luego produce una salida de forma de onda, que es el sonido real del discurso sintetizado. Este proceso se realiza típicamente utilizando técnicas de aprendizaje automático como el aprendizaje profundo. Además, puede entrenarse utilizando una variedad de conjuntos de datos y métricas para evaluar la calidad del discurso generado. La clonación de voz puede usarse para diversas aplicaciones como:

• Conversión de voz - la capacidad de cambiar una grabación de la voz de una persona para que suene como si otra persona la hubiera dicho.
• Verificación de hablante - cuando alguien dice ser una cierta persona y se utiliza su voz para verificar si es cierto.
• Texto a voz multihablante  - creación del discurso a partir del texto impreso y palabras clave

Algunos algoritmos populares de clonación de voz incluyen WaveNet, Tacotron2, Zero-shot Multispeaker TTS, y VALL-E de Microsoft. Además, se pueden encontrar muchos otros algoritmos de código abierto en GitHub, ofreciendo excelentes resultados finales. Además, si estás interesado en aprender más sobre técnicas de clonación de voz, ICASSP, Interspeech y la Conferencia Internacional IEEE son los lugares indicados para ti.

Aprendizaje zero-shot en la clonación de voz

Se utiliza un codificador de hablante para extraer vectores de discurso de los datos de entrenamiento para lograr la clonación de voz zero-shot. Estos vectores de discurso pueden luego usarse para el procesamiento de señales de hablantes que no han sido incluidos en los conjuntos de datos de entrenamiento antes, también conocidos como hablantes no vistos. Esto se puede lograr entrenando una red neuronal utilizando una variedad de técnicas, tales como:

• Modelos convolucionales son modelos de redes neuronales empleados para resolver problemas de clasificación de imágenes.
• Modelos autorregresivos pueden predecir valores futuros basándose en valores pasados.

Uno de los desafíos de la clonación de voz zero-shot es asegurar que el discurso sintetizado sea de alta calidad y suene natural para el oyente. Para abordar este desafío, se utilizan varias métricas para evaluar la calidad de la síntesis de voz:

• Similitud del hablante mide cuán similar es el discurso sintetizado a los patrones de discurso del hablante original.
• Naturalidad del discurso se refiere a cuán natural suena el discurso sintetizado para el oyente.

Los datos reales del mundo, que se utilizan para enseñar y evaluar modelos de IA, se llaman audio de referencia de verdad fundamental. Estos datos se utilizan para el entrenamiento y la normalización. Además, se emplean técnicas de transferencia de estilo para mejorar la capacidad de generalización del modelo. La transferencia de estilo implica el uso de dos entradas: una para el contenido principal y otra para la referencia de estilo, con el fin de mejorar el rendimiento del modelo con nuevos datos. En otras palabras, el modelo es mejor para manejar nuevas situaciones.

Descubre la última tecnología de clonación de voz en acción con Speechify

Aunque inicialmente pueda parecer poco convencional incluir un generador de texto a voz en este artículo, Speechify es la opción perfecta para cualquiera que necesite un lector TTS de alta calidad y versatilidad. Tiene una pronunciación excepcional y soporte para inglés, español, alemán, y 12 idiomas más, junto con más de 30 voces personalizadas de diferentes hablantes. Speechify es una potente herramienta TTS, ideal para locuciones de IA. Como un servicio TTS de vanguardia, Speechify emplea un modelo de última generación que utiliza optimización en tiempo real y técnicas avanzadas de decodificación, resultando en una narración de sonido natural que rivaliza con el habla humana. Speechify es un software fácil de usar que funciona en casi cualquier sistema operativo, incluyendo Windows, Android, iOS, y Mac. El decodificador de Speechify utiliza técnicas avanzadas de procesamiento de señales y soporta velocidades 9 veces más rápidas que la velocidad de lectura promedio, ofreciendo una serie de características para garantizar la calidad premium del audio. Pruébalo  hoy y experimenta el poder de la mejor tecnología de modelo TTS de extremo a extremo de primera mano, con sus modelos preentrenados personalizables y su diversa selección de voces.

Preguntas Frecuentes

¿Cuál es el propósito de la clonación de voz?

La clonación de voz tiene como objetivo producir un habla de alta calidad y sonido natural que pueda ser utilizada en diversas aplicaciones para mejorar la comunicación e interacción entre humanos y máquinas.

¿Cuál es la diferencia entre conversión de voz y clonación de voz?

La conversión de voz implica modificar el habla de una persona para que suene como otra, mientras que la clonación de voz crea una nueva voz que se asemeja a un hablante humano específico.

¿Qué software puede clonar la voz de alguien?

Existen numerosas opciones disponibles, incluyendo Speechify, Resemble.ai, Play.ht, y muchas otras.

¿Cómo se puede detectar una voz falsificada?

Una de las técnicas más comunes para identificar un audio deepfake es el análisis espectral, que implica analizar una señal de audio para detectar patrones de voz distintivos.