Meta lanza la IA generativa AudioCraft: produce audio y música a partir de texto

Meta anunció el lanzamiento de su nueva herramienta de Inteligencia Artificial (IA) generativa llamada AudioCraft. Está diseñada para generar audio y música a partir de entradas de texto y se entrena con señales de audio sin procesar.

(Le puede interesar: 'Claro tendrá redes de 5G en el segundo semestre del 2024').

La nueva apuesta comprende tres modelos de lenguaje: EnCodec, AudioGen y MusicGen.

MusicGen, que fue presentado en junio, es un modelo de lenguaje simple desarrollado con un enfoque de una sola etapa utilizando patrones de tokens eficientemente entrelazados. Este sistema se entrena con música propiedad de la compañía y licencias específicas para generar audio a partir de las entradas de texto de los s.

(Le puede interesar: Spotify anuncia aumento de precio en sus planes: estas son las tarifas).

En cuanto a AudioGen, se entrenó con efectos de sonido de uso público y puede generar audio realista basado en las entradas de texto proporcionadas por los s. Por otro lado, el decodificador EnCodec permite generar música de mayor calidad con menos artefactos.

A pesar de que los modelos de lenguaje de IA generativa han demostrado habilidades excepcionales, Meta reconoce que en términos de audio no ha despertado el mismo interés que otros campos. La compañía atribuye esto al desafío de generar música, ya que se compone de patrones locales y de largo alcance, desde notas individuales hasta estructuras musicales globales con múltiples instrumentos.

En ese sentido, AudioCraft es capaz de producir audio de alta calidad y consistencia a largo plazo, ofreciendo una interfaz natural y un diseño simplificado para mejorar la experiencia de los navegantes.

(Le puede interesar: El iPhone que bajó 2 millones y otros celulares con descuento).

La herramienta es de código abierto y permite trabajar sobre la misma base de código, lo que facilita la construcción y adaptación de estos modelos para casos de uso de investigación.

La generación de audio a partir de señales sin procesar es un desafío complejo, ya que requiere modelar secuencias extremadamente largas. Para abordar este desafío, Meta utiliza tokens de audio sin procesar con el modelo EnCodec, lo que le proporciona un nuevo vocabulario para las muestras de música.

Posteriormente, los modelos de lenguaje autorregresivos se entrenan sobre estos tokens de audio discretos, generando así nuevos sonidos y música al convertirlos nuevamente al espacio de audio con el decodificador.

*Este contenido fue hecho con la asistencia de una inteligencia artificial, basado en la información de Europa Press, y contó con la revisión de la periodista y un editor