NVIDIA Maxine
SDK acelerado con funciones de inteligencia artificial de última generación para crear aplicaciones de creación de contenido y colaboración virtual.
¿Qué es NVIDIA Maxine?
NVIDIA Maxine es un SDK acelerado por GPU con funciones de inteligencia artificial de última generación para que los desarrolladores creen aplicaciones de creación de contenido y colaboración virtual, como videoconferencias y transmisión en vivo.
Los SDK de IA de Maxine (efectos de video, efectos de audio y realidad aumentada (AR)) están altamente optimizados e incluyen características modulares que se pueden encadenar en pipelines de un extremo a otro para brindar el mayor rendimiento posible en las GPU, tanto en PC como en data centers. Maxine también se puede utilizar con NVIDIA Riva, un SDK para crear aplicaciones conversacionales de inteligencia artificial, para ofrecer capacidades basadas en idiomas de clase mundial, como la transcripción y la traducción.
Los desarrolladores pueden agregar efectos de IA de Maxine a sus aplicaciones existentes o desarrollar nuevos pipelines desde cero utilizando NVIDIA DeepStream, un SDK para crear análisis de video inteligente, y NVIDIA Video Codec, un SDK para codificación, decodificación y transcodificación aceleradas.
Beneficios
Capacidades de IA de Vanguardia
Modelos previamente entrenados de clase mundial para capacidades de audio, video y realidad aumentada (AR) de alta calidad.
Rendimiento de IA en Tiempo Real
Funciones de IA aceleradas y optimizadas para inferencias en tiempo real en GPU.
Solución de Extremo a Extremo
Pipelines completos de extremo a extremo para decodificación de video, transcodificación, codificación, inteligencia artificial conversacional, visión por computadora, streaming de video y análisis.
Touchcast utiliza tecnologías de inteligencia artificial y renderizado de última generación para ejecutar hermosos eventos en línea con impresionantes lugares virtuales realistas y capacidades de colaboración en tiempo real. Como líder en impulsar la próxima era de la computación, NVIDIA Maxine está preparando el futuro de las comunicaciones por video, un futuro en el que la inteligencia artificial y las redes neuronales mejoran y enriquecen el contenido de formas completamente nuevas. Al trabajar con NVIDIA, Touchcast puede seguir estando a la vanguardia en la creación de las experiencias más increíbles del mundo para sus clientes.
Edo Segal, Fundador y CEO
SoftBank Corp. se compromete a brindar la mejor experiencia de comunicación posible y Maxine mejora significativamente la claridad y la calidad de la comunicación. Con capacidades tales como eliminación de ruido de fondo de audio y súper resolución de video, nuestros usuarios se ven y se escuchan entre sí con mayor claridad, lo que hace que sus comunicaciones sean más eficientes y efectivas.
Ryuji Wakikawa, Vicepresidente, Head de la División de Tecnología Avanzada
Pexip siempre ha superado los límites de las comunicaciones por video con su plataforma de conferencias virtualizada y distribuida. Estamos explorando cómo las capacidades de NVIDIA Maxine, como la eliminación de ruido de audio y el fondo virtual, pueden respaldar experiencias de videoconferencia premium para empresas de todos los tamaños. Junto con NVIDIA, esperamos brindar la próxima generación de comunicaciones por video impulsadas por IA, creando reuniones virtuales que son mejores que las reuniones en persona.
Giles Chamberlin, CTO y Cofundador
Creemos que la inteligencia artificial en tiempo real puede eliminar el trabajo de las videoconferencias para que las personas puedan reunirse sin distracciones. NVIDIA Maxine es la primera plataforma que admite esas funciones de videoconferencia de IA en tiempo real. Maxine permite a nuestros usuarios comunicarse de manera más consistente y efectiva, enfocándose en el contenido de la discusión en lugar de las distracciones.
Julian Green, CEO
El emocionante rendimiento de cancelación de ruido del SDK Maxine Audio ha demostrado ser fácil de usar e increíblemente poderoso. Imaginamos el uso de Maxine para permitir a nuestros clientes tener conversaciones claras e inteligibles en situaciones que nunca antes se creyeron posibles.
John Chow, Gerente de Producto
Al procesar nuestras transmisiones de video con Maxine en el cloud, podemos brindar a nuestros clientes capacidades avanzadas, sin que tengan que invertir en equipos costosos. Según nuestros usuarios, la calidad de la salida de vídeo de Maxine, mejorada con funciones de inteligencia artificial, es la mejor de todo el mercado. Trabajar con el SDK Maxine nos permitió crear soluciones de vanguardia para nuestros clientes, en un tiempo récord.
Tzafrir Rehan, CTO
Maxine brinda a nuestros usuarios acceso a seguimiento corporal y eliminación de antecedentes de última generación, en tiempo real y basado en inteligencia artificial. Pueden rastrear y enmascarar a los artistas intérpretes o ejecutantes en un entorno de actuación en vivo, lo que a su vez permite todo un mundo de casos de uso creativos, y todo simplemente utilizando una alimentación de cámara estándar, eliminando los desafíos de las soluciones especiales de seguimiento de hardware, que es un verdadero cambio de juego. La integración del SDK Maxine fue muy fácil y tardó solo unos días en completarse.
Matt Swoboda, Fundador y Director
Las funciones impulsadas por IA de NVIDIA Maxine nos permiten mejorar la calidad de producción de nuestros transmisores de games, comenzando con la eliminación de ruido dinámico e inteligente de los micrófonos para garantizar un habla clara durante las transmisiones. También planeamos integrar otras funciones como eliminación de ruido y escalamiento de video, así como eliminación de fondo sin una pantalla verde en un futuro próximo.
Miguel Molina, Gerente Técnico de Producto
SDK de Maxine
SDK de Efectos de Video
El SDK de Efectos de Video de Maxine permite efectos visuales basados en inteligencia artificial que se ejecutan con la entrada estándar de la cámara web y se pueden integrar fácilmente en las canalizaciones de videoconferencia y creación de contenido. Los modelos de deep learning subyacentes se optimizan con NVIDIA® TensorRT™ para inferencias de alto rendimiento, lo que hace posible que los desarrolladores apliquen múltiples efectos en aplicaciones en tiempo real.
Las características clave incluyen:
- Súper resolución: genera un video con detalles mejorados utilizando redes neuronales de inteligencia artificial que reducen los artefactos y preservan la textura con un escalado de alta calidad de hasta 4 veces.
- Upscaler: ofrece un alto rendimiento y un video escalado de alta calidad hasta 4 veces con un parámetro de nitidez ajustable.
- Reducción de artefactos: elimina los artefactos de compresión del video codificado mientras conserva los detalles originales.
- Eliminación de ruido de video: elimina el ruido de la cámara con poca luz introducido en el proceso de captura de video mientras conserva los detalles.
- Fondo virtual: segmenta a una persona y aplica la eliminación, el reemplazo o el desenfoque del fondo con tecnología de inteligencia artificial.
SDK de Realidad Aumentada
El SDK de Realidad Aumentada ofrece seguimiento facial en 3D en tiempo real y basado en inteligencia artificial y estimación de la pose corporal basada en una cámara web estándar. Los desarrolladores pueden crear efectos AR únicos, como superponer contenido 3D en una cara, conducir personajes 3D e interacciones virtuales en tiempo real.
Las características clave incluyen:
- Seguimiento facial: detecta rostros humanos en imágenes y videos y especifica la ubicación y el tamaño del cuadro delimitador.
- Seguimiento de puntos de referencia faciales: reconoce los rasgos y contornos faciales utilizando 126 puntos clave y rastrea la postura de la cabeza y la deformación facial debido al movimiento y la expresión de la cabeza en tres grados de libertad en tiempo real.
- Malla de rostros: representa un rostro humano con una malla 3D con hasta 3000 vértices y seis grados de libertad.
- Estimación de la postura del cuerpo: predice y rastrea 34 puntos clave del cuerpo humano en 2D y 3D. Se utiliza habitualmente en el reconocimiento de actividades, la transferencia de movimiento y las interacciones virtuales en tiempo real.
- Contacto visual (solicite acceso anticipado): simula el contacto visual estimando y alineando la mirada con la cámara.
- Audio2Face (próximamente): anima una cara digital 2D o 3D con alta fidelidad basada solo en una entrada de audio.
SDK de Efectos de Audio
El SDK de Efectos de Audio ofrece algoritmos de mejora de la calidad de audio basados en inteligencia artificial, que mejoran la calidad de conversación de un extremo a otro para audio de banda estrecha, banda ancha y banda ultraancha.
Los modelos de IA optimizados de alto rendimiento permiten procesar miles de transmisiones de audio en tiempo real por GPU, mejorando la calidad de audio en hasta dos puntos de puntuación de opinión media (MOS) en métricas de calidad objetivas y subjetivas, como la Evaluación Perceptual de la Calidad del Habla (PESQ) y Análisis Perceptual de la Calidad Auditiva Objetiva (POLQA). En las aplicaciones de escritorio, los modelos optimizados permiten que múltiples aplicaciones, como games, se ejecuten simultáneamente con un impacto mínimo en la calidad de ambas aplicaciones.
Los desarrolladores pueden integrarse en aplicaciones independientes de Windows y Linux para procesar el audio del micrófono y el altavoz o en servidores de alta densidad para procesar miles de transmisiones de audio por servidor.
Las características clave incluyen:
- Eliminación de ruido (NR): elimina varios ruidos de fondo comunes utilizando modelos de inteligencia artificial de última generación mientras se conserva la voz natural del hablante.
- Eliminación de eco de sala (REC): elimina las reverberaciones del audio utilizando modelos de IA de última generación, restaurando la claridad de la voz de un hablante.
- Súper resolución de audio (solicite acceso anticipado): mejora la calidad del audio en tiempo real al aumentar la frecuencia de muestreo del flujo de entrada de audio de 8kHz a 16kHz y de 16kHz a 48kHz.
- Cancelación de eco acústico (solicitar acceso anticipado): cancela el eco del dispositivo acústico en tiempo real de la transmisión de audio de entrada. Con la tecnología basada en IA, se logra una cancelación más efectiva que con el procesamiento tradicional de señales digitales.
Con estas funciones, los desarrolladores también pueden crear multiplos efectos innovadores combinando NR y REC al tiempo que ofrecen un rendimiento optimizado y latencia en tiempo real.
Proyecto Maxine se Basa en Potentes SDK de NVIDIA
Explore tecnologías que se integran con el pipeline modular, personalizable y escalable de Maxine. Por ejemplo, la colaboración con audiencias globales se puede mejorar significativamente cuando se habla en su idioma. Para permitir una mejor comunicación y comprensión, el Proyecto Maxine integra la traducción en tiempo real y la conversión de texto a voz de NVIDIA Riva con animación fotográfica "retrato en vivo" y contacto visual en tiempo real. El Proyecto Maxine es una aplicación de referencia para Omniverse Avatar, una plataforma tecnológica para generar avatares de IA interactivos.
Análisis de Imágenes y Videos
El SDK DeepStream ofrece un pipeline de transmisión de un extremo a otro para el procesamiento de múltiples sensores y la comprensión de video e imágenes basados en inteligencia artificial.
Codificación y Decodificación de Video
El SDK de Codificación de Video es un conjunto completo de API, que incluye herramientas de alto rendimiento, muestras y documentación, para la codificación y decodificación de video acelerada por hardware en Windows y Linux. El AI Face Codec (próximamente) permitirá un video más fluido y una reducción del ancho de banda de hasta 10 veces.
IA Conversacional
El SDK Riva es un framework de aplicación para servicios de inteligencia artificial conversacional multimodal que ofrece rendimiento en tiempo real en las GPU.
Recursos
Reinventar las Aplicaciones de Video
Descubra cómo los desarrolladores de Notch, Headroom, Be.Live y Touchcast utilizan NVIDIA Maxine.
Nuevas Tecnologías de IA
Lea acerca de las últimas herramientas de software para desarrolladores lanzadas en GTC 2021.
Presentación de Apertura de GTC 2021
Obtenga información sobre la última actualización para NVIDIA Maxine del CEO de NVIDIA, Jensen Huang.
Últimas Noticias de Maxine
Lea cómo los proveedores líderes de colaboración, creación de contenido y transmisión están utilizando NVIDIA Maxine.
NVIDIA Maxine se puede descargar de forma gratuita para los miembros del Programa para Desarrolladores de NVIDIA.