Intetración de la IA en VIROO Studio
Virtualware presenta la integración de IA en VIROO Studio
En el último webinar de la mano del director técnico, Sergio Barrera; el arquitecto jefe, Ed Martin; y el responsable de producto, Alberto Carlier, para presentar la nueva plantilla de IA de VIROO Studio.
Esta actualización incorpora inteligencia artificial avanzada —concretamente, grandes modelos de lenguaje (LLM), como OpenAI— directamente en el flujo de trabajo de VIROO Studio para Unity.
El mensaje central de la sesión fue que la IA ya no es un «nuevo sistema», sino que ha evolucionado hasta convertirse en la «próxima utilidad», situándose junto al agua, la electricidad e Internet como una capa fundamental de la infraestructura moderna.
Que permite la plantilla IA de VIROO
La plantilla de IA de VIROO Studio para Unity está diseñada para ayudar a los creadores de contenidos a desarrollar experiencias de realidad extendida (XR) más inteligentes y dinámicas sin necesidad de tener conocimientos avanzados en aprendizaje automático. Entre sus principales funciones se incluyen:
- Interacciones naturales por voz y chat: Los creadores pueden implementar flujos de trabajo sencillos que permiten a los usuarios interactuar con el entorno mediante la voz o el chat.
- Base de conocimientos de documentación privada (RAG): Los usuarios pueden limitar los conocimientos de la IA a documentos privados específicos a través de un «gestor RAG (Retrieval-Augmented Generation)», lo que garantiza que la IA se mantenga «centrada en el tema» y sea precisa.
- Conciencia contextual: la IA comprende la escena de Unity en ejecución, incluida la ubicación del usuario y los objetos que está observando.
- Compatibilidad multilingüe: el sistema funciona a la perfección en cualquier idioma compatible con el LLM subyacente.
Cómo funciona: la estructura técnica
La integración se basa en un sofisticado ciclo de interacción que conecta la escena virtual con el proceso de razonamiento de la IA.
- Entrada y transcripción: cuando un usuario formula una pregunta a través del micrófono, el sistema captura el audio y utiliza un servicio para transcribirlo a texto.
- Recuperación de contexto de doble capa:
- El gestor RAG: el sistema busca en un caché de «incrustaciones» de documentos para encontrar párrafos relevantes en función de la pregunta del usuario.
- Proveedores de contexto: en paralelo, los componentes «Proveedores de contexto» recopilan información en tiempo real de la escena de Unity, como la posición de la cámara y los objetos interactivos.
- La consulta de IA: Todos los componentes —la indicación del sistema, la consulta del usuario, los documentos recuperados y el contexto de la escena en tiempo real— se consolidan en una única solicitud enviada al LLM.
- Razonamiento y ejecución (MCP): A continuación, la IA determina qué herramientas MCP (Protocolo de contexto del modelo) debe invocar, lo que permite acciones como mover un PNJ, generar objetos o proporcionar retroalimentación visual contextual.
Personalización y extensibilidad
Virtualware ha destacado que el sistema es muy flexible. Los creadores pueden definir «System Prompts» utilizando lenguaje natural para determinar cómo se comporta la IA (por ejemplo, estableciendo reglas de razonamiento espacial como «informar siempre sobre la distancia»). Los desarrolladores también pueden ampliar el sistema heredando de la clase `AIContextProviderBaseComp` o implementando la interfaz `IMCPTool` para crear herramientas personalizadas.
El futuro de la IA en VIROO
Aunque la integración se encuentra actualmente en fase de perfeccionamiento y aún no se ha lanzado por completo, Virtualware ha compartido una hoja de ruta para el futuro:
- Modelos privados y locales: compatibilidad con la ejecución de modelos de lenguaje grandes (LLM) locales (como Qwen, Mistral o Llama) a través de vLLM u Ollama para garantizar la privacidad de los datos y reducir la latencia.
- Visual Scripting: la capacidad de registrar herramientas de IA a través de interfaces de scripts visuales.
- Exploración autónoma: Permitir que la IA active herramientas por iniciativa propia para recorrer una escena y encontrar información que no se haya proporcionado inicialmente en el contexto.
