Descubrimiento de IA por investigadores de Apple: capacidad de "ver" y comprender el contexto de la pantalla

Participe con nosotros en Atlanta el 10 de abril y explore el panorama laboral de la seguridad. Abordaremos la visión, los beneficios y los casos de uso de la IA para los equipos de seguridad. Solicitud de invitación aquí.


Un nuevo sistema de inteligencia artificial desarrollado por investigadores de Apple puede interpretar menciones ambiguas a entidades en la pantalla, así como contextos conversacionales y de fondo, lo que permite interacciones más naturales con asistentes de voz, según un artículo publicado recientemente.

Este sistema, denominado ReALM (Resolución de Referencias como Modelado de Lenguaje), se basa en grandes modelos de lenguaje para abordar la compleja tarea de resolver referencias, incluida la comprensión de referencias a elementos visuales en pantalla, tratándolo como un desafío de modelado de lenguaje convencional. Gracias a esto, ReALM logra mejoras significativas en comparación con los enfoques actuales.

"La capacidad de entender el contexto, incluidas las referencias, es fundamental para un asistente conversacional", afirmaron los investigadores de Apple. "Permitir al usuario hacer consultas sobre lo que ve en su pantalla es un paso crucial para asegurar una verdadera experiencia manos libres con los asistentes de voz".

Mejorando los asistentes conversacionales

Para abordar las referencias basadas en la pantalla, ReALM introduce una innovación clave al reconstruir la pantalla a través del análisis de entidades visuales en ella y sus ubicaciones, generando una representación textual que captura su diseño visual. Los investigadores demostraron que este enfoque, combinado con el ajuste preciso de modelos de lenguaje específicos para la resolución de referencias, pudo superar a GPT-4 en esta tarea.

Evento VB

La gira de impacto de la IA – Atlanta

Continuando con nuestro recorrido, nos dirigimos a Atlanta para la parada del AI Impact Tour el 10 de abril. Este evento exclusivo de acceso solo por invitación, en asociación con Microsoft, debatirá sobre cómo la IA generativa está transformando la fuerza laboral de seguridad. El espacio es limitado, por lo que solicite una invitación hoy.

 

Solicitar una invitación

El sistema de inteligencia artificial ReALM de Apple puede interpretar referencias a entidades en pantalla, como la lista "Venta de muestra de 260″ mostrada en este ejemplo, lo que facilita interacciones más naturales con los asistentes de voz. (Crédito de la imagen: arxiv.org)

"Hemos logrado mejoras significativas en un sistema existente con funcionalidad similar en varios tipos de referencias, y nuestro modelo más pequeño ha mejorado en más del 5% en las referencias en pantalla", indicaron los investigadores. "Nuestros modelos más grandes superan ampliamente a GPT-4″.

Aplicaciones prácticas y limitaciones

Este trabajo resalta el potencial de los modelos de lenguaje enfocados en manejar tareas como la resolución de referencias en sistemas de producción, donde la utilización de modelos masivos en todos los ámbitos es inviable debido a la latencia o a restricciones informáticas. Al dar a conocer esta investigación, Apple está reafirmando sus continuas inversiones para que Siri y otros productos sean más pertinentes y estén más contextualizados.

No obstante, los investigadores advierten que depender exclusivamente del análisis automatizado de pantallas tiene limitaciones. Manejar referencias visuales más complejas, como distinguir entre varias imágenes, probablemente requeriría la incorporación de visión por computadora y técnicas multimodales.

Apple acelera para cerrar la brecha en IA mientras sus competidores se disparan

Apple está avanzando discretamente en la investigación de inteligencia artificial a pesar de quedarse rezagada respecto a sus competidores tecnológicos en la carrera por dominar el cambiante escenario de la IA.

De

Descubrimientos en modelos multimodales que integran visión y lenguaje. Avances en Herramientas de animación basadas en IA y técnicas para crear IA especializada de alto rendimiento a bajo coste. El constante progreso en los laboratorios de investigación de la compañía indica un crecimiento acelerado en sus aspiraciones en el campo de la IA.

Sin embargo, la empresa, conocida por su cultura de secretismo, se encuentra con una fuerte competencia de compañías como Google, Microsoft, Amazon y OpenAI, que han impulsado agresivamente la IA generativa en búsquedas, software de oficina, servicios en la nube, entre otros.

Apple, que solía seguir rápidamente en lugar de liderar, se enfrenta ahora a un mercado en rápida transformación impulsado por la inteligencia artificial. Durante su próxima Conferencia Mundial de Desarrolladores en junio, se anticipa que la compañía presentará un nuevo marco de modelo de lenguaje grande, un "GPT de Apple" chatbot y otras funciones potenciadas por IA en todo su ecosistema.

"Estamos ansiosos por compartir detalles sobre nuestro trabajo actual en IA a finales de este año", señaló el director ejecutivo, Tim Cook en una reciente conferencia de ganancias. A pesar de su tradicional hermetismo, queda claro que los esfuerzos de Apple en el campo de la IA abarcan un amplio espectro.

Sin embargo, en medio de la intensificación de la batalla por el liderazgo en IA, la tardanza de Apple en sumarse a la fiesta lo ha colocado en una posición inusualmente vulnerable. Aunque cuenta con abundantes recursos, lealtad de clientes, una fuerza laboral de élite y una gama de productos altamente integrada, no hay garantías en esta competencia de alto riesgo.

Se vislumbra una nueva era de computación ubicua y genuinamente inteligente en el horizonte. Al llegar junio, veremos si Apple ha tomado las medidas necesarias para asegurar su participación en esta evolución.

Gelipsis Diariamente

¿Nos apoyarás hoy?

Creemos que todos merecen entender el mundo en el que viven. Este conocimiento ayuda a crear mejores ciudadanos, vecinos, amigos y custodios de nuestro planeta. Producir periodismo explicativo y profundamente investigado requiere recursos. Puedes apoyar esta misión haciendo una donación económica a Gelipsis hoy. ¿Te sumarás a nosotros?

Suscríbete para recibir nuestro boletín:

Recent Articles

Related Stories

DEJA UN COMENTARIO

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí