World Action Agent (WAA) là khung đa tác nhân cho phép VLM điều khiển robot trực tiếp trong không gian làm việc thị giác, thông qua các tính năng như chế độ xem tiếp xúc, diễn tập hành động và hiệu chỉnh trực quan.
Nghiên cứu giới thiệu RoboDawn, một giao diện cho phép mô hình VLM điều khiển robot trong môi trường thực tế thông qua các lệnh rời rạc và cơ chế học trong ngữ cảnh (ICL), giúp thu hẹp khoảng cách giữa thế giới số và vật lý.
Mô hình này cho phép AI chuyển đổi ngôn ngữ tự nhiên thành mã thực thi để kiểm soát trạng thái thế giới, giúp việc tạo video và mô phỏng trở nên chính xác, nhất quán hơn thông qua một engine nhẹ.
GameWAM là mô hình đầu tiên kết hợp dự đoán hình ảnh tương lai và điều khiển bàn phím-chuột trong thời gian thực, giúp AI chơi game hiệu quả hơn bằng cách hiểu sâu sắc động lực học của thế giới trò chơi.