Роботы, которые могут помогать людям в повседневной жизни, становятся все более умными и продвинутыми. Но прежде, чем они смогут работать в реальном мире, им нужно обучиться и протестироваться в специальных симуляторах, которые имитируют разные ситуации и условия.
Большинство таких симуляторов учитывают только то, что роботы видят, а не то, что они слышат. А звуки могут быть очень полезны для роботов, например, чтобы определить местоположение объектов или людей, избежать опасностей или получить голосовые команды.
Исследователи из Стэнфордского университета решили исправить этот недостаток и создали Sonicverse – первый симулятор для обучения роботов, которые могут воспринимать и взаимодействовать со звуками в своем окружении.
Sonicverse моделирует не только визуальные элементы среды, но и звуки, которые робот слышит при исследовании этой среды. Например, в симуляторе можно создать кухню с разными предметами, которые издают характерные звуки. Робот должен научиться распознавать эти звуки и использовать их для выполнения задач.
Одна из таких задач – аудиовизуальная навигация. Робот должен перемещаться по помещению и достигать целевого местоположения без столкновения с препятствиями, используя как зрение, так и слух. Например, робот может получить команду “иди к чайнику” или “найди источник шума”. Для этого ему нужно не только видеть предметы, но и определять направление звуковых сигналов.
Для проверки своего симулятора исследователи использовали его для обучения симулированной версии TurtleBot, робота, созданного Willow Garage. Затем они применили ИИ, обученный в своих симуляциях, к реальному TurtleBot и проверили его способность аудиовизуальной навигации в офисной среде.
“Мы показали, что Sonicverse достаточно реалистичен для того, чтобы перенести обучение из симуляции в реальность, чего не удалось сделать другим аудиовизуальным симуляторам”, – сказал Руохан Гао, один из авторов исследования. “Это значит, что робот, обученный в нашем симуляторе, может успешно выполнять аудиовизуальную навигацию в реальных условиях”.
Результаты тестов, проведенных исследователями, показали, что их симулятор может обучать роботов более эффективно решать реальные задачи, используя как зрение, так и слух. Платформа Sonicverse уже доступна онлайн и может быть полезна другим разработчикам роботов для обучения и тестирования роботов, которые могут воспринимать и взаимодействовать со звуками в своем окружении.