Наблюдая за собственными движениями, роботы могут научиться преодолевать неловкости своего тела, что может сделать их более приспособленными для самых разных применений.
Наблюдая за своими движениями с помощью камеры, роботы могут обучаться структуре своих тел и тому, как они двигаются, как показывает новое исследование ученых из Columbia Engineering . Вооруженные этими знаниями, роботы могли бы не только планировать свои собственные действия, но и преодолевать неточности в движениях своих тел и даже повреждения.
«Подобно тому, как люди учатся танцевать, наблюдая за своим зеркальным отражением, роботы теперь используют необработанное видео для создания кинематического самосознания», — говорит ведущий автор исследования Юйхан Ху , докторант Лаборатории креативных машин Колумбийского университета под руководством Хода Липсона , профессора инноваций Джеймса и Салли Скапы и заведующего кафедрой машиностроения .
«Наша цель — робот, который понимает собственное тело, адаптируется к изменениям и повреждениям и обучается новым навыкам без постоянного человеческого программирования».
Большинство роботов сначала учатся двигаться в симуляциях. Как только робот может двигаться в этих виртуальных средах, его выпускают в физический мир, где он может продолжать обучение.
«Чем лучше и реалистичнее симулятор, тем легче роботу совершить прыжок из симуляции в реальность», — объясняет Липсон.
Однако создание хорошего симулятора — это трудоемкий процесс, обычно требующий квалифицированных инженеров. Исследователи научили робота создавать симулятор самого себя, просто наблюдая за собственным движением через камеру. «Эта способность не только экономит инженерные усилия, но и позволяет симуляции продолжаться и развиваться вместе с роботом по мере того, как он подвергается износу, повреждению и адаптации», — говорит Липсон.
Обучение роботов созданию симуляций самих себя
В новом исследовании ученые разработали способ, с помощью которого роботы могут автономно моделировать свои собственные 3D-формы с помощью одной обычной 2D-камеры. Этот прорыв был достигнут благодаря трем системам искусственного интеллекта, имитирующим работу мозга, известным как глубокие нейронные сети. Они вывели 3D-движение из 2D-видео, что позволило роботу понять и адаптироваться к собственным движениям. Новая система также могла определять изменения в телах роботов, такие как изгиб руки, и помогать им корректировать свои движения для восстановления после этого имитируемого повреждения.
Такая адаптивность может оказаться полезной в различных реальных приложениях.
Например, «представьте себе робота-пылесоса или личного помощника-робота, который замечает, что его рука согнута после столкновения с мебелью», — говорит Ху. «Вместо того, чтобы ломаться или нуждаться в ремонте, он следит за собой, корректирует свои движения и продолжает работать. Это может сделать домашних роботов более надежными — не требуется постоянного перепрограммирования».
Другой сценарий может включать в себя сбой в работе руки робота на автомобильном заводе.
«Вместо того, чтобы останавливать производство, он мог бы следить за собой, корректировать свои движения и возвращаться к сварке, сокращая время простоя и затраты», — говорит Ху. «Эта адаптивность могла бы сделать производство более устойчивым».
Поскольку мы передаем роботам все более важные функции, от производства до медицинской помощи, нам нужно, чтобы эти роботы были более устойчивыми.
«Мы, люди, не можем позволить себе постоянно нянчиться с этими роботами, ремонтировать сломанные детали и регулировать производительность. Роботам нужно научиться заботиться о себе, если они собираются стать по-настоящему полезными», — говорит Липсон. «Вот почему самомоделирование так важно».
Способность, продемонстрированная в этом исследовании, является последней в серии проектов, которые команда Колумбийского университета реализовала за последние два десятилетия, в рамках которых роботы учатся лучше моделировать себя с помощью камер и других датчиков.
В 2006 году роботы исследовательской группы смогли использовать наблюдения, чтобы создавать только простые симуляции себя, похожие на палочные фигурки. Около десяти лет назад роботы начали создавать более точные модели, используя несколько камер. В этом исследовании робот смог создать полную кинематическую модель себя, используя всего лишь короткий видеоклип с одной обычной камеры, сродни взгляду в зеркало. Исследователи называют эту новую способность «кинематическим самосознанием».
«Мы, люди, интуитивно осознаем свое тело; мы можем представить себя в будущем и визуализировать последствия наших действий задолго до того, как мы выполним эти действия в реальности», — объясняет Липсон. «В конечном счете, мы хотели бы наделить роботов аналогичной способностью представлять себя, потому что как только вы сможете представить себя в будущем, предела вашим возможностям не будет».
Исследователи подробно описали свои выводы 25 февраля 2025 года в журнале Nature Machine Intelligence .