?

Log in

No account? Create an account

Previous Entry Share Next Entry
Революция кликера (22) Дрессируются через 50 тыс. попыток!
П
metanymous wrote in metapractice
http://metapractice.livejournal.com/490655.html

Оригинал взят у ailev в Роботов теперь не программируют, а дрессируют
Сегодня прочёл почти двухчасовой доклад на тему дрессировки роботов: http://incose-ru.livejournal.com/53902.html (там видео и слайды). На одном из слайдов намеренно привёл "теорию вопроса": книжку Карен Прайор про дрессировку собак. Ибо с роботом сегодня поступают ровно так же: его уже не программируют на выполнение сложных функций, а дают поиграться с окружающим миром, награждая за правильное поведение. Результат -- воспитанный, хорошо выдрессированный робот.


Мы ещё год назад активно обсуждали киберфизические системы, сложности их программирования, сложность представления модели окружающего мира в таких системах. А выяснилось, что роботов учат ездить на велосипеде ровно так же, как медведей: не запихивая в их убогие мозги разнообразные дифуры, а методом кнута и пряника. Медведь не знает дифуров, но едет. Робот тоже не знает дифуров, но после некоторой практики с кнутом и пряником тоже едет. Много рефлексов, мало реконструкции сложной модели окружающего мира на формальном онтологическом или ещё каком языке.

Например, как научить робота двухпальцевым захватом правильно брать игрушки неправильной формы? Как научить его определять место "оптимального захвата" для игрушек произвольной формы -- от водяных пистолетиков до мячиков, от ёлочек до кукол? Программировать такое слишком долго и трудно. Но можно заставить робота хватать уж как придётся, и поощрять за каждую не выскользнувшую из захвата игрушку. Через примерно 50тыс. попыток (сегодняшние роботы тупы, они медленно учатся) наслаждаться тем, что игрушки прекратили выскальзывать! Конечно, это 700 часов дрессировки. Но это не 700 часов труда программиста (и ещё непонятно, сможет ли программист решить такую задачу. Я вот не уверен, что сможет. Точнее, уверен, что не сможет -- ни за 700 часов, ни за 7тыс. часов).

Забавно, что visuomotor learning (зрительно-двигательное обучение) приходится сегодня для инженеров специально переводить. Ибо слово visuomotor было из языка нейрофизиологов, не робототехников. А сейчас статей про visuomotor learning для роботов -- толстый ручеёк. А вслед за статьями текут инвесторские деньги. Посмотрите слайды, там про всё это достаточное количество ссылок. И послушайте видео, я там "на пальцах" всё это разъясняю. Бонус-трек для специалистов -- пятнадцать минут дискуссии в конце заседания про перспективы симбиоза распределённых и символьных представлений.

Вот тут я ещё немного про дрессировку роботов писал (как про это пишет Karphathy): http://ailev.livejournal.com/1228496.html -- только там научно-фантастический рассказ, а тут у меня примеры из реальной жизни.



У дрессировщиков роботов не из того места руки растут

Что-то здесь не так.

Если штуковина не учится на сотне попыток, то она вообще не способна к обучению. Но, с 50 000 она всё же обучается.

Тогда это значит только одно. Применяется совершенно кривая методика оперантного формирования.

Почему именно 100? Суть такого обучения ведь в выработке шаблона. Все зависит скорее всего от определенного коэффициента на сколько программа уверена что обнаружила шаблон, может его распознавать и действовать адекватно. Скорее всего количество попыток требуется для достижения определенного параметра уточнения, в 99.9% или допустим 95% и т.д.

Обучение через ж.

Большое количество проб указывает, что обучение не захватывает ключевых паттернов. Это случай, про который в народе говорят: обучение через ж.



Edited at 2015-12-16 03:08 pm (UTC)



Edited at 2015-12-16 03:12 pm (UTC)

"сognitive processing."

Где прячется «intelligence»? А вот так просто: в квадратике: "сognitive processing".

Т.е. всё что связано со способностью дрессироваться - за это отвечает "сognitive processing".




Edited at 2015-12-16 03:27 pm (UTC)



Edited at 2015-12-16 03:30 pm (UTC)