?

Log in

No account? Create an account

Previous Entry Share Next Entry
Революция кликера (22) Дрессируются через 50 тыс. попыток!
П
metanymous wrote in metapractice
http://metapractice.livejournal.com/490655.html

Оригинал взят у ailev в Роботов теперь не программируют, а дрессируют
Сегодня прочёл почти двухчасовой доклад на тему дрессировки роботов: http://incose-ru.livejournal.com/53902.html (там видео и слайды). На одном из слайдов намеренно привёл "теорию вопроса": книжку Карен Прайор про дрессировку собак. Ибо с роботом сегодня поступают ровно так же: его уже не программируют на выполнение сложных функций, а дают поиграться с окружающим миром, награждая за правильное поведение. Результат -- воспитанный, хорошо выдрессированный робот.


Мы ещё год назад активно обсуждали киберфизические системы, сложности их программирования, сложность представления модели окружающего мира в таких системах. А выяснилось, что роботов учат ездить на велосипеде ровно так же, как медведей: не запихивая в их убогие мозги разнообразные дифуры, а методом кнута и пряника. Медведь не знает дифуров, но едет. Робот тоже не знает дифуров, но после некоторой практики с кнутом и пряником тоже едет. Много рефлексов, мало реконструкции сложной модели окружающего мира на формальном онтологическом или ещё каком языке.

Например, как научить робота двухпальцевым захватом правильно брать игрушки неправильной формы? Как научить его определять место "оптимального захвата" для игрушек произвольной формы -- от водяных пистолетиков до мячиков, от ёлочек до кукол? Программировать такое слишком долго и трудно. Но можно заставить робота хватать уж как придётся, и поощрять за каждую не выскользнувшую из захвата игрушку. Через примерно 50тыс. попыток (сегодняшние роботы тупы, они медленно учатся) наслаждаться тем, что игрушки прекратили выскальзывать! Конечно, это 700 часов дрессировки. Но это не 700 часов труда программиста (и ещё непонятно, сможет ли программист решить такую задачу. Я вот не уверен, что сможет. Точнее, уверен, что не сможет -- ни за 700 часов, ни за 7тыс. часов).

Забавно, что visuomotor learning (зрительно-двигательное обучение) приходится сегодня для инженеров специально переводить. Ибо слово visuomotor было из языка нейрофизиологов, не робототехников. А сейчас статей про visuomotor learning для роботов -- толстый ручеёк. А вслед за статьями текут инвесторские деньги. Посмотрите слайды, там про всё это достаточное количество ссылок. И послушайте видео, я там "на пальцах" всё это разъясняю. Бонус-трек для специалистов -- пятнадцать минут дискуссии в конце заседания про перспективы симбиоза распределённых и символьных представлений.

Вот тут я ещё немного про дрессировку роботов писал (как про это пишет Karphathy): http://ailev.livejournal.com/1228496.html -- только там научно-фантастический рассказ, а тут у меня примеры из реальной жизни.




  • 1

Re: ОФ и иммунитет

«Ader, R. & Cohen, N. Psychosomatic Medicine 1975; 37: 333–340.»

в книге ссылаются на этот источник.

Re: ОФ и иммунитет

Буду благодарна за ссылку на полный текст на английском.

Re: Глянь это оно?

Спасибо. Не совсем.
Это исходная статья про мышей, у которых вызывали выработку антител на эритроциты барана.
Соответственно им давали:
1)воду с сахарином и через 30 мин инъекцию циклофосфана, или
2) воду и через 30 мин инъекцию циклофосфана, или
3) воду и через 30 мин инъекцию воды.

Потом вводили эритроциты барана и повторяли разные инъекции, формировали разные подгруппы.

Вывод: вода с сахарином может вызывать подавление образования антител наподобие циклофосфана, если провести т.н. кондиционирование.

Что не совсем так. Так как кондиционирование включало инъекцию циклофосфана.

Появился еще вопрос. Т.н. кондиционирование проводили всего один раз. Достаточно ли это для выработки условного рефлекса?



Edited at 2016-10-25 08:16 pm (UTC)

Re: Глянь это оно?

Т.н. кондиционирование проводили всего один раз. Достаточно ли это для выработки условного рефлекса?

У человека достаточно. Рефлексы второй сигнальной системы формируются, иногда, с полпинка.

У животных, если стимул типа аллергический, или фобический, - аналогично.


  • 1