стр. 1
(всего 2)

СОДЕРЖАНИЕ

>>

Российская Академия Наук
Институт проблем управления




Д.А. Новиков


ЗАКОНОМЕРНОСТИ
ИТЕРАТИВНОГО НАУЧЕНИЯ




Москва – 1998
УДК 15 + 519.7
Н 73


Новиков Д.А. Закономерности итеративного научения. М.:
Институт проблем управления РАН, 1998. – 77 с.



Рецензенты:
Новиков А.М. – доктор педагогических наук, профессор,
действительный член
Российской Академии Образования;
Барабанов И.Н. – кандидат физико-математических наук.



Предлагаемая работа доктора технических наук
Д.А. Новикова посвящена изучению общих для систем живой и
неживой природы – человек, группа людей, животные, искусст-
венные системы – количественных закономерностей итеративно-
го научения (понимаемого как многократное повторение обучае-
мой системой действий, проб, попыток и т.д. для достижения
фиксированной цели при постоянных внешних условиях). Основным
методом исследования является математическое моделирование.
Работа ориентирована на специалистов по педагогике, пси-
хологии и физиологии человека и животных, теории управления, а
также студентов и аспирантов соответствующих специально-
стей.



Утверждено к печати Редакционным советом Института




© Д.А. Новиков, 1998
2
СОДЕРЖАНИЕ

Введение ........................................................................................................... 4
1. Моделирование итеративного научения: задачи и проблемы ................. 5
2. Кривые научения: количественное описание и качественный анализ.. 16
3. Классификация моделей итеративного научения человека, животных и
искусственных систем ................................................................................... 24
4. Описательные модели: аксиоматика и интуиция.................................... 27
5. Модели – аналогии физических явлений и технических систем........... 32
6. Теоретико-информационные модели ....................................................... 37
7. Модели – аналогии кибернетических систем.......................................... 48
8. Модели коллективного поведения ........................................................... 54
9. Некоторые обобщения............................................................................... 63
Заключение..................................................................................................... 69
Литература...................................................................................................... 71




3
Введение

Итеративное научение, как обучение в строго повторяющихся
условиях – одна из простейших разновидностей научения, имеет
место в широком классе явлений: формирование разнообразных
навыков, усвоение информации человеком, научение животных
(выработка условных рефлексов) и обучение технических и кибер-
нетических систем. Различные аспекты итеративного научения
исследуются в педагогике, психологии и физиологии человека и
животных, в теории управления и в других науках.
Настоящая работа посвящена описанию математических мо-
делей итеративного научения и преследует следующие цели:
во-первых, дать достаточно полный, хотя конечно и не исчер-
пывающий, аналитический обзор существующих на сегодняшний
день моделей итеративного научения, предложенных разными
авторами в разные годы (ниже рассматриваются более тридцати
таких моделей), в том числе – автором настоящей работы.
во-вторых, на основании анализа описываемых моделей попы-
таться выявить и объяснить важнейшие общие закономерности и
механизмы итеративного научения, а также определить возможно-
сти математического моделирования как метода исследования
итеративного научения.




4
1. Моделирование итеративного научения: задачи и проблемы

Настоящая работа посвящена описанию и исследованию ма-
тематических моделей итеративного научения, поэтому прежде
всего необходимо определить, что понимается под "моделью" и
"итеративным научением".
Термин "модель" мы будем использовать в самом широком
его понимании как "аналог определенного фрагмента природной
или социальной реальности, ... заместитель оригинала в познании и
практике", математическая (абстрактная) модель – "интерпретация
систем логико-математических положений" (ФЭС, М.: Советская
энциклопедия, 1983. с. 382).
Научение в общем случае – "процесс и результат приобрете-
ния индивидуального опыта" (Краткий психологический словарь,
М.: ИПЛ, 1985. с. 201).
Мы будем подробно рассматривать лишь один из видов нау-
чения, а именно итеративное научение (iterative от лат. iterativus –
повторяемый) – многократное повторение обучаемой системой
(живой или неживой – технической или кибернетической) дейст-
вий, проб, попыток и т.д. для достижения фиксированной цели при
постоянных внешних условиях. Итеративное научение (ИН) лежит
в основе формирования навыков у человека, условных рефлексов у
животных, обучения многих технических (материализованных) и
кибернетических (абстрактно-логических) систем и является пред-
метом исследования педагогической и инженерной психологии,
психофизиологии, педагогики, теории управления и т.д. ИН отно-
сится к сравнительно несложным видам научения и его исследова-
ние расширяет представления о механизмах учения в целом.
Постоянство внешних условий позволяет проводить количест-
венное описание ИН в виде графиков – кривых научения (КН),
представляющих собой зависимость критерия уровня научения от
времени или от числа повторений (итераций).
Многочисленные экспериментальные данные свидетельству-
ют, что важнейшей общей закономерностью итеративного науче-
ния в живых системах (человек, группы людей, животные) и нежи-
вых системах (системы распознавания образов, вероятностные
автоматы с переменной структурой, нейронные сети и др.) являет-
ся замедленно-асимптотический характер кривых научения: они
5
монотонны, скорость изменения критерия уровня научения со
временем уменьшается, а сама кривая асимптотически стремится к
некоторому пределу. В большинстве случаев кривые итеративного
научения аппроксимируются экспоненциальными кривыми (см.
более подробно раздел 2 настоящей работы).
Нас будет интересовать, в основном, следующий вопрос – чем
обусловлена общая для итеративно научаемых систем самой раз-
личной природы закономерность, заключающаяся в замедленно-
асимптотическом характере КН?
Существуют различные подходы к получению ответа на этот
вопрос: изучение экспериментальных данных (феноменологиче-
ское описание); анализ психофизиологических или технических
характеристик обучаемых систем, их структуры, принципов взаи-
модействия составляющих их элементов; создание и исследование
математических, имитационных и др. моделей ИН и т.д. Мы попы-
таемся рассмотреть общие закономерности ИН посредством иссле-
дования его моделей.
Таким образом, объектом исследования в настоящей работе
выступает итеративное научение, а предметом исследования - его
общие для систем живой и неживой природы количественные
закономерности, причем основным методом исследования является
математическое моделирование. Целью работы является теорети-
ческое обоснование и объяснение общих закономерностей ИН и,
соответственно, задачами – анализ известных и построение ряда
новых математических моделей итеративного научения; установ-
ление адекватности моделей реальным системам; рассмотрение
возможности объяснения известных и предсказания новых свойств
итеративно научаемых систем и процесса ИН посредством моде-
лирования.
Различают два метода построения моделей вообще и, соответ-
ственно, они могут использоваться для построения моделей итера-
тивного научения – прямой и обратный.
При использовании прямого метода делаются те или иные
предположения о функциях, составе и структуре обучаемой систе-
мы и механизмах взаимодействия составляющих ее элементов.
Далее, на основании введенных предположений и "заложенных" в
модель закономерностей, исследуется поведение модели и прово-
дится анализ соответствия поведения модели и моделируемой
6
системы. Объяснительные и прогностические свойства модели
определяются общностью использованных при ее создании гипо-
тез. Понятно, что, несмотря на одинаковость поведения модели и
моделируемой системы, законы взаимодействия их элементов, да и
их структуры, могут не иметь ничего общего. Тем не менее, если
оправдывается гипотеза о том, что модель "устроена" так же, как и
обучаемая система, то анализ модели позволяет переносить ряд
результатов и рекомендаций по организации ее более целесообраз-
ного функционирования на саму моделируемую систему. Напри-
мер, иногда рекомендации по возможностям повышения эффек-
тивности научения в рамках той или иной модели могут быть
использованы для выбора оптимальной организации реального
учебного процесса (сокращение времени, затрачиваемого на обу-
чение, сокращение затрат, увеличение продуктивности действий
обучаемой системы и т.д.).
Второй, обратный метод построения моделей заключается в
поиске тех исходных предположений и допущений, которые при-
водят к требуемым свойствам модели [2, 3]. Например, если из-
вестна траектория движения некоторой системы и ее структура, то
иногда, в соответствии с обратным методом, можно найти класс
законов взаимодействия элементов системы между собой и с ок-
ружающей средой, приводящих к наблюдаемому поведению. При
этом "внутреннее устройство" модели может сильно отличаться от
"устройства" моделируемой системы. Например, если различные
предположения о законах взаимодействия приводят к одному и
тому же результату, то, не имея дополнительной информации,
невозможно однозначно сказать, какие из эквивалентных моделей
соответствуют реальной системе.
Разделение на прямой и обратный методы построения моделей
достаточно условно – большинство известных на сегодняшний
день моделей ИН используют в той или иной мере оба этих подхо-
да. Процесс построения модели (математической, имитационной и
т.д.) носит, как правило, итеративный характер. Сначала исследо-
ватель делает предположения о структуре модели и законах взаи-
модействия элементов, согласованные с имеющейся информацией
о моделируемой системе (использование прямого метода). Затем
поведение модели сравнивается с поведением оригинала и на
основании этого сравнения вносятся изменения в принятые гипо-
7
тезы и предположения, "минимизируются" допущения (использо-
вание обратного метода), после чего опять исследуется поведение
модели и т.д. Условно можно считать, что успешное применение
прямого метода приводит к нахождению достаточных условий (той
или иной степени общности) адекватности. Целью же обратного
метода является поиск необходимых условий адекватности. По-
этому следует признать, что обратный метод является более конст-
руктивным, так как построенная с его использованием модель
позволяет сделать более обоснованные выводы о внутреннем
устройстве, механизмах и процессах в реальных моделируемых
системах. В то же время, понятно, что при этом исследователь,
несомненно, сталкивается с большими трудностями.
Из вышесказанного следует, что можно построить множество
прямых моделей одной и той же реальной системы или процесса.
Однако очень редко удается создать модель, адекватную оригина-
лу не только по поведению, но и по структуре, механизмам функ-
ционирования и т.д. Те редкие случаи, в которых структура и
свойства модели могут быть однозначно (с необходимостью)
выведены и идентифицированы по информации о моделируемой
системе, следует признать удачными исключениями из общей
закономерности. При моделировании большинства сложных (осо-
бенно биологических и социально-экономических) систем, в том
числе – при моделировании итеративного научения, речь следует
вести о гармоническом сочетании прямого и обратного методов.
Приведем одно из существующих на сегодняшний день мне-
ний о возможности создания общей модели итеративного научения
(E. Guthrie): "В течение многих лет исследователи вдохновлялись
надеждой открытия кривой научения. Существует общее соглаше-
ние, что кривая изменяется более быстро после начала упражне-
ния, по мере продолжения упражнения эта скорость постепенно
уменьшается, пока не достигается физиологический предел, по-
ставленный природой обучаемого... . Конечно, не существует
идеальной стандартной кривой научения или кривой забывания.
Все зависит от предыдущего опыта отработки компонент действий
и уже сформированных навыков... . Другими словами, не сущест-
вует общей кривой научения." [102, с. 179].
Приведенное выше мнение E. Guthrie является, пожалуй,
слишком пессимистичным. Все зависит от того, что понимать под
8
"общностью" модели. Если "общая" – это универсальная модель,
объясняющая и обобщающая все известные модели и априори
способная объяснить все возможные, еще неизвестные сегодня,
эффекты, наблюдаемые при итеративном научении, и адекватная
при любом уровне детализации рассмотрения произвольной сис-
темы, то, пожалуй, возможность создания такой модели сегодня
кажется проблематичной.
В настоящее время известно большое число исследований,
объясняющих при тех или иных предположениях и допущениях
закономерности ИН для конкретных систем (интересно отметить,
что в течение нескольких последних десятилетий наблюдается
спад интенсивности исследований общих моделей итеративного
научения; поэтому неудивительно, что большинство работ, приве-
денных ниже в списке литературы, относятся к 60-70-мгодам –
периоду бурного развития кибернетики). Однако, с нашей точки
зрения, большинство из существующих моделей не обладает дос-
таточной общностью. Поэтому имеет смысл вести речь о создании
максимально более общей модели ИН (или комплекса таких моде-
лей), с использованием минимальных предположений и допуще-
ний о структуре обучаемой системы, свойствах составляющих ее
элементов и характере их взаимодействия, а также о выделении тех
общих предположений, гипотез и т.д., которые используются в
известных и должны быть использованы в любых математических
моделях ИН.
Интересующие нас системы живой природы являются боль-
шими и сложными, как с точки зрения числа составляющих их
элементов, так и с точки зрения многообразия связей между ними
[19, 28, 29, 45]. В технических системах и моделях живых систем
исследователь может искусственно ограничивать сложность, делая
систему поддающейся анализу. Например, на настоящий момент
могут быть приближенно описаны свойства лишь отдельных эле-
ментов этих живых систем – нейронов, синергий и т.д., с той или
иной степенью детализации измерены их характеристики и описа-
ны связи между ними. Однако, как это ни печально, до сих пор не
получен достаточно полный ответ на вопрос: как функционирует
мозг, и как свойства отдельных нейронов приводят к тем свойст-
вам их групп, отдельных подсистем и мозга в целом, которые мы
наблюдаем.
9
Ограниченность современного научного знания в понимании
механизмов функционирования биологических и социальных
систем еще более усложняет задачу моделирования итеративного
научения – если мы не имеем четкого представления о свойствах
реальной системы, то неясно, что понимать под адекватностью
модели и системы на уровне "внутреннего устройства". Наверное
поэтому большинство моделей ИН носит феноменологический
характер, описывая агрегированную динамику результативных
характеристик научения, но не "заглядывая внутрь" моделируемой
системы.
Попытаемся сформулировать, в общем виде, какого рода вы-
вод мы хотели бы получить в настоящей работе. Вряд ли можно
надеяться, что для итеративно научаемых систем удастся (когда-
нибудь) получить универсальный закон на уровне основных зако-
нов природы или доказать соответствующий общий формальный
результат, так как для этого необходимо ввести систему аксиом –
постулатов, очевидность которых может оказаться (и оказывается
в существующих моделях) далеко небесспорной. Следовательно,
желательно сформулировать и обосновать закономерность, кото-
рая, во-первых, объясняла бы экспериментально наблюдаемое
поведение итеративно научаемых систем, и, во-вторых, обладала
бы по возможности максимальной общностью (т.е. была бы при-
менима для максимально широкого класса научаемых систем и
требовала бы введения минимальных предположений и допуще-
ний).
Отметим, что большинство известных и используемых прин-
ципов и законов функционирования биосистем носит именно
характер закономерностей или гипотез. Для иллюстрации этого
утверждения, не претендуя на полноту описания, перечислим
кратко некоторые известные принципы функционирования биоло-
гических систем.
1. Принцип наименьшего действия. Когда в природе проис-
ходит некоторое изменение, количество действия, необходимое
для этого изменения, является наименьшим возможным [9, 30].
2. Закон устойчивого неравновесия (Э.С. Бауэр). Все живые
и только живые системы никогда не бывают в равновесии и испол-
няют за счет свободной энергии постоянную работу против равно-


10
весия, требуемого законами физики и химии при соответствующих
внешних условиях [9].
3. Принцип наипростейшей конструкции (Н. Рашевский).
Та конкретная структура или конструкция живой системы, кото-
рую мы действительно находим в природе, является простейшей из
возможных структур или конструкций, способных выполнять
данную функцию или структуру функций [9].
4. Принцип обратной связи [28 и др.] (см. также принцип
функциональной системы П.К. Анохина [8]). Здесь же уместно
упомянуть принцип опережающего отражения действительности –
сложная адаптивная система реагирует не на внешнее воздействие
в целом, а по "первому звену много раз повторявшегося последо-
вательного ряда внешних воздействий". Необходимым условием
такого опережающего отражения является последовательность и
повторяемость внешних явлений (в случае итеративного научения
– постоянство внешних условий и целей научения) [6, 8, 55].
5. Принцип наименьшего взаимодействия (И.М. Гельфанд,
М.Л. Цетлин). Нервные центры стремятся достичь такой ситуации,
при которой афферентация (от латинского afferentis – приносящий,
то есть информационные и управляющие потоки и сигналы, пере-
даваемые в центральной нервной системе) будет наименьшей. Или,
другими словами, система целесообразно работает в некоторой
внешней среде, если она стремится минимизировать взаимодейст-
вие со средой [32, 84].
6. Принцип вероятностного функционирования мозга
(А.Б. Коган). Каждый из нейронов не имеет самостоятельной
функции, то есть априори не является ответственным за решение
конкретной задачи, распределение которых происходит достаточно
случайным образом [9] (см. также [38]).
7. Принцип иерархической организации, в частности -
обработки информации мозгом (Н.М. Амосов, Н.А.Бернштейн,
Г. Уолтер, У.Р. Эшби). Достижение полной цели равноценно дос-
тижению совокупности подцелей [37, 47, 55]. "... в каждой сложной
системе можно выделить управляющие и рабочие этажи" [5, с. 81].
8. Принцип адекватности (У.Р. Эшби, Ю.Г. Антомонов и
др.). Сложность управляющей системы (динамика ее изменений)
должна быть адекватна сложности (скорости изменения) управ-
ляемых процессов [10]. Иными словами, "пропускная способность"
11
регулятора устанавливает абсолютный предел управления, как бы
не были велики возможности управляемой системы [93].
9. Принцип вероятностного прогнозирования при построе-
нии действий (Н.А. Бернштейн). Мир отражается в форме двух
моделей – модель потребного будущего (вероятностное прогнози-
рование на основе предшествующего накопленного опыта) и мо-
дель свершившегося (однозначно отражает наблюдаемую действи-
тельность) [17, 18, 55]. Такому подходу вполне соответствует
следующее определение обучения: "Обучение системы заключает-
ся в том, что она в соответствии с прежними успехами и неудачами
(опыт) улучшает внутреннюю модель внешнего мира" [91, с. 228].
10. Принцип отбора нужных степеней свободы
(Н.А. Бернштейн). В начале обучения задействуется большее число
степеней свободы обучаемой системы, чем это необходимо для
достижения целей обучения [7, 15, 16, 57]. В процессе обучения
число "участвующих" переменных уменьшается – "отключаются"
несущественные переменные (ср. с явлениями генерализации и
концентрации нервных процессов – И.П. Павлов, А.А. Ухтомский,
П.В. Симонов и др.) [16-18, 57, 93].
11. Принцип необходимости разрушения детерминизма
(Ю.Г. Антомонов и др.). Для достижения качественно нового
состояния и повышения уровня организации системы необходимо
разрушить (перестроить) существующую, сформированную в
предшествующем опыте, детерминированную структуру связей
элементов системы [10].
12. Принцип необходимого разнообразия (У.Р. Эшби). Этот
принцип достаточно близок по смыслу к принципу адекватности:
для решения стоящей перед ней задачи система должна обладать
соответствующим разнообразием (состояний, функций, возможно-
стей и т.д.), то есть система должна быть адекватна задаче в смыс-
ле разнообразия (сложности) [93].
13. Принцип естественного отбора (С.М. Данков). В систе-
мах, ставшими эффективными в результате естественного отбора,
разнообразие механизмов и пропускная способность каналов
передачи информации не будет значительно превышать мини-
мально необходимое для этого значение [12, 81, 94, с. 202].
14. Принцип детерминистского представления
(Ю. Козелецкий и др.). При моделировании принятия решений
12
индивидуумом допускается, что его представления о действитель-
ности не содержат случайных переменных и неопределенных
факторов (последствия принимаемых решений зависят от строго
определенных правил) [47].
15. Принцип дополнительности (несовместимости) (Н. Бор,
Л.А. Заде). Высокая точность описания некоторой системы несо-
вместима с ее большой сложностью. Иногда этот принцип понима-
ется более упрощенно – реальная сложность системы и точность ее
описания при анализе обратно пропорциональны в первом при-
ближении.
16. Принцип монотонности ("не упускать достигнутого"). В
процессах обучения, самоорганизации, адаптации и т.д. система в
среднем не удаляется от уже достигнутого (текущего) положи-
тельного результата (положения равновесия, цели обучения и т.д.)
[80, 93, 94].
На первый взгляд, приведенные принципы функционирования
биосистем можно условно разделить по подходам на естественно-
научные подходы, например – №№ 1, 2, 5, 8, 15, эмпирические
подходы, например – №№ 4, 6, 10, 11, 14, 16, и интуитивные под-
ходы, например – №№ 3, 7, 9, 12, 13. Физические подходы ("зако-
ны") отражают общие закономерности, ограничения и возможно-
сти биосистем, накладываемые законами природы. Эмпирические
принципы как правило, формулируются на основе анализа экспе-
риментальных данных, результатов опытов и наблюдений, и носят
более локальный характер, чем естественнонаучные. Наконец,
интуитивные законы и принципы (которые по идее не должны
противоречить естественнонаучными быть согласованными с
эмпирическими) носят наименее формальный и универсальный
характер, основываясь на интуитивных представлениях и здравом
смысле.
На самом деле, при более детальном рассмотрении видно, что
все приведенные выше "естественнонаучные" принципы являются
скорее эмпирическими и/или интуитивными. Например, принцип
наименьшего действия, являющийся, казалось бы, классическим
физическим законом, формулируется для механических систем
(существуют его аналоги в оптике и других разделах физики). Его
неадаптированное использование при изучении биологических
систем, вообще говоря, не совсем корректно и обоснованно. То
13
есть утверждение, что биосистемы удовлетворяют принципу наи-
меньшего действия – всего лишь гипотеза, вводимая исследовате-
лями и не подкрепленная на сегодняшний день корректными обос-
нованиями.
Таким образом, известные принципы (и законы) функциони-
рования биосистем укладываются в одну из следующих формули-
ровок: закономерность – "если система обладает некоторым (опре-
деленным) внутренним устройством, то она ведет себя
соответствующим (определенным) образом" или: гипотеза – "если
система ведет себя некоторым (определенным) образом, то она,
скорее всего, обладает соответствующим (определенным) внут-
ренним устройством". Добавление – "скорее всего" существенно:
первый тип утверждений устанавливает достаточные условия для
реализации наблюдаемого поведения (см. описание прямого и
обратного методов выше) и может быть частично или полностью
подтвержден экспериментально; утверждения второго типа носят
характер гипотез – "необходимых" условий (в большинстве случа-
ев гипотетических и недоказанных и выполняющих объяснитель-
ную функцию), накладываемых на структуру и свойства системы,
исходя из наблюдаемого ее поведения.
Значит на основании анализа исследуемых в настоящей работе
моделей итеративного научения желательно сформулировать
закономерность вида: "если научаемая система обладает следую-
щими свойствами ... и функционирует в следующих условиях ..., то
кривые научения будут экспоненциальными", и, собственно, объ-
яснение закономерностей ИН – гипотезу вида: "если кривые нау-
чения некоторой итеративно научаемой системы являются экспо-
ненциальными, то, система скорее всего обладает следующими
свойствами ... и функционирует в следующих условиях ...".
Итак, мы видим, что перечисленные выше принципы функ-
ционирования биосистем являются либо эмпирическими, либо
интуитивными. Соответственно, можно выделить два направления
исследований итеративного научения и два способа формулирова-
ния и объяснения его механизмов. Первый способ – анализ экспе-
риментальных данных. Обзор работ по экспериментальным ре-
зультатам изучения ИН (а таких работ – тысячи!) выходит за рамки
настоящего исследования, хотя можно утверждать, что в большин-
стве случаев экспериментальные зависимости аппроксимируются
14
замедленно-асимптотическими кривыми [57, 69, 75 и др.]. Второй
подход – создание и анализ моделей – рассматривается ниже.
Анализ известных моделей, а также синтез и исследование новых
математических моделей ИН, как будет видно из дальнейшего
изложения, позволят обобщить подходы к моделированию итера-
тивного научения и объяснить некоторые закономерности не толь-
ко ИН, но и процессов управления, самоорганизации и адаптации
для весьма широкого класса сложных систем.




15
2. Кривые научения: количественное описание и качествен-
ный анализ

При исследовании любой системы, в том числе – биологиче-
ской, проведении физического эксперимента, исследовании черно-
го ящика и т.д., можно устанавливать причинно-следственные и
количественные связи между входными и выходными переменны-
ми только если изменение выходного сигнала (отклика, реакции
системы, ответного действия и т.д.) вызвано изменением одного из
входных сигналов. Если одновременно изменились две или более
входных переменных, то в общем случае невозможно выделить,
какое влияние оказал каждый из входов на наблюдаемое измене-
ние выходной переменной.
Различают два аспекта научения. Первый аспект – результа-
тивный – при научении система должна достичь требуемого ре-
зультата – качества выполнения действий с приемлемыми затрата-
ми времени, энергии и т.д. Второй аспект – процессуальный:
адаптация, приспособление научаемой системы к некоторому виду
действий в процессе упражнения и т.д. Соответственно, выделяют
результативные характеристики итеративного научения и характе-
ристики адаптации [57]. В настоящей работе речь идет именно о
результативных характеристиках научения (характеристики адап-
тации зачастую имеют совсем другую динамику).
В случае итеративного научения можно считать, что на его ре-
зультативные характеристики влияют две входные переменные –
информация о значении выходной переменной и параметры окру-
жающей среды – внешние условия. Если бы на каком-то шаге
изменились оба значения входных переменных, то результаты
научения на этом шаге и на предыдущем были бы просто несрав-
нимыми – нельзя было бы сказать почему реализовалось именно
такое значение выходной переменной: потому, что обучаемая
система повела себя соответствующим образом, или потому, что
изменились условия ее функционирования. Поэтому постоянство
внешних условий является существенной характеристикой ИН.
Для сравнимости результатов научения в различные моменты
времени (использование количественного описания), даже при
постоянных внешних условиях, важно также постоянство цели
научения.
16
В качестве основной результативной характеристики ИН
обычно принимается критерий уровня научения. При обучении
реальных систем в качестве критерия уровня научения могут вы-
ступать следующие характеристики [56]:
- временные (время выполнения действия, операции, время
реакции, время, затрачиваемое на исправление ошибки, и т.д.);
- скоростные (производительность труда, скорость реакции,
движения и т.д. – величины, обратные времени);
- точностные (величина ошибки в мерах физических величин
(миллиметрах, углах и т.п.), количество ошибок, вероятность
ошибки, вероятность точной реакции, действия и т.д.);
- информационные (объем заучиваемого материала, перераба-
тываемой информации, объем восприятия и т.д.).
Так как ниже рассматриваются в основном модели именно
итеративного научения, то будем для общности изложения назы-
вать интересующую нас результативную характеристику научения
рассогласованием. Действительно, во всех перечисленных выше
случаях мы имеем либо функцию ошибки (рассогласования), либо
характеристику "наученности" системы, которая может быть све-
дена к некоторой функции ошибки. Например, время выполнения
действия может интерпретироваться как рассогласование, если под
последним понимать разность между текущим значением времени
выполнения действия и минимально возможным.
Как отмечалось выше, итеративное научение, как правило, ха-
рактеризуется замедленно-асимптотическими кривыми научения,
аппроксимируемыми экспоненциальными кривыми. В общем виде
экспоненциальная кривая описывается зависимостью
(2.1) x(t) = x? + (x0 – x?) e -? t, t > 0,
или последовательностью
xn = x? + (x0 – x?) e - ? n , n = 0, 1, 2, .. , т,
где t – время научения, n – число итераций (проб, попыток) с мо-
мента начала научения (предполагается, что научение начинается в
нулевой момент времени), x(t) (xn) – значение рассогласования в
момент времени t (на n-ой итерации), x0 – начальное значение
рассогласования (соответствующее моменту начала научения), x? –
"конечное" значение рассогласования (величина, к которой КН
асимптотически стремится; как правило, в биологических системах
эта величина рассматривается как физиологический предел науче-
17
ния), ? – некоторая неотрицательная константа, определяющая
скорость изменения КН и называемая скоростью научения (? имеет
размерность обратную времени или числу итераций). Эскизы
графиков кривых (2.1) приведены на рисунках 2.1.а и 2.1.б.
x(t) x(t)

x? x0




x?
x0 t t

Рис 2.1а. Рис 2.1а.
Возрастающая КН (x? > x0) Убывающая КН (x? < x0)

В зависимости от соотношения начального и конечного значе-
ния рассогласования, выражение (2.1) описывает как возрастаю-
щие, так и убывающие КН – при x? > x0 кривая будет возрастаю-
щей, а при x0 > x? – убывающей. Количественные характеристики
научения (x0, x?, ?) зависят от множества факторов: сложности и
свойств обучаемой системы, внешнего окружения, применяемой
методики обучения и т.д. Нас будет интересовать в основном
качественный вид КН, поэтому в большинстве случаев мы будем
для простоты использовать следующие более частные зависимо-
сти:
(2.2) x(t) = e – ? t
(2.3) x(t) = 1 – e – ? t .
Если речь идет о величине ошибки, то в соответствии с(2.2),
ошибка монотонно убывает. Если же x интерпретируется, напри-
мер, как "уровень наученности", то он, в соответствии с (2.3),
монотонно возрастает. Очевидно, что (2.2) и (2.3) могут быть
получены из общей зависимости (2.1) с помощью линейного пре-
образования:
x( 2.1) ? x ? x 0 ? x( 2.1)
x(2.2) = , x(2.3) = .
x0 ? x? x0 ? x?
18
Поэтому, говоря о кривой научения, мы будем подразумевать
семейство кривых, эквивалентных с точностью до линейного
преобразования. Характеристикой семейства – величиной, одина-
ковой для всех КН из рассматриваемого класса эквивалентности, в
этом случае будет скорость научения. Эскизы графиков зависимо-
стей (2.2) и (2.3) приведены на рисунках 2.2.а и 2.2.б, соответст-
венно.
x(t) x(t)

1 1




t t
0
0
Рис 2.2а
Рис 2.2а
Нормированные кривые итеративного научения.

Следует отметить, что на сегодняшний день известно значи-
тельное количество различных подходов к аппроксимации кривых
научения и экспоненциальные КН вида (2.1) являются хотя и
наиболее распространенными, но не единственными. Не претендуя
на полноту описания, перечислим некоторые известные зависимо-
сти (см. обзоры КН в [46, 56, 59, 69, 75]).
Впервые идея использования в педагогике и психологии ин-
дуктивных рассуждений была выдвинута в 1860 г. Г. Фехнером,
который предлагал, набрав достаточно большое число эксперимен-
тальных данных, аппроксимировать их наиболее подходящей
аналитической функцией. С тех пор и психология, и педагогика
при количественном описании явлений и процессов в большинстве
случаев следуют этому пути [31, 42, 56, 59].
Аппроксимация забывания", предложенная
"кривых
Г. Эббингаузом (1885 г. – по-видимому – первые количественные
описания ИН) основывалась на показательной функции, правда,
достаточно сильно отличающейся от (2.1) [75]. Объяснение этого
отличия достаточно просто – у человека существует "кратковре-
19
менная" и "долговременная" память, характеризуемые различными
временами запоминания и хранения информации [14].
Использование предположения о наличии аналогии между
процессом обучения и мономолекулярной химической реакцией
(см. модель 5.2 ниже) приводит к экспоненциальной зависимости:
x(t) = ? + ? e - ? t, где ?, ? – некоторые константы. По аналогии с
мономолекулярной автокаталитической реакцией или с использо-
ванием аналогий с химическим законом действующих масс [99]:
x(t) = ? e ? t / (? + e ? t).
Thurstone L. на основании обобщения экспериментального ма-
териала Lashley K. (обучение крыс нахождению пути в лабиринте)
предложил аппроксимировать накопленную ошибку (то есть сум-
марную ошибку, начиная с нулевого момента времени или первой
итерации) следующей формулой:
(2.4) x(n) = ? n / (b + n),
где n – число упражнений, ?, ? – некоторые положительные кон-
станты [114].
Предложенное H. Gulliksen в [101] эмпирическое уравнение
КН для накопленных ошибок при предельном переходе (достаточ-
но малой скорости научения и силе подкрепления) переходит в
(2.1), то есть КН приближается экспонентой.
Усредненная КН, полученная Р. Аткинсоном и коллегами [13
и др.] в соответствии с теорией отбора стимулов, близка к показа-
тельной функции.
Следует отметить, что во многих работах указывалось на не-
обходимость исследования усредненных (по испытуемым – их
группе, или по времени) кривых научения, так как индивидуаль-
ные КН имеют, как правило, значительный разброс ("... гладкие КН
– результат процесса усреднения ..." [99, с. 392]) [102, 106].
В работе [73] для описания количественной взаимосвязи фак-
торов подкрепления, неподкрепления и условной реакции в экспе-
риментах по формированию условных рефлексов была предложена
формула вида (2.4) (для зависимости уровня сформированности
условного рефлекса от количества подкреплений условного раз-
дражителя).
Для аппроксимации экспериментальных кривых научения раз-
личными исследователями использовались экспоненциальные
функции, гиперболы, параболы и др. [69]. Различались КН с воз-
20
растающим, убывающим и постоянным приростом [75]. Отклады-
вая обсуждение разнообразия подходов, отметим, что при сравне-
нии тех или иных описаний ИН необходимо, в первую очередь,
обращать внимание на то, является ли это научение итеративным,
какие показатели анализируются в качестве характеристик эффек-
тивности научения и в какой шкале эти показатели измеряются.
Так как итеративное научение является одним из частных слу-
чаев научения, то, помимо экспоненциальных кривых, соответст-
вующих итеративному научению, встречаются КН других типов, в
том числе – логистические КН.
Логистические кривые научения аппроксимируются зависи-
мостью
(2.5) x(t) = x0 x? / (x0+ (x? – x0) e - ? t),
и в зависимости от соотношения начального и конечного значений
рассогласования могут быть как возрастающими, так и убываю-
щими [113]. Эскиз графика нормированной возрастающей логи-
стической кривой приведен на рисунке 2.3.

x(t)

1




t
0
Рис. 2.3. Логистическая КН

При сравнительно сложных видах научения КН может иметь
плато, наличие которого объясняется скрытыми поисками обучае-
мой системой новых путей совершенствования способов выполне-
ния действий, подготовке к переходу на качественно новый способ
овладения деятельностью, к новой стратегии [27, 98, 102]. На
рисунке 2.4. приведен достаточно распространенный тип КН с
промежуточным плато: две последовательные экспоненты соответ-
ствуют отработке двух различных стратегий действий.

21
x(t)

1




t
0
Рис. 2.4. КН с промежуточным плато

Несколько начальных проб может быть потрачено на поиск
наиболее целесообразной тактики поведения, что приводит к нали-
чию начального плато на логистической кривой [57]. В сложных
процессах обучения, в соответствии с [23], можно выделить три
стадии. Первая стадия характеризуется отбором из большого числа
раздражителей "значимых" раздражителей. Эту стадию можно
рассматривать как формирование исходного поля событий. Вторая
стадия характеризуется выработкой правильного поведения, обу-
словливаемого отобранной системой событий (собственно итера-
тивное научение – именно вторая стадия). Третья стадия характе-
ризуется относительно стационарным уровнем обученности.
И, наконец, при использовании дихотомических шкал(когда
произвольно устанавливается какой-то критический уровень
ошибки; если в процессе выполнения действия величина ошибки
меньше критического значения, то действие считается выполнен-
ным правильно) или выборе в качестве критерия уровня научения
обратных для времени, точности выполнения действия и объема
перерабатываемой информации величин, то есть при использова-
нии дивизорного преобразования (скорость реакции, производи-
тельность труда и др. – как величины, обратные времени и т.д.),
могут встречаться логистические кривые. В этом случае их появ-
ление несколько неестественно и может быть устранено выбором
соответствующих шкалы и единиц измерения. Можно показать,
что, строя для экспоненциальной кривой обратную или производя
дискретизацию шкалы, можно получить логистическую КН
[56, 111].
22
Кривые научения, соответствующие нерезультативным харак-
теристикам научения в том числе и итеративного, то есть характе-
ристики адаптации, могут представлять собой комбинации экспо-
ненциальных и логистических КН, ступенеобразные, или любые
другие, в том числе и немонотонные кривые. Такие КН, характери-
зующие внутреннюю структуру действий, в том числе, например,
при формировании разнообразных навыков у человека и живот-
ных, могут наблюдаться в сложных видах научения: при последо-
вательной глубокой перестройке структуры навыка, организации
поэтапной отработки отдельных компонент действий и т.д. [57]. В
дальнейшем мы будем рассматривать кривые научения, соответст-
вующие только результативным характеристикам итеративного
научения.
Закономерность итеративного научения (как наиболее просто-
го вида научения вообще), заключающаяся в замедленно-
асимптотическом виде кривых научения, соответствующих резуль-
тативным характеристикам ИН, свидетельствует о наличии общих
механизмов научения у объектов живой природы – человека, групп
людей, животных и их искусственных аналогов – технических и
кибернетических систем. Не приводя подробных эксперименталь-
ных данных – они содержатся в цитируемой литературе, ниже мы
попытаемся, анализируя математические модели ИН, выяснить,
что же лежит в основе этих общих закономерностей.




23
3. Классификация моделей итеративного научения человека,
животных и искусственных систем

Большинство моделей итеративного научения строится на ос-
нове аналогий с явлениями и процессами, происходящими в тех
или иных системах живой или неживой природы. Поэтому в осно-
вание классификации естественно положить тип процесса или
явления, аналогия с которым используется.
На рисунке 3.1 приведена предлагаемая система классифика-
ций моделей итеративного научения.

Модели ИН


Модели – аналоги
Описательные модели
кибернетических
систем

Модели – аналоги физических
явлений и технических систем

Рис. 3.1. Классификация моделей ИН

В описательных моделях (аксиоматических и интуитивных)
вводятся (постулируются) те или иные предположения о связи
переменных и параметров системы, причем эти предположения и
модель обучаемой системы, как правило, достаточно абстрактны и
не апеллируют к реальным аналогам (в интуитивных моделях они
основываются на интуиции и здравом смысле). Этот класс моделей
рассматривается в разделе 4 настоящей работы.
Раздел 5 посвящен описанию моделей ИН, использующих
аналогии с положениями физических явлений и принципами
функционирования технических систем. Их подкласс – теоретико-
информационные модели – вынесен в отдельный раздел в силу
своей специфики и разнообразия (раздел 6).



24
Модели, использующие аналогии кибернетических систем, –
раздел 7 и модели коллективного поведения – раздел 8, интересны
тем, что это – искусственные, достаточно абстрактные модели,
причем те системы, по аналогии с которыми они строятся, зачас-
тую, в свою очередь являются моделями некоторых реальных
систем (модели – аналогии моделей).
Так как используемые аналогии достаточно разнообразны, мы
попытаемся вести изложение на максимально обобщенном уровне,
конкретизируя значения тех или иных терминов лишь тогда, когда
это будет необходимо для предотвращения неоднозначности по-
нимания. Приведем общую структуру описания математической
модели итеративного научения.
Предположим, что обучаемая система (далее – просто "систе-
ма") состоит из n, в общем случае взаимодействующих, элементов
(n > 1), каждый из которых описывается некоторым скалярным
параметром xi(t), зависящим от времени, который мы будем в
дальнейшем условно называть рассогласованием i-го элемента.
Рассогласование системы x(t) каким-то образом зависит от рассо-
гласований составляющих ее элементов:
x(t) = F(x1(t), x2(t), ..., xn(t)).
Такое описание является общим для большинства моделей,
которые также – предположениями о взаимодействии элементов
(функции F(?)).
Все изложение приводимых ниже моделей строится по сле-
дующей схеме (некоторые из этапов могут быть опущены или
различаются содержательными интерпретациями терминов "сис-
тема", "элемент", "параметр", "рассогласование" и т.д., а объедине-
ны с другими):
- описание модели (О) – язык описания, предметная область,
факторы и переменные;
- гипотеза (Г) – предположения о связи переменных, механиз-
мах взаимодействия и т.д.;
- формальные (логические, алгебраические и др.) преобразо-
вания (Ф);
- вывод (В) (вывод из результатов анализа большинства при-
водимых ниже моделей – "рассогласование описывается зависимо-
стью следующего вида ... ", причем зависимость эта, как правило,
экспоненциальная);
25
- анализ модели (А) – обсуждение гипотезы, предположений,
их обоснованности, исследование факторов, влияющих на скорость
научения, и т.д.
Скорость научения, в общем случае, зависит от всех парамет-
ров модели: числа элементов, связей и законов их взаимодействия.
Знание вида этой зависимости представляется достаточно важным,
так как исследование параметров, определяющих скорость науче-
ния, существенно для поиска путей повышения эффективности
научения и, в первую очередь, самой скорости научения. Действи-
тельно, зная зависимость скорости научения от параметров моде-
ли, можно предложить меры, приводящие к соответствующему
изменению этих параметров, и, следовательно, требуемому изме-
нению (чаще всего увеличению) скорости научения.
Описание моделей, не принадлежащих автору настоящей ра-
боты, сопровождается ссылками на соответствующие источники
(см. список литературы). В таких моделях изложение, за исключе-
нием этапа А – анализ, следует оригиналу – работам авторов моде-
лей.
Следует признать, что в целях унифицированности и простоты
изложения автору пришлось допустить ряд "вольностей", которые
могут вызвать справедливые возражения читателя-математика.
Так, например, иногда идентифицируются разностные и диффе-
ренциальные уравнения и приводятся утверждения о "соответст-
вии" между их решениями. В последнем случае в моделях с дис-
кретным временем под экспоненциальной "кривой" мы будем
понимать последовательность значений критерия уровня научения,
элементы которой составляют геометрическую прогрессию.
Завершение описания каждой модели отмечено значком "•".




26
4. Описательные модели: аксиоматика и интуиция

Под описательными мы будем понимать модели итеративного
научения, в которых явно не проводятся аналогии с принципами
устройства и функционирования тех или иных систем, а экспонен-
циальный вид КН получается в результате введения достаточно
абстрактных и не обосновываемых предположений относительно
законов и правил взаимодействия элементов обучаемой системы (в
аксиоматических моделях иногда постулируется непосредственно,
что кривая научения описывается экспонентой – выражением
(2.1)). В большинстве случаев в описательных моделях вводимые
предположения опираются на интуицию и апеллируют к здравому
смыслу, а выводы из анализа динамики КН зачастую лежат в осно-
ве моделей более высокого уровня [14, 31].

Модель 4.1.
О. Изменение рассогласования системы во времени.
Г(В,Ф). Скорость изменения рассогласования пропорциональ-
на его текущему значению, причем коэффициент пропорциональ-
ности не зависит от времени. То есть
dx(t )
= – ? x(t).
(4.1)
dt
Вывод очевиден – решением этого дифференциального урав-
нения является экспонента – выражение (2.1).
А. Значительная часть аксиоматических моделей так или ина-
че предполагает пропорциональность между изменением рассогла-
сования в единицу времени и его текущим значением. Понятно,
что при постоянном коэффициенте пропорциональности такое
предположение сразу приводит к экспоненциальному виду КН,
причем для увеличения скорости научения необходимо увеличи-
вать величину коэффициента ?, который в дальнейшем в различ-
ных моделях будет интерпретироваться как количество информа-
ции, перерабатываемой обучаемой системой в единицу времени,
пропускная способность канала связи, объективно существующее
ограничение на скорость изменения параметров элементов и т.д.
Аналогичные построения (правда, при несколько более искус-
ственных исходных гипотезах) приведены в [75]. В модели с дис-
кретным временем, если: xn – xn-1 = – ? xn, то
27
xn = (1 – ?)n x0, n = 1, 2, … ,
и скорость научения убывает с ростом ? (? ? (0; 1)). Если же
xn = ? xn – 1, то xn = ? n x0, n = 1, 2, … , и скорость научения возрас-
тает с ростом ? (? ? (0; 1)). •

Модель 4.2. (Р. Буш, Ф. Мостеллер, У. Эстес [23, 43, 99, 106]).
О. Рассогласование – вероятность правильной реакции (на-
пример, в известном эксперименте "крыса в лабиринте") [13, 23, 79
и др.]. Исследуется зависимость рассогласования от числа повто-
рений. Если вероятность правильной реакции равна p (вероятность
неправильной реакции равна, соответственно, (1 – p)), то она мо-
жет увеличиться не более, чем на (1 – p), и стать равной единице, и
уменьшиться не более, чем на p, и стать равной нулю.
Г. На каждом шаге прирост рассогласования пропорционален
возможному приращению, а уменьшение пропорционально воз-
можному уменьшению. Разностное уравнение для вероятности
правильной реакции имеет вид:
(4.2) xn = xn-1 + ?n (1 – xn) – ?n xn-1, n = 1, 2, … ,
где ?n, ?n > 0.
Ф(В). При начальной точке x0 и постоянных коэффициентах ?
(?n = ?), и ? (?n = ?) получаем
n

? (1 ? ? ? ? )
xn = x0 (1 – ? – ?) + ? k
n
.
k =0
Непрерывный "аналог" этого решения имеет вид
x(t) = x? + (x0 – x?) e – (? + ?) t,
где x? = ? / (? + ?).
А. По сравнению с предыдущей моделью, в рассматриваемой
здесь модели введено усложнение – возможность как увеличения,
так и уменьшения рассогласования (ср. (4.1) и(4.2)), хотя, по сути,
рассматриваемая модель является "вероятностной" модификацией
модели 4.1. Постоянство коэффициентов приводит к экспоненци-
альности решения, а скорость научения ? = ? + ?, по-прежнему,
определяется величиной коэффициентов ? и ?.
Статистическим моделям научения посвящено значительное
число работ, особенно зарубежных авторов. В большинстве из них
ИН понимается именно как "... систематическое изменение вероят-

28
ности реакции" [99, с. 395]. Приведем один из наборов требований
к статистическим моделям:
1. "Динамика усредненного показателя научения описывается
кривой, имеющей отрицательное ускорение в своей конечной фазе
и стремящейся к некоторой постоянной асимптоте" (отметим, что в
этом пункте требуется замедленная асимптотичность только в
конечной фазе, то есть допускается, например, наличие начального
плато – Д.Н.).
2. "Гладкая кривая среднего является результатом усреднения
..., а асимптота наблюдаемой КН представляет лишь точку стати-
стического равновесия" [99, c. 397].
Следует отметить, что полученному решению уравнения (4.2)
вполне соответствуют результаты экспериментов со многими
животными (в большинстве случаев – с крысами) [23, 67], людьми
[4, 100 и др.] и вероятностными автоматами [24 и др.].
Экспоненциальный вид КН обусловлен линейностью зависи-
мостей (4.1) и (4.2) и постоянством (стационарностью) коэффици-
ентов ? и ?. В следующей модели эта зависимость берется уже
нелинейной. •

Модель 4.3. (Р. Буш, Ф. Мостеллер и др. [23]).
О. Изменение рассогласования (например, зависимость веро-
ятности правильной реакции от числа повторений) системы во
времени.
Г. На каждом шаге изменение рассогласования пропорцио-
нально текущему значению рассогласования и разности между
некоторым конечным рассогласованием ? и текущим. Динамика
рассогласования удовлетворяет дифференциальному уравнению
Бернулли
dx(t )
= ? x(t) (? – x(t)),
(4.3)
dt
где ? и ? – некоторые константы.
Ф(В). При начальной точке x решением является логистиче-
ская кривая:
x(t) = ? x0 / (x0 + (? – x0) e - ? ? t).
А. Наличие "тормозящего довеска" в (4.3) по сравнению с(4.1)
и (4.2) приводит к тому, что КН получается не экспоненциальной,

29
а логистической – появляется точка перегиба. Скорость научения,
в отличие от предыдущих моделей, зависит не только от коэффи-
циента пропорциональности между скоростью изменения рассо-
гласования и текущим значением рассогласования, но и от величи-
ны конечного рассогласования. •

Модель 4.4. (К. Халл [36, 104, 105]).
О. Классической аксиоматической моделью итеративного
научения является известная система постулатов К. Халла (C. Hull)
для бихевиористской модели S-R-S (основой обучения является
упрочение связей стимул-реакция).
Г(A, В). Закон формирования навыка (IV постулат) гласит,
что, если подкрепления равномерно (равномерность проб – важная
характеристика итеративного научения) следуют одно за другим, а
все остальное (внешние условия и цели обучения) не меняется, то в
результате прочность навыка x(n) будет увеличиваться с ростом
числа испытаний согласно равенству:
xn = 1 – 10 -? n.

А. Отметим, что кривая забывания согласно VIII постулату
также является экспоненциальной кривой [105]. •

Модель 4.5. (Ю.Г. Антомонов [9, 11]).
О. "Обобщенная модель обучения" (например, обучение чело-
века-оператора). Переменной является x – вероятность того, что у
обучаемой системы сформировалась адекватная модель внешней
среды.
Г. Из аналога принципа наименьшего действия (см. также мо-
дели раздела 5 настоящей работы) следует, что изменение вероят-
ности удовлетворяет дифференциальному уравнению [11]:
dx(t )
+ ? x(t) = ?.
(4.4)
dt
Отметим, что иногда уравнения типа (4.4) называются "зако-
ном подкрепления статистической теории обучения". В [92] этот
закон записывается в виде
xn = xn-1 + ? (1– xn-1),


30
что соответствует ? = ? (или (4.2) с ? = 0, при этом если x0 = 0, то
x? = 1 [9]).
Ф(В, А) – см. модель 4.2. •

Многие исследователи изначально постулируют замедленно-
асимптотический вид КН и используют его в дальнейшем при
количественном анализе, выработке различных рекомендаций и
т.д. [75, 109, 115 и др.].
Практически во всех моделях настоящего раздела предполага-
ется, что рассогласование системы удовлетворяет линейному
дифференциальному уравнению с постоянными коэффициентами.
При этом линейность и стационарность коэффициентов являются
достаточными (но не необходимыми) условиями экспоненциаль-
ности решения.




31
5. Модели – аналогии физических явлений и технических
систем

Рассматриваемые в настоящем разделе модели итеративного
научения, предложенные разными авторами, опираются на анало-
гии физических явлений и принципов функционирования техниче-
ских систем. Многие из используемых аналогий достаточно услов-
ны и адекватность допущений действительным закономерностям,
имеющим место в биосистемах, может вызывать оправданные
возражения.

Модель 5.1. (С. Дейч [35]).
О. В некоторых моделях нервной системы мозг рассматрива-
ется как техническая система распознавания образов, параметры
которой зависят от электрических характеристик нервных волокон.
Г. Отросток нейрона – длинная RC-цепочка (RC-линия, со-
стоящая из конденсатора и резистора).
Ф. Если Uin – напряжение на входе RC-цепочки, Uout(t) – на-
пряжение на выходе, то связь между ними, в силу законов Кирхго-
фа, описывается дифференциальным уравнением:
dU out (t ) U in ? U out (t )
C = ,
dt R
где C – емкость конденсатора, а R – величина сопротивления.
В. Выходное напряжение изменяется экспоненциально. Так
как временные характеристики процессов передачи и распростра-
нения сигналов в нервной системе определяются экспоненциаль-
ными передаточными функциями с характерным временем ? = R C
то ? = 1 / ? будет определять скорость переходных (адаптацион-
ных) процессов в системе, то есть описываться экспоненциальной
зависимостью.
А. Различение амплитуды сигнала (стимула) в рассматривае-
мой модели описывается законом, практически совпадающим с
законом Вебера-Фехнера [31, 35]. Выходное напряжение схемы –
основная характеристика модели – удовлетворяет линейному
дифференциальному уравнению (см. четвертый раздел). •

Модель 5.2.

32
О(Г). По аналогии с механизмами радиоактивного распада в
физике, предположим, что рассогласование обучаемой системы
определяется рассогласованием элементов, каждый из которых
может иметь либо некоторое начальное рассогласование, либо
некоторое конечное рассогласование. Рассогласование системы-
функция числа элементов, имеющих ненулевое рассогласование,
причем уменьшение рассогласования, происходящее для каждого
элемента скачкообразно, – вероятностный процесс, характеризуе-
мый постоянной (не зависящей от времени и числа элементов)
вероятностью ? "зануления" рассогласования элемента в единицу
времени.
Ф. Число элементов N(t), имеющих в момент времени t нену-
левое рассогласование, удовлетворяет уравнению
N(t + ?t) = N(t) – ? N(t) ?t.
Переходя к пределу по ?t, получим дифференциальное урав-
нение
dN (t )
= – ? N(t).
(5.1)
dt
В. Решение уравнения (5.1) имеет вид
(5.2) N(t) = N0 e - ? t,
где N0 – число элементов в системе (в нулевой момент време-
ни все элементы имели максимальное (начальное) рассогласова-
ние).
А. Постоянная ?, характеризующая период полураспада, ха-
рактеризует скорость научения. Чем больше вероятность умень-
шения рассогласования элемента в единицу времени, тем выше
скорость научения.
Отметим, что предположение об одинаковости для всех эле-
ментов и стационарности вероятности "распада" является сущест-
венным.
Важным представляется также то, что приведенному выше
уравнению для N(t) удовлетворяют не только механизмы радиоак-
тивного распада, но и процессы бактериального роста, фармакоки-
нетические процессы, большинство кинетических схем химиче-
ских реакций (в том числе – закон действующих масс) и др.
Зависимость от времени макроскопических характеристик во всех
этих случаях оказывается экспоненциальной просто потому, что

33
поведение любого элемента носит вероятностный характер, при-
чем статистические характеристики процессов (распада, роста,
вступления в реакцию и т.д.) не зависят от времени и предыстории
системы. Это утверждение о стационарности, лежащее в основе
описания и объяснения упомянутого класса процессов, является
согласованным с экспериментальными данными предположени-
ем. •

Модель 5.3.
О. Каждый элемент обучаемой системы имеет собственный
регулятор, стремящийся уменьшить свое рассогласование. Рассо-
гласование системы в целом – монотонная функция рассогласова-
ний элементов.
Г. Каждый регулятор характеризуется постоянной относи-
тельной ошибкой в (требовать постоянства абсолютной ошибки
представляется нелогичным, так как регулятор должен быть уни-
версальным [93]). На n-ом шаге регулятор случайным образом
переводит элемент из состояния xn-1 в состояние xn, равномерно
распределенное в ? = ?(xn-1)-окрестности нулевого рассогласова-
ния.
Ф(В, А). При достаточно большом n кривая научения – сред-
нее рассогласование элементов – убывающая экспоненциальная
функция. Вид КН обусловлен постоянством относительной ошиб-
ки регулятора и предположением о вероятностных распределениях
(ср. с изменением информации при измерении величин с погреш-
ностью [21, 22]). •

Модель 5.4.
О(Г, Ф, В). Обучаемая система представляет собой набор ре-
гуляторов первого порядка (то есть апериодических звеньев перво-
го порядка, осуществляющих регулирование по величине пере-
менной и скорости ее изменения), аналогичных используемым в
автоматическом регулировании. Передаточная функция (реакция
на импульсное входное воздействие) каждого элемента:
h(t) = 1 – exp (– ?i t).
А. Интересно отметить, что апериодическое звено второго по-
рядка (осуществляющее регулирование по значению переменной и
первым двум ее производным), которое может рассматриваться как
34
последовательное соединение двух апериодических звеньев перво-
го порядка, имеет логистическую передаточную функцию. В рам-
ках этой модели логистические кривые научения можно рассмат-
ривать как КН иерархической системы, состоящей из двух
подсистем, результаты итеративного научения каждой из которых
описывается экспоненциальной кривой. •

Модель 5.5. (Ю.Г. Антомонов [10]).
О. Исследуются вероятности нахождения системы в опреде-
ленных состояниях. Пусть у обучаемой системы имеются два
возможных структурных состояния s1 и s2. Обозначим вероятности
нахождения системы в этих состояниях p = Prob {s1} и
dp (t )
q = Prob {s2}; q = 1 – p; p’ = .
dt
Г. По аналогии с механическими системами предположим, что
система описывается двумя функциями времени, одну из которых
условно назовем уровнем организации ("потенциалом") системы:
(5.3) V(t) = ? p2(t),
а вторую – "кинетической энергией" системы:

? ( p' ) d? .
2
(5.4) T(t) =
Отметим, что V(t) и T(t) соответствуют потенциальной и кине-
тической энергии механической системы, фазовой переменной
которой является p(t). Функция K = T – V – "полная энергия систе-
мы". Далее введем следующее предположение: "Для того, чтобы
динамический процесс изменения уровня организации системы, в
связи с внутренними причинами или действиями среды, был опти-
мальным, он должен, по-видимому, подчиняться принципу, анало-
гичному принципу наименьшего действия" [10].
Ф. Подставляя (5.3) и (5.4) в уравнение Лагранжа и решая его,
получим
(5.5) p(t) = 1 – e - ? t,
где
(5.6) ? = ? / ?.
В. "Оптимальность живых систем заключается в экспоненци-
альных законах изменения вероятностей ..." [10].


35
А. Следует признать, что на сегодняшний день описанная вы-
ше модель является одной из наиболее изящных и красивых (если
эти термины могут относиться к математическим моделям).
Нисколько не умаляя достоинств модели и ее значения, попы-
таемся восстановить ход рассуждений ее автора.
Во-первых, известно из экспериментов, что вероятности в
процессе ИН изменяются в большинстве случаев по экспоненци-
альному закону. Во-вторых, должны существовать общие законы
функционирования живых систем. Так как принцип наименьшего
действия обладает достаточной общностью (по крайней мере, для
механических систем), перенесем его и на живые системы.
А дальше все достаточно просто – записываем соответствую-
щие уравнения и исследуем какова должна быть структура "потен-
циала" и "кинетической энергии", чтобы решение удовлетворяло
(5.5). Оказывается, что единственная конструкция, приводящая к
требуемому результату – (5.3) и (5.4). Следует, правда, при этом
отметить, что выбор начальных условий и (5.3)-(5.4) не тривиален.
Более того, затруднительны и содержательные интерпретации (5.6)
как скорости научения.
На этой модели очень хорошо демонстрируется одновремен-
ное применение и прямого метода построения моделей ИН (когда
вводятся предположения и из них делается вывод, совпадающий с
экспериментальными данными), и обратного (в котором ищутся те
предположения и гипотезы о механизмах функционирования
исследуемой системы, приводящие к требуемому результату). •

Таким образом, рассмотренные выше модели итеративного
научения, построенные по аналогии с принципами и законами
функционирования физических и технических систем, используют
"обобщения" ряда физических законов. Как правило, вводится
предположение, что законы (в большинстве случаев – законы
сохранения), сформулированные для определенного класса систем
живой и неживой природы (и справедливые для описания обучае-
мых систем на определенном микроуровне рассмотрения), остают-
ся справедливыми и для "макроскопического" описания этих сис-
тем. Справедливость этого предположения в большинстве случаев,
к сожалению, пока не подкрепляется экспериментальным под-
тверждением.
36
6. Теоретико-информационные модели

Значительную часть описанных в литературе моделей итера-
тивного научения составляют модели, основывающиеся на рас-
смотрении процессов переработки информации в обучаемых сис-
темах. Объединяет эти теоретико-информационные модели то, что,
практически, во всех из них предполагается, что возможности
обучаемой системы по передаче и переработке информации (коли-
чество информации, передаваемой, обрабатываемой, усваиваемой
и т.д. в единицу времени) ограничены [20, 45, 50, 110 и др.]. Так,
например:
"... среднее время, требующееся для четкого уяснения значе-
ния некоторого сигнала и правильной реакции на него, возрастает
пропорционально средней информации, содержащейся в этом
сигнале. Исходя отсюда, можно предположить, что в случае доста-
точно регулярно происходящих событий, характеризующихся
определенной статистической устойчивостью, сообщение о воз-
никновении такого события передается через органы чувств и
центральную нервную систему в среднем за время, пропорцио-
нальное содержащейся в этом сообщении информации. ... передача
сообщений в живом организме происходит так, что за одинаковое
время в среднем передается одинаковое количество информации"
[95, с. 115].
Частным случаем предположения об ограниченности возмож-
ностей человека при переработке информации является известный
закон Хика, устанавливающий пропорциональность (в определен-
ном диапазоне) между количеством обрабатываемой информации
и неопределенностью сигнала; при превышении последней неко-
торого порогового значения количество перерабатываемой инфор-
мации остается постоянной.
Различают два типа информации – связанная (начальная, ап-
риорная информация, заложенная в структуре системы) и свобод-
ная. Процесс научения при этом может интерпретироваться сле-
дующим образом: "... свободная информация постепенно
переходит в связанную, происходит процесс "научения" – повы-
шения первоначальной организации системы, наращивание объема
связанной информации" [40, с. 15]. Обучение может также пони-
маться как "... развитие системы без увеличения элементного
37
состава, повышение ценности информации установлением допол-
нительных связей" [37, с. 193], причем модификация структуры
целей в большинстве случаев вызывает лишь количественные, а не
качественные изменения [47, 55].
Информация, поступающая на вход системы или ее подсисте-
мы может использоваться, в частности, следующим образом:
1) непосредственная реакция;
2) запоминание предыдущих ситуаций с целью отбора наибо-
лее удачных реакций непосредственного типа;
3) запоминание внешних воздействий с целью их экстраполя-
ции и выявления рациональной реакции на экстраполированное
внешнее воздействие;
И, наконец, наиболее общий четвертый случай – создание мо-
делей внешнего мира и получение прогноза на базе функциониро-
вания моделей [51].
Практически все рассматриваемые в настоящем разделе моде-
ли итеративного научения опираются на приведенные выше поло-
жения.

Модель 6.1. (Ю.Г. Антомонов [10]).
О. В работе [82] был предложен подход к определению поня-
тия организации системы и ее сложности [44] через энтропию.
Соответствие между сложностью и организацией системы и слож-
ностью и организацией окружающей среды устанавливается прин-
ципом адекватности.
Известны различные формулировки принципа адекватности
[7, 8, 41]. Например, возможности (сложность, пропускная способ-
ность и т.д.) управляющей системы определяют пределы "управ-
ляемости" объекта управления, как бы не были велики его собст-
венные возможности (обратное соотношение встречается в
биологии чрезвычайно редко). Другими словами, "для того, чтобы
система успешно функционировала в среде, сложность и организа-
ция ее должны быть адекватны сложности и организации среды"
[9].
В [9] предложен принцип динамической адекватности : "... при
изменении сложности и организации среды биосистема постоянно
стремится достичь нового уровня адекватности по сложности и


38
организации со средой с минимизацией времени, затрат вещества и
энергии".
Г. В частности, в [9] вводится следующее предположение (ко-
торое в том или ином виде используется, практически, во всех
теоретико-информационных моделях ИН): изменение энтропии в
обучаемой системе – (количество информации, перерабатываемой
получаемой, передаваемой и т.д. системой) пропорционально
изменению энтропии окружающей среды.
Ф(В, А). Коэффициент пропорциональности зависит от воз-
можностей системы – пропускной способности каналов передачи
информации, максимально допустимой скорости изменения пара-
метров элементов и т.д., причем, если коэффициент пропорцио-
нальности и количество информации, поступающей в единицу
времени, постоянны (не зависят от времени), то динамика системы,
очевидно, описывается экспонентой (см. ниже более подробно).
Если обучение рассматривается как процесс получения информа-
ции, то в обучаемой системе происходит поэтапное устранение
неопределенности за счет информации, поступающей из внешней
среды [30, 41, 54, 78]. •

Модель 6.2. (Ю.В. Рублев, Г.Н. Востров [74]).
О. Процесс переработки информации обучаемой системой.
Г. Предположим, что информационные потоки удовлетворяют
уравнению
dI dJ
=? + ? J,
(6.1)
dt dt
где I – количество поступающей информации, J – количество
усваиваемой информации, ? и ? – константы, характеризующие
обучаемую систему и определяющие скорость научения.
Уравнение (6.1) свидетельствует, что скорость усвоения ин-
формации пропорциональна скорости поступления информации и
уменьшается (также пропорционально) с ростом уже полученной
информации.
Предположим, что количество информации, поступающей в
единицу времени постоянно:
(6.2) I(t) = ? t.
Ф(В). Решение (6.1) в рамках сделанного предположения име-
ет вид
39
(6.3) J(t) = ? (1 – e - ? t)
где
(6.4) ? = ? / ?, ? = ? / ?.
А. Предположения о постоянстве (или ограниченности) коли-
чества информации, поступающей или перерабатываемой обучае-
мой системой в единицу времени, используются практически во
всех теоретико-информационных моделях итеративного научения,
причем в большинстве из них они имеют именно вид (6.2). В рас-
сматриваемой модели для получения выражения (6.3) потребова-
лось введение достаточно конкретной гипотезы о связи поступаю-
щей и усваиваемой информации. Интересно отметить, что
скорость обучения, определяемая константами ? и ?, не зависит от
темпа поступления информации ? – внешнего параметра, а опреде-
ляется только параметрами самой системы. •

Модель 6.3. (В.Ф. Присняков, Л.М. Приснякова [69, 70, 83]).
О. Запоминание и хранение информации в памяти человека.
Г. Информационные потоки подчиняются соотношению
dJ dI
– (J – J?) / T,
(6.5) =
dt dt
dJ
где J – количество усваиваемой информации, – темп усвоения
dt
dI
информации, – темп подачи информации, T – постоянная
dt
времени (характерное время, определяющее скорость научения)
процесса переработки информации памятью человека, J? – пре-
дельное значение усвоенной информации (ср. с (6.1)).
dI
= ? = Const
Ф(В, А). В предположении (постоянство
dt
внешних условий), решение (6.5) имеет вид
(6.6) I(t) = ? (1 – e - ?t),
где ? = I? + ? T, ? = 1 / T (ср. с (6.3)). •

Модель 6.4. (О.Ф. Шленский, Б.В. Бодэ [90]).
О. Процесс накопления информации и ее забывания.

40
Г. При постоянном количестве информации, поступающей в
единицу времени, "идеальная память" запоминает всю информа-
цию. В реальной памяти количество запоминаемой в единицу
времени информации убывает с ростом уже запомненной инфор-
мации (замедленная асимптотичность). После окончания процесса
обучения идеальная память сохраняет информацию неограниченно
долго, а в реальной памяти количество информации после оконча-
ния процесса обучения монотонно убывает (забывание), причем
текущая скорость забывания пропорциональна объему имеющейся
на данный момент информации I(t) (замедленная асимптотичность,
см. рисунок 6.1).

I(t)

Идеальная память



Реальная память


t

Забывание
Обучение

Рис. 6.1. Количество запомненной информации

Ф(В, А). Если "уравнение памяти" представить линейным ин-

стр. 1
(всего 2)

СОДЕРЖАНИЕ

>>