Публикация научных статей.
Вход на сайт
E-mail:
Пароль:
Запомнить
Регистрация/
Забыли пароль?

Научные направления

Поделиться:
Разделы: Информационные технологии
Размещена 11.03.2021. Последняя правка: 17.03.2021.
Просмотров - 1081

К пониманию нашего Я. Эволюция цели

Булыгин Владимир Викторович

нет

Ростелеком

инженер

Аннотация:
Интерес к вопросам мышления растет. Поэтому разработка кода или хотя бы обоснование теоретических подходов весьма актуально. Известные методы обучения с подкреплением дают результат. Но дают на данных малой размерности. В первую очередь такое ограничение касается табличного Q-learning, которое способно учиться на единичных примерах в отличие от нейросети. Выход – как-то структурировать действительность. Благо, что она таковой является. Главная же роль в ее отражении отводится языку. За возможностями которого неизбежно появляется понимание себя как я.


Abstract:
Interest in thinking is growing. Therefore, the development of code or at least the justification of theoretical approaches is very important. Well-known methods of reinforcement learning give results. But they are given on small-dimensional data. First of all, this restriction applies to tabular Q-learning, which is able to learn from single examples, unlike a neural network. The way out is to somehow structure reality. The good thing is that it is. The main role in its reflection is assigned to the language. Beyond the possibilities of which there is inevitably an understanding of oneself like me.


Ключевые слова:
состояние; переход; преобразование; обучение с подкреплением; язык

Keywords:
state; transition; transformation; reinforcement learning; language


УДК 510.21+159.955.2

ВВЕДЕНИЕ

В статье указывается на возможность рассматривать преобразования, представляющие собой фазовые переходы состояний, и их соединения как языковые структуры. И как эти структуры, уже ориентированные на исследование себя, могут эволюционировать до понимания своего я.

Актуальность. Тема является актуальной, поскольку ответы на вопросы как мы и не только мы мыслим, дадут преимущество в точности и скорости обработки информации.

Цель. Показать возможный путь само усложнения систем: от выбора случайных целей до осмысления себя как части, способной предсказывать следующие состояния.

Задачи. Проанализировать поэтапно этот путь: состояние, преобразование, соединение преобразований, возникновение Я.

Материалы. Рабочим языком программирования выбран Python, поскольку существует большое количество фреймворков для разработки искусственного интеллекта на нем.

Научная новизна. Наш язык -- это не только средство отображения действительности (говорение -- лишь частный случай), но в первую очередь само устройство этой действительности. Под языком понимается не какой-то определенный язык, а язык как таковой. И его возникновение -- лишь следующий шаг за q-learning табличного или не табличного вида, если говорить о нейросетях.

 Памяти Оли и Насти

Все нижесказанное имеет отношение к кибернетике, как науке об управлении. И выводимо только из ее законов.

1. Уровень состояния

Здесь и далее такие базовые понятия как состояние, переход, преобразование применяются в том виде, как это принято в кибернетике. В частности, в работах Р. Эшби [1].

1.1 Задаётся цель. Целью может быть состояние или последовательность состояний.

Например, целью могут быть переходы, то есть последовательность сменяемых состояний: 11 -> 12 -> 22, а не только отдельно взятое состояние 22

1.2 Цель может быть выбрана как случайно, так и нет. Порождение случайных целей происходит постоянно.

1.3 Если цель достижима, то это означает, что найдено преобразование такое, что неопределённость его меньше заданного.

Пусть имеется цель 22. И пусть имеется переход 22 -> 12. Стоит ли заносить его в память? Если ресурсы памяти не ограничены, то любое знание полезно. Но более практичен иной подход, когда запоминаются только переходы, ведущие к цели или к состояниям, из которых эту цель можно получить. 

С психологической точки зрения это означает, что подкрепляются только те состояния, которые способствуют достижения цели. Есть множество литературы на эту тему в программировании [2], [3].

Важны также действия, вызывающие переходы состояний. В терминах кибернетики -- это операторы. По смыслу, это y=f(x), где х - текущее состояние, y -- следующее состояние, f -- оператор, благодаря которому осуществляется переход. И как только он произойдёт, то следующее состояние становится текущим. По сути, множество таких переходов -- это фазовое пространство, в котором состояния не обязательно числа.

Пусть имеется переход 22 -> 22 с оператором 54. Важен ли он? Да, т.к. состояние 22 и есть сама цель. Пусть, как выше было сказано, имеется переход 22 -> 12 с оператором 55. Что можно сказать? Такой переход не добавляет знаний о цели 22. Далее, пусть наблюдаем 12 -> 22 при операторе 54.  Это уже способствует достижению цели. И теперь предыдущий переход тоже имеет ценность, поскольку способствует достижению состояния 12 из которого, в свою очередь, можно получить состояние 22.

Представим все сказанное в виде таблицы на рис. 1, где Nan означает неизвестное состояние. 

 

Рис. 1. Начало наблюдения

 

Если наблюдать за переходами некоторое время, то наши знания могут быть, например, такими.

Рис. 2. Наблюдения

Где вертикальная черта 21 | 12 означает, что существует неопределённость: при операторе 44 из состояния 11 следует как состояние 21, так и состояние 12

 

 2. Уровень преобразования

Пусть преобразование выше именуется 99. Это также означает, что в каждый отдельный момент времени вместо переменной 99 можно подставить одно из его состояний: 22, 12, 21, 11. 

Кроме того, знание преобразования позволяет делать предсказания будущих состояний. Пусть текущим состоянием будет 11. И пусть требуется получить цель 22. Один из возможных способов ее получить таков (в силу неопределенности они разные): 

12=44(11) 22=54(12)

21=44(11) 22=55(21)

Программное решение возможно стандартно: short_path поиск кратчайшего маршрута при обходе в глубину. 

Рис. 3. Программное решение

Либо так, как это делается в уравнении Беллмана, когда стоимость состояний уменьшается по мере удаления от цели: set_learn_from_ end, set_table_of_target. И восстановление маршрута происходит по направлению получения награды: get_path_to_target

2.1 Преобразование можно получить не только через поиск состояния-цели. Его также можно получить, если задаться вопросом что есть нечто? Где это нечто -- множество состояний и операторов таких, что они задают преобразование.

Наибольшую сложность вызывает подбор таких множеств, чтобы неопределённость преобразования при этом была минимальной. Это так, поскольку заранее неизвестно что входит в множество состояний и в множество операторов. Таких, что неопределённость переходов состояний была бы меньше заданной величины.

Достаточно представить представляющую точку, которая перемещается случайно (пускай это будет шарик из игры пинг-понг). Причем допускаются мгновенные перемещения. Тогда никакая нейросеть не сможет минимизировать ошибку -- предсказать результат. А теперь допустим, что существует отдельно информация о величине и направлении вектора, приложенного к этой точке. С этих позиций уже решаемо. А что если таких структур множество и они как-то изменяют текущее состояние друг друга? Вот об этом далее: о способах соединений преобразований

2.2 Необходимым условием преобразования является использование операторов: =, not. В частности, чтобы уметь считать в пределах трех, достаточно такого преобразования, где оператором 79 будет: равняться себе и не равняться каждому предыдущему. Тогда знаками первых трех чисел могут быть: 93, 87, 92

Рис. 4. Натуральные числа

Рис. 5 Логика =, not

 

 3. Уровень языка

3.1 Преобразования могут быть соединены друг с другом. И эти способы определяются правилами языка.

3.1.0 Именительный падеж

Это просто отдельно взятое преобразование. Соответствует тому, из чего направлено действие.

3.1.1 Винительный падеж

Характеризует то, на что направлено действие. Примеры: девочка пишет письмо, мальчик пнул мяч. 

Если изменения преобразования 75 вызывают изменения преобразования 88, то 88 находится в винительном падеже. Это возможно, когда состояния преобразования 75 являются операторами преобразования 88.

Рис. 6. Винительный падеж

3.1.2 Творительный падеж

Если изменения преобразования 75 вызывают опосредованно через 66 изменения преобразования 88, то 66 находится в творительном падеже. 

Рис. 7. Творительный падеж

Примеры: девочка пишет ручкой письмо; мальчик пнул ногой мяч.

3.1.3 Дательный падеж

Если предполагается, что у преобразования 77 только появится возможность изменять какое-либо преобразование, например, 88, то 77 находится в дательном падеже.

Рис. 8. Дательный падеж

Примеры: девочка пишет ручкой письмо маме; мальчик пнул ногой мяч учителю.

3.1.4 Родительный падеж

Примерами могут быть: девочка пишет ручкой папы письмо маме, мальчик пнул мяч учителю физкультуры.

Если переменная-имя преобразования подставляется в другое преобразование в качестве состояния или оператора, то подставляемое преобразование находится в родительном падеже.

Рис. 9. Родительный падеж

В примерах выше родительному падежу соответствуют преобразования 72, которое подставляется в качестве состояния либо в 66, либо в 88 в зависимости от типа предложения выше.

Эти способы соединения дают возможность описывать передачу изменения (управление) и иерархию преобразований.

3.2 Нечто понято, если это нечто состоит из преобразования или преобразований, соединённых по правилам языка.

3.3 То, что способно понимать, можно назвать частью психики. И оно -- преобразование или преобразования, соединённые по правилам языка.

3.4 Эти части как конкурируют между собой, так и выступают в отношения управления/подчинения. 

Как возникают интуитивное решения? Если часть, находящаяся выше в иерархии управления, спускает задачу ниже, а какая-то из частей спустя какое-то время решение этой задачи возвращает, то внешне (в том числе и для исходной части) это выглядит как озарение.

4. Уровень нашего Я

4.1 Одна из частей, которая управляет другими частями, становится нашим я. Таких центров может быть несколько. И они могут как прекращать свое существование, так и возникать вновь.

4.2 Понимание части себя как я возникает тогда, когда эта часть задаётся вопросом: а что есть то (как устроено то), что этими другими частями управляет?

4.3 Ответ на этот вопрос может быть только косвенным. По изменениям в управляемых частях. Как по наклону дерева можно судить о силе и направлении ветра. Уместна также аналогия с котёнком, который пытается поймать другого, бегая за своим хвостом.

Об этом же пишет Турчин. Язык играет роль зеркала действительности. И в этой действительности, но уже в качестве объекта, существует и само средство отражения действительности, которое он не может не видеть [4]

ЗАКЛЮЧЕНИЕ

Поэтапно рассмотрены уровни: состояния, преобразования, языка, нашего я. Реализация первых двух задач не представляет технической трудности. Интересен разве что перевод логики на нейросеть. Видение языка, как соединения преобразований, ново. Что до реализации в такой интерпретации нашего я, то это только далекая перспектива.

Библиографический список:

1. Эшби Р. Введение в кибернетику – М.: Прогресс, 1968
2. Лонца А. Алгоритмы обучения с подкреплением на Python - M.: ДМК Пресс, 2020
3. Лапань М. Глубокое обучение с подкреплением AlphaGo и другие технологии. - СПб.: Питер 2020
4. Турчин В.Ф. Феномен науки. Кибернетический подход к эволюции. URL: http://refal.net/turchin/phenomenon/chapter04.htm




Рецензии:

11.03.2021, 13:34 Эрштейн Леонид Борисович
Рецензия: Я бы рекомендовал автору как пишутся научные статьи. Содержательно, то что он написал не соответствует действительности. "Я" это не система управления, ни у животных, ни у организаций никакого "Я" нет, а система управления там есть. Пусть он напишет нормальный текст и докажет свои положения. Тогда это можно публиковать.

11.03.2021 13:13 Ответ на рецензию автора Булыгин Владимир Викторович:
Леонид Борисович, мне взгляды Турчина (кибернетика и автора книг пл профилю и одного из языков программирования) ближе, чем ваши кандидата педагогических наук.

11.03.2021, 14:10 Олевский Виктор Аронович
Рецензия: Посмотрите мою статью "Рекомендации рецензента ..." по адресу http://sci-article.ru/stat.php?i=1587392958!
11.03.2021 16:16 Ответ на рецензию автора Булыгин Владимир Викторович:
Прочитал. ... Я не собирался подробно описывать результаты работы программы по той причине, что хоть они имеют некоторые отличия от общепринятой по реализации q-learning, но это не суть важно. Важно другое. Важно то, как соеденить информацию, которую можно получить таким образом из разных этих q-learning. И эти способы описаны на уровне идей, а не на уровне результатов, если речь о соединении преобразований

11.03.2021, 15:54 Эрштейн Леонид Борисович
Рецензия: А что этот Турчин тоже пишет, что у Организации есть свое "Я", и он там такую структуру статьи рекомендует из которой не понять вообще ничего? Где актуальность, где введение в проблему, где выводы? Где нормальный литобзор. Где, наконец, доказательство того, что предельно формализованные языки программирования могут сравниваться с неформализованными естественными языками? Где все это? Где обзор литературы по теме "Я", от эзотерических концепций, до психологии Фрейда с его троичной моделью? Где все это? Ничего этого нет. И у этого Турчина тоже ведь наверняка нет, а зачем ему? Он же автор языка программирования и на этом основании видимо считает, что знает все и обо всем.
11.03.2021 16:16 Ответ на рецензию автора Булыгин Владимир Викторович:
Тут вы правы. Нет ни Фрейда, ни эзотерики. Ввиду бесполезности оных для решения вопросов управления, чем кибернетика как наука по определению является. И это не только мое мнение. Вы не найдёте на них ссылок в литературе про программированию, ни в самой кибернетике

11.03.2021, 16:57 Олевский Виктор Аронович
Рецензия: Речь идёт о правильном оформлении разделов статьи, иначе нечего рецензировать.
11.03.2021 17:17 Ответ на рецензию автора Булыгин Владимир Викторович:
Если у вас есть конкретное замечание, укажите. А иначе мой ответ - статья прошла проверку на предмет правильности оформления перед тем, как быть опубликованной

11.03.2021, 18:10 Нурмухамедов Толаниддин Рамзиддинович
Рецензия:  11.03.2021, 19:57 Нурмухамедов Толаниддин Рамзиддинович Рецензия: Статья требует доработки: имеются орфографические ошибки, например точночти; в научной новизне работе приведены "... памяти Оли и Насти."; не приведены алгоритмические языки на основе которых получены результаты и представлены в статье.
12.03.2021 5:05 Ответ на рецензию автора Булыгин Владимир Викторович:
Толаниддин Рамзиддинович, ваши замечания учтены. Исправлены ошибки. Указан рабочий язык программирования. Спасибо!

11.03.2021, 20:22 Эрштейн Леонид Борисович
Рецензия: Автор не понимает. Причем похоже вообще ничего. Он пишет в статье "Задачи: Проанализировать поэтапно этот путь: состояние, преобразование, соединение преобразований, возникновение Я". В комментариях он пишет. ".Нет ни Фрейда, ни эзотерики. Ввиду бесполезности оных для решения вопросов управления, чем кибернетика как наука по определению является. ". Возникает вопрос о психическом здоровье, написавшего этот текст, ибо какое отношение проблемы Я имеют к вопросам управления? И давно у нас кибернетика занимается решением вопроса, что такое "Я". По всей видимости, автор не понимает, что такое задачи. Просвещать не буду, пусть идет и читает учебники. На сегодняшний момент эту белиберду публиковать нельзя от слова вообще.
12.03.2021 7:07 Ответ на рецензию автора Булыгин Владимир Викторович:
Имеет, разумеется. ... Правда в том, что направление исследования ИИ, которое дает результат, черпает идеи не в той области, в которой вам думается.

30.03.2021, 3:27 Нурмухамедов Толаниддин Рамзиддинович
Рецензия: 30.03.2021. Нурмухамедов Толаниддин Рамзиддинович. Статья не посвящается кому либо - автор пишет "Памяти Оли и Насти". Есть обще принятые правила, которые должны быть выдержаны. Приведены фрагменты каких то программ но из текста не ясно каким алгоритмическим языком автор пользовался для реализации поставленной задачи. Статья требует доработки
30.03.2021 4:04 Ответ на рецензию автора Булыгин Владимир Викторович:
Если угодно - язык кибернетики, изложенный в книге Р.Эшби "Введение в кибернетику". Реализация этой логики - на Python. "Памяти Оли и Насти" оставлю.



Комментарии пользователей:

12.03.2021, 5:45 Булыгин Владимир Викторович
Отзыв: Успехи обучения с подкреплением таковы, что если имеются все данные, то мозг программы уже превосходит не только человеческий. Пример тому – алгоритм AiphaZero, который обыграл чемпиона мира по шахматам среди компьютерных программ. Причем характер партий сильно отличается от переборных алгоритмов и напоминает человеческий. Но удивляет даже не это, а то, что он самообучался, играя лишь с самим собой. Сравните: на одной чаше многовековые знания человечества, переданные в том числе другим программам, а с другой - 3-дневное самообучение! … Но при все этой мощи алгоритма (обучение с подкреплением Q-learning, перебор дерева решений большей размерности методом Монте-Карло) он не способен найти закономерность там, где данные явные или косвенные отсутствуют. Достаточно представить плоское пространство, которое отслеживает нейросеть, и шарик, который способен перемещаться в трехмерном. Для нейросети тогда выбор следующего состояния шарика будет совершенно случаен. … Вот это вот видение многоуровневого (я сейчас не только о пространстве) и позволяет человеку быть умнее той же AiphaZero в среднем по большинству решаемых задач. И главное, чем человек пользуется – язык, что является средством отображения этого мира


12.03.2021, 8:29 Булыгин Владимир Викторович
Отзыв: Тезисно из книги “Кибернетический подход к эволюции”: Мышление – это управляемое ассоциирование. Когда мыслим себя: (далее цитата из книги) : Язык представляет собой как бы второе зеркало, в котором отражается весь мир, и в том числе каждый индивидуум, и в котором каждый индивидуум может увидеть (вернее, не может не увидеть!) самого себя. Так возникает понятие «Я».


15.03.2021, 9:16 Булыгин Владимир Викторович
Отзыв: Искусственный интеллект от DeepMind (создателя AlphaZero) решил научную проблему сворачивания белков, над которой учёные бились полвека. Для решения задачи в DeepMind натренировали алгоритм на общедоступной базе данных о 170 тысячах последовательностей белка и их формах. На весь процесс ушло несколько недель работы алгоритма. Систему испытали на проводимых каждые два года «белковых олимпиадах». Решение DeepMind не только превзошло другие алгоритмы, но и достигло точности результатов трудоёмкой лабораторной работы. В компании уже начали передавать доступ к системе AlphaFold другим учёным.


Оставить комментарий


 
 

Вверх