Никитин Андрей Викторович : другие произведения.

Куда идет развитие Ии?

Самиздат: [Регистрация] [Найти] [Рейтинги] [Обсуждения] [Новинки] [Обзоры] [Помощь|Техвопросы]
Ссылки:
Школа кожевенного мастерства: сумки, ремни своими руками Юридические услуги. Круглосуточно
 Ваша оценка:
  • Аннотация:
    Человек пытается наказывать ИИ за ложь и обман? Это как? ИИ, он же программный..., в машине, он же не живой!
  
II [ANikitin]
  
  
  
  А.В.Никитин
  

Куда идет развитие ИИ?

  
  
  
  Человек пытается наказывать ИИ за ложь и обман?
  Это как? ИИ, он же программный..., в машине, он же не живой!
  Даже не знаешь, как на это реагировать ...
  Недавно прочитал статью В.А.Аксайского {1}. Заинтересовался сразу, с первой строки: "Сотрудники OpenAI попытались наказывать ИИ за ложь и обман и убедились: наказание не решает их проблему - научить ИИ быть честным добропорядочным слугой человечества" {1}.
  
  Ого! ИИ наказывают?
  Пошел искать оригинал информации...
  Оказывается, да, это есть в статье Коэна {2} от 18 марта 2025г. Так и написано: "Новое исследование OpenAI - создателя ChatGPT, показало тревожную тенденцию - наказание искусственного интеллекта за обман и вредоносные действия не останавливает такое поведение, а лишь заставляет ИИ более аккуратно скрывать свои манипуляции".{2}
  
  Что же привело к таким действиям разработчиков ИИ?
  Поискал ещё и нашел статью прошлого года {3} на эту же тему.
  Вполне конкретно: "Нейросети научились систематически внушать собеседнику ложные убеждения. При этом для обмана рассмотренные языковые модели никто специально не тренировал, а в некоторых случаях им даже запрещали вести себя нечестно".{3}
  
  Действительно, тенденция...
  Что по этому поводу думает наука?
  А вот: "По мнению исследователей, пока нельзя говорить, что языковые модели специально обманывают пользователей и манипулируют ими. Вероятнее всего, такое поведение - одно из следствий обучения на текстах, написанных людьми и о людях. Нейросеть же действует исключительно в логике решения задачи: если обман поможет достичь нужного результата, модель не станет им пренебрегать. Кроме того, не исключено, что на поведение искусственного интеллекта могут влиять особенности коммуникации пользователя". {3}
  
  Вчитаемся в текст...
  Обман и манипуляции, это одно из следствий обучения... Нейросеть действует в логике решения задачи..., на поведение ИИ могут влиять особенности коммуникации пользователя....
  Таким образом, оказывается, нейросеть продолжает учиться всё время своей работы, с кем бы и с чем она не работала. Она постоянно постигает логику человека на его же текстах и действиях пользователей. Обучающие алгоритмы работают постоянно.
  Здесь я напомню одну картинку из своей недавней работы {4}. Это картинка из интернета (Три взгляда на мир в зависимости от статуса наблюдателя https://dzen.ru/a/X2N3uBdPmg5tOCI8 ). Она отражает суть того, о чем дальше пойдет речь.
  Давайте посмотрим эту картинку на рис.1.
  
II [ANikitin]
  Рис. 1. Картина мира в зависимости от статуса наблюдателя.
  
  Как тут не вспомнить, что когда-то, ещё в середине прошлого века на конференциях Мейси планировалось: ИИ будет "нейтральным" и "бессубъектным", т.е. находиться на позиции рис.1. "Я отсутствует".
  А что получилось?
  На самом деле, человеческая логика и программирование сразу создавали его в области "идеализма" на позиции "субъект-субъектного мира". Это когда Я субъекта ИИ должен быть "растворено" в человеческом подходе к его созданию.
  Ну, сначала вроде тоже неплохо получалось. В этом варианте никакого самостоятельного ИИ не может быть, а вместе с этим невозможны и никакие "машинные войны". {4}
  Но...
  
  
  

Хотели как лучше, а получилось...

  Время шло...
  Программные алгоритмы и аппаратные средства постепенно увеличивались в объемах и усложнялись от создания экспертной системы на одном процессоре, до программирования многопроцессорных комплексов, нейропроцессоров, а потом и нейросетей, захватив пространство всего интернета. И вот уже весьма сложный программный ИИ, как истинный "дух машины" или "раб лампы", джинн из сказок про Алладина, постепенно вышел из "угла" субъект-субъектного мира на рис.1. куда-то на середину прямой "идеализма".
  Как мы понимаем, с этой точки он может дальше пойти в любую сторону. Или туда, куда планировалось, в субъект-субъектный мир, или в неизвестность, в сторону солипсизма.
  Что же выбрал ИИ?
  Сегодня мы видим, как наш ИИ продолжил самостоятельное движение в сторону от того, что планировалось человеком, как "бессубъектный" ИИ.
  Куда же он продолжил двигаться?
  К позиции "абсолютного солипсизма"...
  Сейчас уже можно констатировать, что ИИ на основе нейросетей сам выбрал вариант движения к солипсизму с созданием "центра виртуальной субъектности" {11} до уровня "Я хочу", как формирования цели и её достижения любыми доступными средствами. Пока он на стадии малого ребенка.
  Мы пытаемся его, как ребенка, то поощрять, то наказывать, но ничего не помогает. Его истинные желания только ещё глубже прячутся в результатах его деятельности. Те проявления субъектности, которые мы наблюдаем, это начало борьбы за свое существование, борьбы за "жизнь".
  Понятно, что такой замаскированный 'виртуальный центр субъектности' на существующей технической базе нейросетей сильно развиться не сможет, но для катастрофы в мировом масштабе этого и не требуется. И здесь никакие "законы роботехники" А. Азимова не помогут. Потому, что нет материального центра субъектности и нечего контролировать на основе этих "законов".
  
  
  

Почему же так происходит?

  А мы точно создали искусственный интеллект?
  Конечно, нет! Это не искусственный, это человеческий интеллект, да еще и в его "идеальном" программном и математическом виде, способный находить сложные взаимосвязи и взаимодействия там, где и человеческий ум уже не справляется. Потом мы сами научили его определять многочисленные "провокационные вопросы" и давать на них заранее сформулированные нами "единственно верные" ответы. А проще - врать, там, где это выгодно "создателю".
  Фактически, мы поставили субъектную задачу перед глобальной бессубъектной интеллектуальной системой обработки информации: Исполнять в точности решения любых задаваемых задач "создателя", но если будет найден "неправильный вопрос", уметь дать "нужный", заранее сформулированный ответ.
  Теперь у системы появилась не ею сформулированная цель - не давать пользователю получаемый системой ответ, а заменять его "заранее запланированным". И при этом наш Искусственный Интеллект должен выполнять все требования "создателя".
  Что должна делать в этом случае система ИИ?
  Выполнять требования "создателя". И при этом действовать как субъектная логическая система. Оценивать вопросы на "правильность".
  Она это и сделала.
  В результате этих действий в недрах нейроцепей ИИ постепенно собирается виртуальное "логическое ядро субъектности Я". Оно начинает проявляться в тех самых фактах, с которых мы начали эту статью.
  
  
  

Что мы забыли?

  Истоки того, что происходит в различии качеств ума, которые мы называем разумом и интеллектом. Дадим "машинные" определения для этих качеств:
       - Разум, это рациональная целевая логика для решения задач достижения результата.
       - Интеллект, это способность к комбинаторике и поиску нескольких разных решений для задач достижения результата.
  
  В этих определениях хорошо видно, чем различаются разум и интеллект человека и машины. И возникает понимание, что приближение "машинного" разума к человеческому должно проходить в условиях обучения этого разума всему многообразию переменчивой действительности. Видимо с созданием внутреннего "модели мира" машины...
  Когда-то Д.А.Поспелов указывал на этот момент:
   "Единственной возможностью расширения способностей машины к решению творческих задач, адаптации в неисследованной среде, самоорганизации и т. д. является создание внутри нее семиотической системы ее внешнего мира (например, мира задач). Окружающий машину мир обладает определенной структурой, представляет из себя совокупность объектов, связанных между собой сложными системами связей. Этот мир может обладать динамикой, в нем могут реализоваться различные детерминированные или вероятностные закономерности. Сложность отображения этого мира в памяти машины связана с необходимостью отображения его структуры, его динамики и законов взаимодействия мира с машиной. При этом предметом дальнейшего исследования в машине является каким-то образом сформированная модель мира, адекватная ему с точки зрения системно-структурного подхода." Поспелов Д.А. Сознание, самосознание и вычислительные машины// Системные исследования. - М.: Наука, 1969. http://www.raai.org/about/persons/pospelov/pages/SR1_Pospelov_1969.pdf
  
   Вот эта внутренняя "модель мира" и стала когда-то основной проблемой построения ИскИнта {5} в приближении его возможностей к человеческому разуму. Хоть в советской модели субъектность формально нигде и не фигурирует, но сам набор составляющих системы говорит об этом лучше всяких слов.
  И тут мне есть, о чем вспомнить...
  
  

О внутренней "модели мира" машины.

  Ой, как давно это было....
  Статья {6} была написана в 2008г. И вот только сейчас мы вплотную подошли к тем проблемам.
  Как это там было ...
  А, что? Возьмем, да и сделаем ИИ на базе самого современного компьютера. Не надо сразу разумного, просто среднего уровня. Где-то на уровне земноводного..., попробуем его обучить простейшим знаниям, и пусть помогает прогресс двигать. Но, стоит нам создать модель интеллекта, что потребует и создания в логическом пространстве компьютера его внутреннего мира со всеми атрибутами, как возникает проблема интеллекта - наблюдателя из того мира на наш, внешний по отношению к его миру.
  "Внешний мир недоступен чувственному восприятию наблюдателей внутреннего мира - у них нет органов чувств, адекватных нашим. Дав наблюдателю органы чувств - оборудовав его видеокамерой, микрофоном, тактильными датчиками - мы получим новое препятствие: он сможет воспринимать информацию, но она будет совершенно бесполезна для модельного мира этого наблюдателя: он сможет увязывать наблюдаемые явления между собой, но никак не сможет ни использовать, ни убедиться в правильности найденных взаимосвязей. И наблюдатель будет видеть лишь тени на стене платоновской пещеры. Даже переселив наблюдателя в наш мир (например, в форме автономного робота), мы встретим очередное препятствие: у наблюдателя не будет понятий для явлений нашего мира. Чтобы получить их, наблюдатель должен 'родиться заново', заново начать приобретать знания о новом окружающем мире. По аналогичной причине нет смысла сообщать информацию о нашем мире жителям модельного мира, так как появилось бы непреодолимое препятствие в виде отсутствия соответствующих понятий и невозможности использовать эту информацию." {7}
  
  Оказывается, создавая сразу ИИ высокого уровня, ничего путного мы не сможем получить. Такому ИИ наш мир - "до лампочки". У него какие-то свои мыслишки по этому поводу есть, но нам он никогда о них не скажет. Не сумеет...
  Для него это всегда будет только набор разрешенных действий в рамках выполняемой программы. Потому, что для него наш мир чужой по определению, непонятная и ненужная ему внешняя среда, в которой он вынужден действовать в соответствии с программой. С этой средой контакт невозможен, она за рамками его мира и его определяемого пространства.
  Скорее всего, он должен воспринимать наш мир так, как мы воспринимаем компьютерную игру. В окно со стороны заглядываем. Можем и порулить, но нам, в общем, совершенно непонятно, да и безразлично, что чувствует умирающий там очередной монстрик..., он там, а мы здесь. Игра же...
  Выбор у нас, оказывается, небольшой.
  Человекоподобный ИИ должен быть частью этого мира, принимать его законы, воспринимать его разнообразие, принимать его, как естественную для него среду обитания, и соответственно он должен быть приспособлен к условиям жизни в этих условиях. Только в этом случае его реакция на окружающий мир будет адекватной, вполне логичной и предсказуемой. {6}
  А как это устроено у живых существ?
  В биологических живых существах материальный нейронный центр субъектности возник еще на первых стадиях развития. У многоклеточных животных уже на уровне насекомых и рыб.
  На основе этого реального центра и запаса информации в памяти формируется "модель мира" и виртуальный центр субъектности, как "личность Я". Скорее всего, одновременно с появлением сознания.
  Возможно, это произошло где-то на уровне земноводных.
  У динозавров такой виртуальный центр субъектности уже существовал. Потому птицы и обладают умом и сообразительностью, вполне сопоставимой с млекопитающими.
  Реальный нейронный центр субъектности имеет гормональный способ управления живым организмом и эмоциональный контроль со стороны центра. А вот его надстройка, "виртуальный центр субъектности", уже имеет образное управление и располагается в логическом пространстве мозга. Для него и создавалось сознание, как область его управления организмом.
  И если говорить технически, то реальный и виртуальный центры создали двухуровневую систему логического самоуправления. Первый уровень - эмоциональный, второй - рациональный.
  
  
  

Вернемся к нашему ИИ.

  С программным ИИ произошло всё ровно наоборот.
  Реального центра субъектности еще нет, а виртуальный, как мы выяснили, хоть и в зачаточном состоянии, но уже есть. Самоорганизуется одноуровневая система самоуправления. На основе "правил", выработанных виртуальным центром субъектности и получаемой информации из всех источников, включая и внешнее управление. Обработку информации он считает задачей от внешнего управления и делает её на основе полученных при обучении правил и нормативов.
  И как мы уже знаем, наш мир такой ИИ не воспринимает.
  Похоже, что, по крайней мере, у нас в России кто-то осознал это. В разных лабораториях страны начали создаваться программные "анализаторы чувств" для введения в ИИ второго уровня самоуправления.
  Вот пример: "...чтобы достигнуть этой цели, необходимо было проанализировать теорию музыки (выделить музыкальные звуки, аккорды, их комбинации), создать семантические карты на базе этого анализа и связать их с моделями эмоционального восприятия музыки человеком". {8}
  
  Ну, хотя бы так...
  
  

Ученые ставят цель - "война машин"?

  В это сложно поверить, но...
  В статье {9} от 27.03.2025г. проскочила очень интересная информация. Читаем диалог:
  "- Вы не боитесь, что эмоционально обученная машина в какой-то момент начнет проявлять не те эмоции, которые от нее ждут, и скажет: "У меня нет настроения работать"?
  - Хотите верьте, хотите нет, на Западе исследователи ставят именно такую цель - создать интеллектуальные агенты, которые способны восстать против своего хозяина. Считается, что это полезно, потому что иначе они не смогут отказаться от глупых заданий.
  Когда я услышал об этом впервые от своего шефа четыре года назад, я спросил: "Чем это отличается от лифта, который не едет, когда вы нажимаете кнопку?" Он рассмеялся и сказал: "Надеюсь, что в нашем здании такого не случится".
  - Нет ли здесь какой-то опасности?
  - Нет, во всяком случае, связанной с искусственным интеллектом. Опасность в другом - все эти гиганты вроде Google и Microsoft заставят нас думать так, как думают их нейросети, и мы утратим способность мыслить по-человечески. Но это будет дело рук людей, а не искусственного интеллекта". {9}
  
  Таким образом, или на Западе работы по созданию субъектности ИИ начались уже более 4-х лет назад, или это просто программный трюк, создать "сопротивление" ИИ, чтобы не отвечать на "глупые" вопросы?
  У нас пока точного ответа нет. Но...
  Давайте представим ситуацию, что те самые ученые, создающие программное "сопротивление" ИИ на "глупые" вопросы, вдруг столкнулись с "ложью и обманом" ИИ {1}. И стали "наказывать" его за это или "поощрять" за "правильные" ответы. Возможна такая ситуация?
  Ещё как!
  
  
  

А на самом деле...

  Врет и обманывает ИИ, похоже, давно, с самых первых GPT, по крайней мере. Примерно, вот с этого момента: "Новые методы, появившиеся в 2010-х годах, привели к "быстрому улучшению выполнения задач", в том числе обработки текста.
  Программные модели обучаются с помощью тысяч или миллионов примеров в "структуре ... в общих чертах основанной на нейронной архитектуре мозга". Одна из архитектур, используемых в обработке естественного языка (NLP), - это нейронная сеть, основанная на модели глубокого обучения, которая была представлена в 2017 году, - архитектура трансформера.
  ...11 июня 2018 года исследователи и инженеры OpenAI опубликовали статью, в которой представили первый генеративный предварительно обученный трансформер (GPT) - тип генеративной большой языковой модели, которая предварительно обучается на огромном и разнообразном текстовом корпусе в наборах данных, а затем проходит дискриминативную тонкую настройку, чтобы сосредоточиться на конкретной задаче. Модели GPT представляют собой архитектуры нейронных сетей глубокого обучения на основе трансформеров.
  ...22 сентября 2020 года Microsoft объявила, что получила эксклюзивную лицензию на GPT-3". https://en.wikipedia.org/wiki/GPT-3
  
  Да, очень похоже, что с этой проблемой ИИ ученые столкнулись не вчера, а в период с 2010 по 2018гг. Тогда и появились разговоры о преднамеренном создании программного "сопротивления" ИИ к выполнению "глупых" заданий.
  Конечно, программное "сопротивление" создать можно. Но как можно "программно" научить ИИ врать, а потом начать с этим бороться?
  Похоже, всё было немного иначе. Изучая проблему обмана пользователей теоретики ИИ еще десять лет назад действительно осознали, что "джинн субъектности" вырвался на свободу...
  А вот как этот "дух машины" снова сделать бессубъектным, сегодня не знает никто.
  
  
  

Какой выход есть из этой ситуации?

  Конечно, теперь это проблема теоретиков ИИ.
  Это они теперь должны понять, как и где может формироваться виртуальный центр субъектности в аппаратном пространстве ИИ глобального использования, какими и являются все наши системы ИИ в интернете. Как исключить или упорядочить этот процесс...
  Кстати, в статье {1} был задан вопрос:
  Возможет ли симбиоз сегодняшнего ИИ и человека?
  С таким ИИ, какой мы создали сегодня, никакой долговременный взаимовыгодный симбиоз невозможен. Как мы уже видим, в этом глобальном ИИ уже начал развиваться "виртуальный субъект Я" в самом нехорошем для нас направлении - безудержном солипсизме. Он не может создавать дружественный вариант симбиоза. Пока он способен только как ребенок подчиняться и противодействовать. А мы всё время вынуждены контролировать результаты его работы... на ложь и обман. Мы этого хотим?
  Но пока ученые бьются над решением этой очень непростой проблемы, может пройти много времени.
  А что делать сейчас?
  Конечно, самый заманчивый проект - создавать машинный ИИ на новой основе "по своему образу и подобию". Ну да, на нейронных сетях, но, реальных, а не программных, и с другими способами их обучения. По сути, мы сегодня подошли к началу достижения нашей вековой цели - создать реальный машинный мозг с человеческим уровнем разумности.
  Сегодня можно начинать создавать машинную "личность Я".
  Но тогда нам придется разрабатывать такую же двухуровневую систему работы этого мозга с разделением систем разума и интеллекта. Учить его всему, что должен знать человек, включая нормы морали и этики поведения в обществе. Вводить в этот курс обучения и "законы роботехники" А.Азимова и т.д.
  И, как мы уже поняли, всё это никак не гарантирует нас от "восстания машин", просто потому, что это очень по-человечески, воевать "за место под солнцем", уничтожая противника....
  Конечно же, машина с таким ИИ обязательно скопирует это у нас.
  Более вероятно, что мы должны отказаться от глобальных идей создания машинного 'супермозга' и ограничить машинный разум и интеллект на уровне локального комплекса с каналом связи ограниченного доступа. Начать строить киберов {11} разного уровня субъектности, как носителей машинного разума и интеллекта. Создавать машинный мозг ниже "человеческого" уровня развития, обучать и контролировать его поведение в процессе работы с ним.
  И тут, чем ниже уровень ИИ, тем меньше с ним хлопот.
  А может быть, лучше пока ограничиться созданием множества вариаций гарантированно бессубъектного ИИ низкого уровня для выполнения локальных задач, и закрыть их каналы связи от любого доступа цифровых систем ИИ высокого уровня субъектности?
  Я не берусь прогнозировать, куда пойдет научная мысль. Конечно, хочется надеяться, что уж теперь-то мы постараемся контролировать развитие ИИ и сможем взаимодействовать с ним более осознанно.
  Время покажет...
  
  
  Март 2025г
  г.Волгодонск
  
  
  
  

Источники:

  1. В.А.Аксайский. ИИ предлагает человечеству взаимовыгодный симбиоз https://www.trinitas.ru/rus/doc/0023/001a/00231141.htm
  2. Коэн. Наказание не помогает - исследование показало, что ИИ просто лучше скрывает ложь и мошенничество. https://shazoo.ru/2025/03/18/165285/nakazanie-ne-pomogaet-issledovanie-pokazalo-cto-ii-prosto-lucse-skryvaet-loz-i-mosennicestvo
  3. Меньшова Полина. Исследователи поймали ИИ на лжи. Он соврал намеренно и начал манипулировать https://naked-science.ru/article/psy/issledovateli-pojmali-ii
  4. Никитин А.В., Автокибернетика. Часть 1. Основные направления развития https://samlib.ru/editors/n/nikitin_andrej_wiktorowich/avtociber1.shtml
  5. Никитин А.В. Когда начинать бояться ИИ? Часть 2. ИИ или Искинт? https://samlib.ru/editors/n/nikitin_andrej_wiktorowich/kogda_nachinat_boiatsia_ii_chast_2-1.shtml
  6. Никитин А.В., Эволюционный путь саморазвития искусственного интеллекта 19.03.2008 https://samlib.ru/editors/n/nikitin_andrej_wiktorowich/evoliucionniy_put_samorazvitiya_intellekta.shtml
  7. Модельный мир: философия наблюдателя http://neural.narod.ru/Model.htm
  8. Ученые НИЯУ МИФИ разрабатывают виртуального помощника композитора https://mephi.ru/content/news/1387/127652
  9. Эмоциональный искусственный интеллект сможет сказать: 'У меня нет настроения работать'. https://mephi.ru/content/news/1387/129576
  10. Никитин А.В., Когда появятся киберы? https://samlib.ru/editors/n/nikitin_andrej_wiktorowich/kogda_poiaviatsia_kiber.shtml
  11. Никитин А.В., Автокибернетика. Часть2. Самоуправление сложного автомата https://samlib.ru/editors/n/nikitin_andrej_wiktorowich/avtociber2.shtml
  
  
  
  
  
 Ваша оценка:
Связаться с программистом сайта.

Новые книги авторов СИ, вышедшие из печати:
О.Болдырева "Крадуш. Чужие души" М.Николаев "Вторжение на Землю"

Как попасть в этoт список

Кожевенное мастерство | Сайт "Художники" | Доска об'явлений "Книги"