НОВАЯ РУССКАЯ ЛИТЕРАТУРА

 Отправлено: 02.12.06 20:49. Заголовок: Проблемы создания искусственного интеллекта

Проблемы создания искусственного интеллекта
доклад Дмитрия Ивашинцова и его обсуждение на заседании "Невского клуба" 16 марта 2006 г.

Дмитрий Ивашинцов (конспективное изложение): В 1993 году математик и писатель Вернор Виндж в статье «Грядущая технологическая сингулярность: как выжить в пост-человеческую эру» сформулировал ряд ключевых позиций, касающихся нашего ближайшего будущего.

Одной из особенностей XXI века является ускорение технического прогресса. Человечество стоит на грани перемен, которые сравнимы с появлением разумного человека на земле. Главная причина этих перемен в том, что совершенствование и развитие техники приводит к тому, что техника становится всё более изощрённой и «умной». Всё это ведёт к созданию сущности с интеллектом, превышающим человеческий. Видится несколько путей, по которым наука может достичь такого прорыва:
1. Компьютеры обретут «сознание», и возникнет сверхчеловеческий интеллект. (В настоящее время нет единого мнения о том, сумеем ли мы создать машину, равную человеку, однако, если это получится, несомненно, вскоре затем можно будет сконструировать еще более разумные существа).
2. Крупные компьютерные сети (и их объединенные пользователи) могут «осознать себя» как сверхчеловечески разумные сущности.
3. Машинно-человеческий интерфейс станет настолько тесным, что интеллект пользователей можно будет обоснованно считать сверхчеловеческим.
4. Биология может обеспечить нас средствами улучшения естественного человеческого интеллекта.

Первые три возможности напрямую связаны с совершенствованием компьютерного аппаратного обеспечения. Четвёртая возможность также зависит от этого, хотя и косвенно. Прогресс аппаратного обеспечения на протяжении уже нескольких десятилетий поразительно стабилен. Исходя из этой тенденции, Виндж делает выводы, что интеллект, превосходящий человеческий, появится в течение ближайших тридцати лет, между 2005 и 2030 годами. Заявление это было сделано ещё в 1993 году, а в 2004 автор, дополняя свою статью комментариями, подтвердил свою уверенность в этих сроках.

Скорее всего, он опирался на реализацию закона Мура, утверждающего, что количество транзисторов на новых кристаллах микропроцессоров удваивается каждые полтора года. Как раз между 2015–2030 годами вычислительная мощность компьютеров сравняется с мощью человеческого мозга, оцениваемой в 1016 операций в секунду (а затем превзойдёт её).

Возникает вопрос: каковы будут последствия научного прорыва и появления сверхчеловеческого разума? Автор статьи даёт свой ответ на этот вопрос. Прогресс, направляемый интеллектом, превосходящим человеческий, станет значительно более стремительным. Нет оснований полагать, что прогресс не станет плодить всё более разумные сущности ускоряющимися темпами. Лучшая аналогия, которую можно здесь провести – наше эволюционное прошлое. Животные могут приспособиться и проявлять изобретательность, но скорость эволюции ограничена естественным отбором. В случае естественного отбора мир сам выступает в роли собственного симулятора. Мы с вами обладаем способностью усваивать окружающий мир и выстраивать у себя в голове причинно-следственные связи, поэтому мы решаем многие проблемы в тысячи раз быстрее, чем механизм естественного отбора. Когда же появится возможность просчитывать эти модели с более высокими скоростями, мы войдём в режим, который отличается от нашего человеческого прошлого не менее радикально, чем мы, люди, сами отличаемся от низших животных.

Изменения будут развиваться по экспоненте без всякой надежды на восстановление контроля над ситуацией. Это событие Виндж назвал Сингулярностью и определил ее так: «Это точка, в которой наши старые модели придётся отбросить, воцарится новая реальность. Это мир, очертания которого будут становиться всё четче, надвигаясь на современное человечество, пока эта новая реальность не заслонит собой окружающую действительность, став обыденностью. И всё же, когда мы такой точки, наконец, достигнем, это событие все равно станет великой неожиданностью и ещё большей неизвестностью».

Термин сингулярность (лат. singularis – отдельный, особый) заимствован у астрофизиков, которые используют его при описании космических черных дыр и, в некоторых теориях, начала вселенной – точки с бесконечно большими массой и температурой и нулевым объемом. Математически сингулярность – точка функции, значение функции в которой стремится к бесконечности, либо другие подобные «интересные» точки.
Искусственный интеллект. Характеристики объекта.

В этом месте предлагаю вернуться к началу и попытаться определить, что же конкретно специалисты, занимающиеся проблемами ИИ, понимают под Искусственным интеллектом? Выясняется, что единого мнения нет. Как нет его и по поводу более привычных нам категорий - интеллект, сознание, разум, понимание.

Когда начинаешь специально искать ответы на эти вопросы, натыкаешься на вопиющую сумятицу. И соглашаешься с критиком проекта ИИ Роджером Пенроузом, который в своей интереснейшей книге «Тени разума», пишет именно об этом: «Я часто с некоторым замешательством обнаруживаю, что употребление всех этих слов, столь очевидное для меня, не совпадает с тем, что полагают естественным люди», и далее «Нам придется до некоторой степени положиться на свое интуитивное восприятие действительного смысла этих слов.»

Ясно, что при таком положении вещей, трудно ожидать осмысленного и прогнозируемого результата.

По моему мнению, говоря об Искусственном интеллекте, мы должны рассматривать объект, который, как минимум:
способен получать адекватную информацию об окружающей среде, включая в это понятие и себя самого;
концептуализировать полученную информацию;
образовывать, в рамках концептуального пространства, понятия, в том числе, абстрактные.

Реализация сегодня.

В настоящее время реализация проекта ИИ продвигается по нескольким основным направлениям, привлекательным для инвесторов:
1. Разработка программных продуктов для роботов.

Подобными работами занимается, например, фирма RWI Division, автор так называемой «центральной нервной системы для роботов», связывающей все периферийные блоки робота с единым компьютерным модулем. На основе такой технологии были созданы шагающий робот Ariel для подводного разминирования, набор небольших подводных лодок, имитирующих подвижность и маневренность стай рыб, робот Holon с 36 степенями свободы, несколько серий роботов STRIDE для выполнения разведывательных действий в областях со сложным рельефом, в городской местности и т. д.
2. Автономные агенты.

Технологии автономных агентов хороши, прежде всего, тем, что позволяют разработчику, не знающему точного способа решения задачи или оптимальных параметров управления процессами, обойтись минимумом усилий, создав только один прототип агента, содружество которых затем запускается в компьютерную среду (например, в распределенную сеть) и достаточно эффективно выполняет черновую переработку информации, адаптируясь к окружающей среде и постепенно достигая поставленной цели.

Разработчики таких систем считают, что агент должен делать за пользователя в Интернете все – надо просто послать его за нужной информацией или файлом, и он принесет его «на блюдечке». В более глобальной перспективе предполагается перенести на агентов и работу по электронной коммерции, когда продавцами и ассистентами будут выступать программы, а людям остается только подсчитывать прибыль.
3. Нейронные сети.

В мозгу человека примерно 1 трлн. нейронов с огромным числом соединений между ними. Смоделировать такую систему на компьютере пока невозможно, а вот сымитировать поведение более простых существ, например нематоды, имеющей всего 302 нейрона, уже не представляет сложности. Кливлендский университет выполнил такую работу, и процесс поиска компьютерной нематодой пищи в лабиринте полностью совпал с аналогичным процессом, выполняемым живым прототипом. Следующий проект исследователей – создание виртуального таракана, у которого нейронов побольше.
4. Клеточные автоматы.

Клеточные автоматы (КА) применяются сегодня в самых разных областях. Основным преимуществом данной технологии считается самостоятельное развитие системы и теоретическая возможность создания самовоспроизводящихся автоматов, которую Фон Нейман доказал в своей классической статье Theory of Self-Reproducing Automata (такой автомат требует десятков тысяч ячеек, каждая из них может находиться в одном из 29 состояний).
5. Искусственная жизнь.

Вопросы создания кибернетических устройств – полностью электронных или построенных на базе живых существ и способных эффективно выполнять присущие человеку действия, как интеллектуальные, так и двигательные, – привлекают активное внимание разработчиков, потому что сулят прекрасный возврат инвестиций.

Сервер приложений Klone Server поддерживает работу автономных агентов (интерактивных персонажей), которые общаются с посетителями сайта на естественном языке. Пока они способны отвечать на 20% вопросов, что обеспечивает 80% всех потребностей посетителей в информации.
6. Биотехнологии.

Лос-анджелесский университет в сотрудничестве с исследовательской лабораторией компании Hewlett-Packard сообщил о первых достижениях в области молекулярных процессоров. Ученые смогли создать группу молекул, работающую по принципу транзистора. Как обещается, в крупинке песка удастся реализовать мощь 100 рабочих станций.
7. Игрушки.

Роботы активно используются и в индустрии развлечений. С октября компания MGA Entertainment продает интерактивного медведя Koby, который благодаря встроенной микросхеме распознавания речи RSC-264T и нейрочипу способен общаться с ребенком, произносить десятки фраз, выполнять 400 последовательностей движений и проявлять 17 видов активности; он может даже попросить, чтобы с ним поиграли или его погладили.

Таково положение дел сегодня.

Но это не отменяет наступление сингулярности, а значит, выводит на первое место проблему, которая практически не волнует сегодня ни одного инвестора: что делать, что бы человек сохранил достойное место в мире, в котором появится искусственный интеллект.

Место, достойное человека.

Решение указанной проблемы затрагивает два аспекта:

Первый: по мнению Ника Бострома, профессора факультета философии, логики и научной методологии Лондонской школы экономики: «Сильный и все увеличивающийся прессинг будет улучшать искусственный интеллект (ИИ) вплоть до человеческого уровня. Если найдется способ гарантировать, что сверхчеловеческий ИИ будет подчиняться людям, то такой интеллект будет создан. Если нет возможности это гарантировать, тем не менее, вероятно, он все равно будет создан.»

Один из самых известных британских футурологов - Ян Пирсон опубликовал прогноз на ближайшие 30 лет с точными датами 500 событий.

Вот некоторые из дат этого прогноза:
после 2011 г. практически все программное обеспечение будет писаться машинами;
после 2030 г. роботы и физически, и умственно превзойдут людей, и, скорее всего, не захотят терпеть диктата своих создателей-людей;
к 2030 г. нанотехнология позволит напрямую подключать компьютер к человеческому мозгу на молекулярном уровне, что в свою очередь позволит «скидывать на диск» свое сознание.

Предсказание будущего, конечно, не является точной наукой. Однако Пирсон уже доказал свои способности: первый список «памятных дат будущего», опубликованный в 1991 г., сбылся на 85%.

Реальность создания ИИ заставляет нас думать о возможных способах контроля и управления ситуацией в новых условиях. По нашему мнению, мы должны включить устройства-посредники в состав внешних и внутренних элементов нашего тела, замкнутых на нашу нервную систему и управляемых непосредственно мозгом. Только тогда мы сохраним управление в своих руках. Мы должны оснастить свой организм устройствами и датчиками, способными снабдить наш мозг достаточным объемом данных в режиме on line, для анализа ситуации и генерации адекватных решений.

Работы в этом направлении уже ведутся. Достаточно упомянуть об опытах профессора Питера Тэдди, имплантировавшего микрочип под кожу сорокавосьмилетнего профессора кибернетики Кевина Уорвика. По мнению Уорвика проводимые эксперименты должны способствовать развитию способностей человека через технологическое усовершенствование мозга. Возможность видеть в недоступных глазу спектрах и слышать в недоступных уху диапазонах, а также общаться с компьютерами и друг с другом на уровне нервных импульсов окажется очень кстати, учитывая предсказываемое Уорвиком «наступление машин». Такое заглавие имеет одна из его книг, как и многие другие, посвященная развитию робототехники. Экспериментируя с самообучающимися роботами, Уорвик пришел к выводу, что сравнительно несложные ныне искусственные мозги потенциально способны на многое. А потому нужно развивать и человеческую нервную систему, интегрируя технологии «в плоть и кровь».

Второй аспект. Как продемонстрировал в своих произведениях Айзек Азимов, одним из способов ограничения деятельности ИИ является создание неизменяемого программного ядра, содержащего основные правила взаимоотношений ИИ и человека. Однако даже у самого изобретателя этих правил возникали сомнения в их действенности.

Жизнь слишком разнообразна и сложна, что бы поведение существа с интеллектом, превосходящим человеческий, можно было организовать таким простым способом.

Мне кажется, формирование психической реальности у разумного существа любой природы происходит по одним и тем же законам. И если мы не сможем встроить в ИИ что-то подобное этическому самосознанию, базирующемуся на человеческой этике, мы получим Франкенштейна.

Однако, есть ли возможность на уровне программы отразить реальную систему ценностей человека. Да и есть ли она сегодня!? Вот вопрос, на который необходимо найти ответ как можно скорее.

 Отправлено: 02.12.06 20:50. Заголовок: Re:

ОБСУЖДЕНИЕ ДОКЛАДА


Андрей Столяров: Давно хотел выяснить: в чём суть теории клеточных автоматов…

Дмитрий Ивашинцов: Клеточным автоматом называют сеть из элементов, меняющих свое состояние в дискретные моменты времени в зависимости от состояния самого элемента и его ближайших соседей в предшествующий момент времени. Различные клеточные автоматы могут демонстрировать весьма разнообразное поведение, которое может быть адаптировано для целей обработки информации за счет выбора закона изменения состояния элемента и конкретного определения понятия “ближайшие соседи”. Например, нейронная сеть Хопфилда вполне может рассматриваться, как клеточный автомат, элементами которого являются формальные нейроны. Для этой сети известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми. Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить ("вспомнить" по частичной информации) соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов. Причём это происходит случайным образом.

О. Вениамин: Как коммуникация в Интернете?

Дмитрий Ивашинцов: В Интернете вы идёте по конкретным узлам. Здесь же каждый узел окружён другими узлами, и от случайного состояния этих узлов и самой клетки зависит прохождение или не прохождение сигнала в ту или другую сторону.

Андрей Столяров: Мы сейчас сталкиваемся с ситуацией, которой в истории человечества ранее никогда не было. На мой взгляд, идёт не просто трансформация индустриальной страты в информационную, но переход к какому-то принципиально новому состоянию, которое пока вообще невозможно представить. Лично мне кажется, что трансформируется уже не только общество или техника, а точка сборка всей нашей цивилизации, то есть собственно человек. Сам человек начинает сейчас становиться чем-то иным. Ведь до сих пор глобальная цивилизация имела строго антропоморфный характер. И техносфера, и социосфера были продолжением базисных человеческих качеств. А сейчас происходит постепенный отход цивилизации от антропоморфности, и проблема искусственного интеллекта – лишь одна из частных проблем расслоения или расчеловечивания человека. Вид homo sapiens, вероятно, переходит к полиморфному, множественно-биологическому существованию, и потому счётной единицей цивилизации становится не человек, а разум. Юридически это уже признаётся. Юридическим актором современного общества является именно разум, независимо от его носителя. Человек может не видеть, не слышать, не иметь рук, ног, некоторых внутренних органов, однако если он сохраняет рассудок, то признаётся юридически правомочным. И обладает всеми правами, что и «нормальная личность». Замечу, кстати: мы не имеет четкого определения, что есть «человек». И точно также не имеем четкого определения, что есть «разум». Скорее всего эти понятия аналитическим дефинициям не поддаются. Однако вопрос о множественности носителей разума уже встает на повестку дня. Видимо, мы переходим в среду, где разум сможет приобретать самые различные материальные воплощения. И тем не менее, будет именно разумом. В связи с чем нам придется пересмотреть многие, казалось бы, незыблемые представления.

О. Вениамин: Фон Нейман сформулировал теорему, что автоматы способны самовоспроизводится. Но сложность – она, вроде бы, не нарастает. То есть воспроизводящиеся автоматы имеют ту же самую сложность, что и первоначальные. Есть ли нарастание сложности или её нет?

Дмитрий Ивашинцов: Все дело в программных установках. Если заложена задача развития – она будет реализовываться. Успешно или нет, другой вопрос.

О. Вениамин: Но пока мы самовоспроизводящихся автоматов не наблюдаем.

Дмитрий Ивашинцов: Дело в том, что на сегодня эти работы достаточно дорогостоящие. Поэтому инвестиции направляются в востребованные обществом (в лице потребителей разного уровня) сектора проекта ИИ. Например, в электронные переводчики, в системы различение голоса или зрительных образов. На самовоспроизводящуюся машину пока заказчика нет, хотя создать её уже возможно.

О. Вениамин: Полагаю, что уровень сложности будет тот же.

Дмитрий Ивашинцов: Еще раз повторю, что это зависит от программы, которую вы заложите.

Николай Кофырин: Когда вы говорите об искусственном интеллекте, и употребляете применительно к нему слово «сознание», речь идёт о сознании, или о самосознании, что и отличает человека от всех других живых существ?

Дмитрий Ивашинцов: Есть проект «искусственный интеллект», который объединяет сегодня порядка 15-16 направлений. И есть тот искусственный интеллект, который приходит в момент сингулярности. Последний и будет наделён сознанием в том смысле, о котором говорилось в докладе.

Андрей Столяров: Есть ли критерии искусственного интеллекта? Тест Тьюринга (разговорный идентификатор), насколько я понимаю, сейчас могут пройти многие компьютерные программы. То есть, по общению с анонимным собеседником невозможно установить – человек это или нет. Современные «боты», искусственные «личности» Интернета, могут поддерживать режим диалога неопределенно долгое время. Появились ли какие-нибудь другие критерии?

Дмитрий Ивашинцов: Нет абсолютных критериев интеллекта. В разных источниках определения даются разные, вплоть до требований соответствия трёхсотам шестидесяти позициям, по которым определяется наличие или отсутствие искусственного интеллекта у того или иного существа. Единого принятого терминологического определения, что такое искусственный интеллект, по моим данным, нет.

Андрей Столяров: Если для объяснения какого-либо явления существует множество научных гипотез, это верный признак того, что ни одна из них не верна. Однако, затронем другой, более важный аспект. Вы говорите о правилах, которые можно было бы «зашить» в искусственный интеллект, чтобы он не вышел из подчинения человека. Вы действительно полагаете, что такое возможно?

Дмитрий Ивашинцов: Я считаю, что единственный способ защитить человечество от нечеловеческого сверхинтеллекта, это поместить в него программный слепок нашей души. Задача бредовая, но если можно было бы сформулировать этические ценности человека, приемлемые для большинства населения Земли, то вопрос был бы решен. Беда в том, что человек не обладает природной моралью, и выстраивает ее в соответствии со своими приоритетами.

Николай Кофырин: Известно, что существует некая абсолютная истина, называемая «золотое правило нравственности», которое было открыто в различных культурах независимо друг от друга более пяти тысячи лет назад. Оно гласит: «Не делай другому того, чего себе не желаешь. Как хочешь, чтобы с тобой поступали, так и с другими поступай». Никто не оспаривает эту истину, все соглашаются с ней. Но проблема в том, соглашаясь с этой истиной, поступают не соответственно ей. То есть заложить можно что угодно, но будет ли это выполняться?

Дмитрий Ивашинцов: Некоторые специалисты считают, что не стоит бояться компьютеров, достаточно не приделывать им рук и ног. Но мы уже сегодня передаём компьютерам управление сложнейшими технологическими процессами. Если это будет суперинтеллект, ему не нужны ни руки, ни ноги.

Дмитрий Травин: Когда человек что-то делает, тот объём информации, который он перерабатывает своим сознанием, потом оформляется в некое волевое решение. До сих пор вы говорили лишь о способности искусственного интеллекта собирать и обрабатывать информацию. Но о его способности принимать волевые решения я не услышал. Будет ли искусственный интеллект такой способностью обладать?

Дмитрий Ивашинцов: Искусственный интеллект формируется отдельными блоками при решении конкретных задач, формулируемых людьми. Скажем, делается суперкомпьютер для ведения военных действий или расчёта военных операций. В него закладывают целевые функции. Ценностные ориентиры такой программы сформированы условиями войны. Обретя свободу воли такой суперкомпьютер будет действовать соответствующим образом.

Дмитрий Травин: То, что машины могут обрести подлинную свободу воли, это фантастика, или на чём-то основано?

Дмитрий Ивашинцов: Основанием для таких предположений являются, в первую очередь, исследования эволюции головного мозга, способов обработки им больших массивов информации. Этим занимаются специалисты в области когнитивных наук. Как показывают эти исследования, существует определённый порог скорости получения и обработки больших массивов информации, при котором возникает процесс мышления. То есть переход количества в качество. Технически сегодня этого достигнуть нельзя. Нами еще не разгадан код в рамках которого происходит мышление. Но сейчас идёт поиск нового программного языка, позволяющего реализовывать самообучающиеся программы, способные обрабатывать информацию со скоростью приближающейся к той, которая естественна для человека.

Борис Аверин: Когда я прослушал доклад, у меня создалось впечатление, что я прочитал страшный фантастический роман. Причем речь в нём идёт исключительно об интеллекте. Но ведь человек состоит не только из интеллекта, у него есть ещё совсем другая область – эмоции. И это не представляет собой ничего нового. Еще французские энциклопедисты считали, что если они напишут такую большую энциклопедию, где будут содержаться все научные данные той эпохи, а потом мы все это прочтём, то мир сразу изменится. И оказалось, что это не так. Теперь мы снова столкнулись с той же проблемой. Ведь Интернет, на который было столько надежд, это лишь новая электронная форма той же энциклопедии, где любые сведения можно получить буквально за пару минут. И опять это ничего не меняет. Мне весь этот страх перед искусственным интеллектом напоминает страх в начале 20 века, когда развитие техники производило ещё более сильное впечатление. Когда созданное человеком, порабощало и обезличивало его. Куприн, например, в 1892 году писал: « скоро мы будем видеть друг друга по проволоке». Тогда всё менялось даже быстрее. Не случайно возникла в литературе «Голова профессора Доуэля»! Сейчас – те же самые страхи. Ну что, опять будем все сводить к интеллекту?! Я представляю себе этих новых наших «энциклопедистов», которые всё разложили по полочкам – физику, химию, биологию, а о метафизике даже не вспомнили. А ведь человек – это прежде всего метафизическое измерение!..

Дмитрий Ивашинцов: Вот в этом всё и дело! Искусственный интеллект это не человеческое существо. Оно будет обладать сознанием, но будет лишено человеческой ментальности. Точка сингулярности является моментом, после которой, как считают специалисты, мы окажемся, вероятно, на уровне кошек в доме нового хозяина. Наиболее опасное направление проекта ИИ, разработка программ, способных писать новые программы без участия человека.

Андрей Столяров: Давайте отделять интеллект от «счетчика». «Счетчик», пусть даже невероятной мощности, останавливается после выполнения данных ему команд. Он не станет делать ничего сверх того, что ему приказано. Интеллект, напротив, «ведет» себя сам. Он не останавливается никогда. Более того, он все время стремится переступить границу известного. Выйти в те области, которые разумом еще не освоены. Это его имманентное свойство. Этим интеллект отличается от калькулятора. Помните «Дневники» Ренара? «Мозг не знает стыда». Формулируя это другими словами, можно сказать, что разум не признает никаких границ. Попытки зашить в искусственный интеллект некие правила, которые он заведомо не сможет преодолеть, означает, что мы устраняем главную его компоненту. Превращаем интеллект в калькулятор, в счетчик для решения ограниченного набора проблем. Разум лишь тогда разум, когда он самостоятелен. Когда он не просто решает типовые проблемы, но ставит вопросы, ответы на которые пока не знает никто.

Елена Травина: При обращении к этой проблеме возникает ощущение несерьёзности. Я бы назвала это детской болезнью человечества. Складывается впечатление, что человечество уже второй век пытается уподобиться Богу. И как Бог создал человека, так человек пытается создать нечто достойное. При этом, все страшилки, которыми нас пугают, играют на руку человеку, потому что, чем страшнее мы представим себе этого Франкенштейна, который выйдет из сингулярности, тем больше мы набиваем себе цену. А по сути дело в психологической гиперкомпенсации. Если у нас слишком много проблем, то мы переключимся с этих проблем на что-то иное, начинаем решать другие проблемы, а эти – они как-нибудь «устаканятся». Может быть, и детская болезнь наша пройдёт, и до точки сингулярности мы как-нибудь не дотянем.

Дмитрий Ивашинцов: На самом деле человечество практически этим не озабочено. Не занимаются всерьёз этой проблематикой философы. При прохождении точки сингулярности заниматься этим будет поздно. Да! Этот сценарий может не реализоваться. Но если это случиться, то это будет практически конец человечеству. Зачем же нам это допускать? Тем более, что те проблемы, которые ситуация высвечивает, касаются нас сегодня напрямую. Скажем, создание приемлемой для всех этики требуется хотя бы для того, чтобы погасить меконфессиональные проблемы. Мы должны найти что-то общее, о чём мы можем договориться.

Елена Травина: Но тогда выстраивается властная вертикаль, на вершине которой стоит кто-то с всевидящим оком и указывает, как надо и как не надо.

Дмитрий Ивашинцов: Человек это социальное животное, требующее обязательного регулирования. Без управления общество не может существовать. Управление есть всегда и везде. Другое дело, правила этого управления должны быть результатом общественного согласия. Если мы подойдём со всеми своими распрями к созданию искусственного интеллекта, то мы получим ситуацию покруче ядерного досье Ирана.

Дмитрий Травин: Получается, что пока человечество не решит свои человеческие проблемы – вне связи с проблемой искусственного интеллекта, – мы всё равно ничего предложить не сможем.

Дмитрий Ивашинцов: Об этом и речь. Но есть и другой путь – путь модернизации человека. Человек должен владеть ситуацией во всех случаях. А для этого необходимо повысить реальное быстродействие при принятии решений, способность контролировать компьютеры на уровне электронных сигналов и многое другое. Пока же мы теряем управление на особо опасных технологических направлениях.

Андрей Столяров: Мне кажется, что проблема несколько шире. Для того, чтобы искусственный интеллект представлял опасность, совсем не обязательно выходить на собственно человеческий уровень. Достаточно, например, уровня насекомых. А этот уровень достигается уже сейчас. Скажем при метакомпьютинге, когда сотни и тысячи микропроцессоров объединяются через локальную сеть для решения определенной задачи. Вот вам уровень насекомого. Впрочем, можно и проще. Вспомним вирусы, которые в биогенезе стоят на грани между неживым и живым. Вирус представляет собой лишь нить ДНК, чистую генетическую программу, которая, внедряясь в чужой организм, начинает там размножаться. Аналогия с компьютерными вирусами вполне очевидная. Опасаться, по-моему, надо вовсе не искусственного интеллекта, а зарождения собственно жизни в информационной среде. Это ведь может произойти независимо от человека. А поскольку эволюция в инфосфере идет намного быстрее, чем биологическая эволюция, то мы опомниться не успеем, как «другая жизнь», основанная на информационном метаболизме, начнет завоевывать себе место под солнцем.

Дмитрий Травин: Мне кажется, проблема здесь стоит несколько по-другому. По моему, может существовать и совершенно иная гипотеза. Быть может, насчет искусственного интеллекта еще ничего не доказано, а то, что мы видим, технический энтузиазм нашего времени, это лишь одна из форм психологической компенсации. Это реализации комплексов технически образованных индивидов, которые на самом деле очень не удовлетворены нашим миром и потому пытаются сформировать очередную утопию. В истории науки, кстати, много раз казалось, что всё уже строго доказано. А потом выяснялось, что в действительности все иначе.

О. Вениамин: Есть известное утверждение, что техническое развитие человечества намного опережает его моральное развитие.

Андрей Столяров: Да, это известная закономерность. Некоторые исследователи определяют ее как техно-гуманитарный баланс. Если технические возможности цивилизации начинают опережать адаптивные свойства культуры, то возникает кризис, который может достигать глобальных масштабов. Вспомним хотя бы неолитическую катастрофу, когда прорыв в области технологий охоты (изобретение лука и стрел) вызвал схлопывание пищевого ресурса (исчезновение мегафауны) – разразился Великий Голод, человечество было поставлено на грань вымирания. В истории это случалось множество раз. Сейчас мы вновь приблизились к ситуации, когда потенциал техносферы, по крайней мере в ее информационном аспекте, превышает адаптивные свойства культуры. В техносфере образуются области саморазвивающихся процессов, которые мы уже не в состоянии контролировать. У нас нет таких механизмов. Это может привести либо к техногенному Апокалипсису, либо к зарождению «новой жизни» – специфической форме существования информационных объектов.

Николай Кофырин: Нужно ли человеку такое громадное количество информации, которая сейчас на него обрушилась? Выдержит ли его психика?

Дмитрий Ивашинцов: В том-то всё и дело, что никто искусственный интеллект, который приведёт к сингулярности, не создаёт. Такой задачи нет. Но большинство специалистов, которые занимаются анализом не просто программ и роботов, а анализом состоянием науки и технологий, говорят о том, что мы, не желая этого, всё равно создаём ИИ. Процентов восемьдесят специалистов считают, что невозможно создать искусственный интеллект, но наращивать ресурс суперкомпьютеров и сетей считают нужным, особенно в области военных технологий.

Николай Кофырин: Если я вас правильно понял, то переход количества в качество может произойти неуправляемо?

Дмитрий Ивашинцов: Сингулярность будет приближаться стремительно, и вряд ли мы будем это ощущать. Сегодняшний разговор – пример нашей нечувствительности. Технологическая сингулярность наступит неожиданно и непредсказуемо, и мы никак не будем к этому готовы.

Михаил Соколов: Я прошу указать мне хотя бы на одну причину, почему увеличение сложности машин может привести к скачку такого рода. На самом деле, мне кажется, что мы сами себе не всегда отдаем отчет в том, что понимаем под ИИ. Во всех фантастических историях, момент зарождения искусственного разума – это момент, когда у машины появляются человеческие желания, которые входят в конфликт с желаниями самих людей. Под ИИ мы имеем в виду именно человеческие мотивы, а не способность принимать решения – это машины уже умеют – и не способность осознавать себя – поскольку никто не может доказать, что микрокалькулятор и без того ей не обладает. Причем наша технофобия основана на уверенности, что, если эти желания проявятся, они будут именно такими, какие свойственны худшим из людей – захватить всю власть и устроить геноцид. Как только какая-то машина обнаружит намерение сделать все это, мы скажем, что она приобрела собственный разум. До того – нет. Мне не совсем понятно, однако, на чем основана уверенность, что современные автоматы начнут всего этого желать, как только у них увеличится количество «нейронов». Разумные, осознающие себя существа не обязательно станут хотеть того же, чего и мы. Более того, их желания могут быть настолько непохожими на наши, что мы и не догадаемся, что они у них есть. Никлас Луман, немецкий теоретик систем, предполагал, что мы можем рассматривать вселенную как некое количество систем, которые пригнаны друг к другу, как шестеренки - но осознают друг друга как просто внешнюю среду, подчиняющуюся каким-то естественным законам. Он называл это «структурной сцепкой». Они не знают, что все они разумны. Наша вера в то, что калькулятор неразумен, основана на том, что он, как правило, делает то, что мы заставляем его делать, а если и происходят сбои, то мы не можем усмотреть в них какую-то последовательную стратегию поведения. Этого не достаточно, однако, чтобы доказать, что он не способен осознавать себя, и, в этом смысле, не обладает разумом. Мы воспринимаем как неопровержимую истину, что человеческие существа разумны. Но представьте себе, что разумом обладает лингвистическая система знаков, язык как таковой. Он бы никогда не догадался, что люди, воспроизводящие его, разумны тоже – потому что они, по отношению к нему, ведут себя как калькуляторы по отношению к нам. Мы говорим на языке по его грамматическим правилам, и наши ошибки достаточно редки и случайны, чтобы в него не создавалось впечатления, что в них есть какая-то последовательность (эксперименты с намеренной модификацией языка не в счет, поскольку они случаются очень редко). Все это к тому, что машины уже давно могут обладать интеллектом – просто настолько отличным от нашего, что мы об этом не догадываемся. Нет никаких оснований предполагать, что усложнение конструкции обязательно приведет машину к обладанию теми же желаниями, что и нас – наоборот, оно, возможно, направит ее еще дальше в сторону.

Дмитрий Ивашинцов: Дело в том, что само по себе увеличение количества «нейронов» в машине не решает проблему. Тут идёт комплексное решение проблемы. Машины учатся различать образы, машины учат семантике, их учат говорить осмысленно. Хотеть тоже учат. Пример – любая компьютерная игра. Сейчас развиваются различные направления, моделирующие отдельные элементы мозга. В какой-то момент кубики сложатся в новую структуру. Несмотря на быстродействие машин, человек в рамках нечеткой логики, принимает решение быстрее. И такие вещи как интуиция, озарение для машин все еще невозможная вещь. Шахматная машина это калькулятор. Для «хорошей» шахматной машины нужен программист, хорошо знающий шахматную теорию. С точки зрения искусственного интеллекта хороша та программа, которая хороша сама по себе, вне знаний того, кто её создавал.

Андрей Столяров: Я согласен с Дмитрием Александровичем. Фундаментальное свойство разума – это использование «нечеткой логики». Здесь возможна аналогия с шахматами. Мастер по шахматам отличается от перворазрядника тем, что может просчитать партию на большую глубину. Он способен преодолеть большее количество вариантов. А вот гроссмейстер от мастера отличается уже тем, что он меньше считает и оценивает ситуацию скорее интуитивно. Фактически – как произведение искусства. Так вот, перворазрядник и мастер – это «счетчики», а гроссмейстер – это «шахматный разум».

Николай Кофырин: Отличие человека от машины в том, что человек может творчески мыслить. Можно ли сказать, что искусственный разум, который начнёт создавать самосовершенствующиеся программы, будет обладать творческим началом?

Дмитрий Ивашинцов: Искусственный разум и отличает возможность создавать концептуальные понятия на основе осваиваемой информации.

Евгений Козлов: Действительно ли подросток может заниматься серьезным программированием?

Дмитрий Ивашинцов: Чем отличается ребёнок от взрослого человека? Тем, что ребёнок обучается языку любому, и в рамках этого языка может жить в любой среде. Попадая в среду языка Паскаля и усваивая его, подростки начинают на этом языке мыслить.

Виктор Лукашевич: В 1968 году вышла книга «Структуры научных революций», где базисным признаком научных революций является их неразличимость. И начиная от эпохи Великих географических открытий, никто не осознавал в текущий момент, что люди переживают именно революционный период. Более того, апокалипсис не настал после взрыва в Хиросиме, и я надеюсь, что он не настанет и далее. Идея создания универсальной этики напоминает идею «Общественного договора» Руссо, когда соберут побольше людей, и они договорятся, что нельзя некоторые вещи делать. Речь на самом деле идёт не об этике, а о системе табуизации некоторых действий, которые вполне можно предположить. Для этого не стоит даже создавать властную вертикаль, а вполне хватит логики Тертуллиана. В начале 20 века был Эрони Бентон, создавший теорию удовольствий, создавший науку деонтологию – науку о должном поведении человека. А должное поведение предполагает, что существует некое пространство поступков, за пределами которых наступает поведение не должное. И это не имеет отношение ни к религии, ни к вере, а по всей вероятности, к биологическому выживанию человека как вида. Как соотносится ваш интерес к искусственному интеллекту с нашим интересом к рациональности? Поскольку всякая экономическая модель базируется на идее полной рациональности. А что такое полная рациональность? Это абсолютная информированность – что есть утопия! – и совершенство счётных способностей (что сегодня находится за точкой бифуркации). Искусственный интеллект, его совершенствование и рациональность. Как эти вещи соотносятся? Рациональность – это свойство интеллекта, она вообще гуманистична, или это просто проблема оптимизации затрат и результатов? Если ответ положительный, то перспективы печальные; если отрицательный, то есть надежда.

Дмитрий Ивашинцов: Количество катастроф идёт по нарастающей и с большим количеством жертв. Это означает, что мы должны этот процесс взять под определённый контроль. Мы должны готовить будущие поколения для жизни в будущем, а не в прошлом, как это делается сегодня. А это значит, мы должны спрогнозировать ту среду, в которой они будут жить, и продумать те правила жизни, которые будут там, а не сегодня здесь. Потому что это будут разные миры. Сингулярность придёт или не придёт – это вопрос, но будущее придёт в любом случае. И чувствуя опасность нарастающего давления техносферы на биосферу, мы должны вырабатывать определённые правила. На самом деле правила не прописаны нигде. Ведь в каждой конкретной ситуации человек исходит не только из правил, например, «не убий». Если ты видишь человека, который убивает ребёнка, то для тебя это правило не действует. Ситуаций таких множество. Наша этика на самом деле неформальная, не формализованная, мы вне её. И вот как её изложить таким образом, чтобы это можно было куда-то заложить. Вот это мне представляет самым сложным.

О. Вениамин: Общечеловеческая этика присутствует безусловно и в «золотом правиле нравственности», и в заповедях мировых религий, и даже во «Всеобщей декларации прав человека». Там собраны все общечеловеческие правила поведения. Когда говорится «не убий», что в большинстве случае убивать не надо. Если и допускается убийство, то в виде какого-то исключения.

Дмитрий Ивашинцов: Как эти исключения прописать?

О. Вениамин: Общие правила и исключения из них всегда существуют. Весь вопрос, как эти правила формализовать? Что-то можно формализовать, хотя бы по принципу отрицательному: мы не знаем, что делать надо, то мы твёрдо знаем, что делать не надо. Убивать плохо и воровать плохо. Во всех культурах во все времена у всех народов воровать всегда плохо. И эти вещи можно формализовать. То есть надо двигаться в эту сторону, не сдаваться. Если не мы формализуем, то другие «крепкие ребята» формализуют и “отформатируют”. Нам этот процесс уже не остановить. Так что я предлагаю двигаться вперёд, а не горевать по поводу того, что мы всё равно ничего сделать не сможем.

Андрей Столяров: Абсолютная формализации этики, разумеется, невозможна. Просто потому, что невозможна абсолютная регламентация вообще. И тем не менее, процесс этот непрерывно идет, что особенно хорошо заметно в координатах истории. Есть, скажем, этический максимум, который представлен почти всеми мировыми религиями. На языке христианства он сформулирован как «не убий». И есть этический минимум, то есть социализации этого максимума государством, которое говорит: да, в принципе, «не убий», но убивать все-таки можно: на войне, при самозащите, по приговору суда. Причем, обратите внимание: смертная казнь (убийство по приговору суда) во многих странах отменена. Убийство на войне тоже регламентируется теперь различными правилами. То есть, максимум и минимум этики неуклонно сближаются. Правда, это сближение асимптотическое: полное слияние не будет достигнуто никогда. Всегда будет существовать некий зазор. Всегда будет возникать ситуация неопределенности. И кто будет принимать решение здесь: человек или программа, разум или искусственный интеллект? Наше нынешнее положение можно определить так: идёт нечто из будущего, это нечто может представлять собой колоссальную угрозу для человечества. Ситуации неопределенности начинают возникать все чаще и смещение к нечеловеческому (программному) управлению все сильней. Если обратиться к анализу техногенных сбоев, то мы увидим, что наиболее частый вопрос, который в аварийной ситуации задает оператор, это «а что она делает?». Имеются в виду действия, предпринимаемые программным обеспечением. Человек их не понимает. Потому, например, что оптимальность с его точки зрения и с точки зрения программного обеспечения выглядит по-разному. Оптимальным решением «для машины» часто является гибель людей. Что для человека, разумеется неприемлемо. Однако, отреагировать он не успевает. «Машина» быстрее него. Вот что делать с этим? Никакие, более мощные, программы не помогают. Напротив, они наращивают сектор неопределенности.

Николай Кофырин: Если исходить из того, что человек всё-таки существо несовершенное, то может ли он создать совершенные правила для совершенной машины?

Виктор Лукашевич: Нынешняя ситуация принципиально отличается от ситуации первой и второй мировой войны тем, что решения принимаются не человеком. И в этой ситуации человек должен отчетливо представлять, как эти решения принимаются, каков механизм саморазвития процесса решений, как далеко он может зайти, где мы собираемся оказаться ...

 Отправлено: 02.12.06 20:50. Заголовок: Re:

... .

Дмитрий Ивашинцов: Ранее была опубликована информация о вживлении компьютера в нервную систему человека. Теперь ни одной новой информации об этом нигде нет. Скорее всего нашёлся инвестор, который этим заинтересовался.

Дмитрий Солонников: Я хотел бы вернуться к теме столкновения цивилизаций в рамках идеи создания искусственного интеллекта. Есть ли информация, насколько одновременно цивилизационные проекты движутся к созданию искусственного интеллекта? Не получится ли ситуация, когда лишь один из проектов дойдет до конечного результата, и тогда межцивилизационные конфликты не смогут перерасти в столкновения различных искусственных интеллектов? Или другая ситуация, когда все цивилизационные проекты на самом деле вместе создают единый искусственный интеллект, и тогда, после его создания, выхода на новый уровень, может произойти нивелирование их противоречий, не допускающее дальнейшего столкновений?

Дмитрий Ивашинцов: До определённого момента белая раса опережала по разработке проблем искусственного интеллекта весь остальной мир. На сегодняшний день Китай и Индия стремительными шагами догоняют Запад. Поэтому существует прогноз, что в ближайшие пять-десять лет эти расы могут выйти на уровень, когда конкурирующие проекты могут появится почти одновременно.

Кирилл Королёв: Мне кажется, нужно говорить не столько о проблеме создания искусственного интеллекта, сколько о проблеме диалога между человеком и предполагаемым интеллектом. Всем памятна катастрофа 2003 года - столкновение двух самолётов по неверной команде диспетчера. В этот момент лётчики видели сигнал системы, которая им говорила, что они должны уйти от столкновения, но подчинились человеку. И сразу встаёт конфликт интересов. Из чего исходить? Мы пытались проанализировать эту проблему с точки зрения человеческой логики; но она перестаёт быть применимой.

Дмитрий Ивашинцов: Наша задача сейчас попытаться направить создание искусственного интеллекта таким образом, чтобы мог произойти диалог, чтобы не появился абсолютно нечеловеческий интеллект и не появился абсолютно не понятный нам разум. Для того, чтобы вести диалог, мы должны иметь какую-то общую этическую систему координат.

Дмитрий Солонников: Можно ли моделировать систему общения разных интеллектов – человеческого и искусственного – на другой модели: человеческий интеллект и интеллект человекообразной обезьяны? Насколько два интеллекта (шимпанзе и человека) могут общаться друг с другом? Насколько они воспринимают нас, а мы их? И в соответствии с этим можно ли перенести модель этого биполя на биполь человека и сверхинтеллекта?

Дмитрий Ивашинцов: В принципе такая задача может решаться, но такая задача на сегодня просто не ставилась. Может быть, она где-то разрабатывается, но инвестора на такую задачу серьёзного нет. Должен появится для этих проблем заказчик. Для этого люди должны знать, что происходит, а не воспринимать это как рассказы фантастов.

Елена Травина: Наша сегодняшняя ситуация с искусственным интеллектом отличается от прошлых революций тем, что они уже в значительной степени демифологизированы. А то, что мы обсуждаем сейчас, это пока сплошное пространство мифа. У нас нет никакого выбора, дорога только к точке сингулярности. Но есть и другой путь, который заключается в том, что до этого рубежа мы просто не доберемся: человечество, наконец, бросит свои детские игры. А то, что они детские, я в очередной раз убедилась, как только заговорили о тотальном контроле. Тотальный контроль – это как раз из тех свойств, что присущи ребёнку. Как только человек начинает отходить от сплошного контроля, это означает, что ребёнок взрослеет. Сейчас мы обсуждаем только один путь – путь техногенной цивилизации, то есть цивилизации западной. Но ведь всё, что человек пытается создать в качестве искусственного разума, уже заложено в нём самом.

О. Вениамин: Это уже не вопрос выбора. Процесс уже почти не управляемый. Мы из мифа вырваться не можем. Мы можем только заменять один миф на другой. Конечно, качество мифов тоже различается, и, соответственно, качество жизни.

Дмитрий Травин: А существуют ли какие-то единые принципы безопасности? До сих пор предлагался только один подход к решению этой проблемы: создание неких этических ценностей. Но ведь в истории не было ни одного успешного решения какой-либо проблемы таким способом. Все попытки в лучшем случае не ухудшали ситуацию. Но и нисколько не улучшали. Система защиты на социально-политическом уровне, например, это некая договорная система: контроль с помощью силы. Скажем, «Священный союз», созданный после наполеоновских войн. Такая система работает какое-то время, потом меняется соотношение сил, появляются новые факторы, отклонения и система разваливается сама собой. Нечто подобное мы наблюдаем сейчас в области сдерживания ядерного оружия. Известная «подушка безопасности» в автомашинах срабатывает хорошо. Контрацептивы тоже достаточно эффективны. Может быть, следует вообще вести поиск в какой-то совсем иной области. Там, где мы ищем сейчас, убедительных методов нет.

Андрей Столяров: В ситуациях сверхсложных взаимодействий никакая защита себя не оправдывает. Постановка защитных систем еще больше увеличивает уровень сложности. А это значит, что ошибки начинают возникать уже в самой защите. Вспомним Чернобыль. Там к аварии привело именно срабатывание защитной системы. «Убило то, что должно было защитить». Нет, традиционные решения уже невозможны. Нужны решения парадоксальные, меняющие характер взаимоотношений человека и новой информационной среды.

Дмитрий Ивашинцов: Я вижу систему защиты в модернизации живого. И этот путь, по-моему, вполне реальный. Сохраняя человека с его ценностями, с его моралью, в тоже время, усовершенствуя его мы достигнем необходимого.

О. Вениамин: Вы имеете в виду просвещение?

Дмитрий Ивашинцов: Это не просвещение, а, модернизация о которой говорилось ранее.

Николай Кофырин: Известно, что разработка Интернета это была сугубо военная программа. Смею предположить, что когда мы не знаем об инвесторе, он просто засекречен. Все сегодняшние разработки, как, например, мобильные телефоны, это военные технологии, имеющие двойное назначение. Какие бы мы ни устанавливали сложные системы, в ключевой точке принятия решений без человека не обойтись.

Резюме Клуба.

Андрей Столяров: В связи с последними высказываниями я хотел бы заметить, что проблема искусственного интеллекта действительно имеет две разных грани. Во-первых, это создание собственно искусственного интеллекта: иного разума, базирующегося, например, на электронных носителях. На мой взгляд, это не слишком вероятная версия. Скорее уж следует опасаться, как я уже говорил, самозарождения «электронной жизни» в сетях – в вирусной или бактериальной форме – которая приобретет вид пандемии и сожрет всю существующую инфосферу. Такое в эволюционном сюжете уже наблюдалось. Я имею в виду «циановый кризис», когда анаэробные цианобактерии, не имевшие в тот период естественных врагов, мгновенно заполонили собой все океаны, утилизовали почти весь углекислый газ и задохнулись в кислородной атмосфере Земли, которую сами же и образовали. Такой сценарий развития в информационной среде вполне возможен. А во-вторых, это модернизация человека: новое, принципиально иное сопряжение его с техносферой. Это может быть осуществлено за счет поглощения человеком своей нынешней технической периферии, за счет того, что информационная сетевая среда станет просто продолжение человеческого сознания. В этом случае речь идет о создании сверхразума, о появлении расы существ, обладающих сверхчеловеческими способностями. В таком сценарии вероятность зарождение «электронной жизни» становится минимальной, точно так же, как минимальна сейчас вероятность зарождения биологической жизни. Примитивные ее формы, «преджизнь», даже если они возникнут, будут поглощены уже существующими организмами. Говоря проще, «преджизнь» не выдержит конкуренции. Также и сверхразум не позволит возникнут «электронному разуму». Он его попросту поглотит, включит в себя. Другое дело, что модернизация человека приведет, по крайней мере на начальном этапе, к расслоению человечества на новых «кроманьонцев» и новых «неандертальцев». Причем, нет большей вражды, чем та, которая вспыхивает между близкими родственниками. Мне кажется. что возникновение «сверхчеловека», к чему мы с новыми биологическими технологиями подошли вплотную, представляет опасность гораздо большую, чем гипотетический «искусственный интеллект».