Джозеф Вейценбаум
Возможности вычислительных машин и человеческий разум.
Осень 1975 Джозеф Вейценбаум
Кембридж, штат Массачусетс
Работа выполнялась в 1964-1966 г., и сообщения о ней (в литературе по информатике) были опубликованы в январе 1966 г. и августе 1967 г. Говоря кратко, я написал программу для вычислительной машины, с которой можно "беседовать" на английском языке. Собеседник-человек печатает свою часть разговора на пишущей машинке, соединенной с вычислительной машиной, а машина, управляемая моей программой, анализирует сообщение, переданное ей таким образом, составляет ответ на английском языке и обеспечивает печать ответа с помощью печатающего устройства.
Я выбрал для программы лингвистического анализа имя "Элиза", потому что, как и Элизу из знаменитого "Пигмалиона", ее можно было обучать "говорить" все лучше и лучше. Поскольку разговаривать можно лишь "о чем-то", т. е. разговор должен иметь некоторый контекст, программе было придана двухуровневая организация: первый уровень включает лингвистический анализатор, второй - сценарий. Сценарий представляет собой набор правил, примерно таких же, какие можно давать актеру для использования при импровизации, на заданную тему. Таким образом, "Элизе" можно задать сценарий, позволяющий ей поддерживать разговор о варке яиц или ведении счета в банке и т. п. Каждый сценарий позволял "Элизе" играть в процессе разговора определенную роль.
В виде первого эксперимента я задал "Элизе" сценарий, позволяющий ей играть роль (я бы даже сказал - пародировать) психотерапевта-роджерианца, проводящего первичное обследование пациента [Прим. перев.: Психотерапия - психическое воздействие (словом, поступками, обстановкой) на больного с лечебной целью. Роджерианская психотерапия - психотерапевтическая методика, созданная и развитая американским клиническим психологом Карлом Р. Роджерсом в 1940-1970-х гг. Задача психотерапевта согласно этой методике - создание условий, способствующих самостоятельной смене пациентом своих точек зрения (устранение негативной самооценки, увеличение числа положительных оценок), т. е. развитию справедливой самооценки. Психотерапевт должен быть при этом дружелюбным, заботливым, понимающим, но сам не должен ни оценивать, ни интерпретировать. Ситуация партнерства должна дать пациенту возможность самостоятельно выносить оценки: терапевт обеспечивает ему атмосферу понимания и старается стимулировать высказывания пациента, способствующие развитию у него процесса самопознания. Недирективная психотерапия (первая фаза развития психотерапии Роджерса - 1940-1950 гг.) предполагает, что психотерапевт лишь обеспечивает соответствующую атмосферу, поддерживающую процесс самоанализа у пациента]. Имитировать психотерапевта-роджерианца сравнительно легко, так как его метод в основном состоит в вовлечении пациента в беседу повторением ему его же высказываний. Приведенная ниже беседа молодой особы с "Элизой" в роли врача иллюстрирует как роджерианскую методику побуждения пациента продолжать разговор, так и работу машинной программы "Элиза".
...
"Доктор", как стали называть "Элизу", исполняющую роль психиатра, вскоре приобрел известность в Массачусетском технологическом институте, где эта программа появилась на свет, главным образом, благодаря простоте ее демонстрации. Большинство других программ не позволяло так живо продемонстрировать посетителям, не обладающим определенными специальными знаниями, например, в некоторых областях математики, мощь вычислительной машины в обработке информации. С другой стороны, любой человек в состоянии в определенной степени оценить "Доктора", Его сила как демонстрационного средства еще больше увеличивалась благодаря тому, что посетитель мог принять непосредственное участие в его работе. Вскоре аналоги "Доктора", созданные на основе опубликованного мною описания, стала появляться в других организациях США. Программа сделалась известной во всей стране, а в некоторых кругах приобрела статус "американской игры".
Потрясения, которые мне пришлось пережить в процессе роста известности и распространения "Доктора", были связаны в основном с тремя следующими независимыми друг от друга событиями.
1. Ряд практикующих психиатров всерьез поверили, что программа "Доктор" может перерасти в почти полностью автоматизированную форму психотерапии. Колби с соавторами, например, писали:
"Необходимо провести дальнейшую работу прежде, чем программа будет готова для клинического использования. Если плодотворность метода будет доказана, то он станет средством лечения, широко доступным для психиатрических больниц и центров, страдающих от нехватки психотерапевтов. Благодаря возможностям режима разделения времени, которым располагают сейчас и будут располагать в дальнейшем ЭВМ, вычислительная система, разработанная специально для этих целей, сможет обслуживать несколько сот пациентов в час. Психотерапевта-человека, участвующего в разработке и эксплуатации такой системы, машина не заменит, наоборот, эффективность его деятельности существенно увеличится, так Как его усилия не будут больше ограничиваться рамками соотношения "один пациент - один психотерапевт" (1 : 1), как это происходит сейчас"3[Прим.авт.: Д-р Колби не одинок в своем энтузиазме по поводу машинизации в психотерапии. Д-р Карл Саган, астрофизик, высказал свои соображения по поводу "Элизы" в "Естественной истории" ("Natural History") т. LXXXIV, © 1 (январь 1975 г.), с. 10: "Ни одна из подобных машинных программ еще не годится для использования в психиатрии, но то же можно сказать я о некоторых психотерапевтах. Поскольку в настоящее время, судя по всему, все большее число людей в нашем обществе нуждается в консультации психиатра, а использование ЭВМ в режиме разделения времени стало общепринятым, я вполне могу представить себе создание сети психиатрических терминалов ЭВМ, т. е. чего-то вроде батарей больших телефонных кабин, в которых за несколько долларов за сеанс можно поговорить с внимательным, квалифицированным и, в основном, недирективным психотерапевтом"].
Я всегда считал необходимой предпосылкой самой возможности того, что один человек может помочь другому научиться справляться со своими эмоциональными проблемами, разделение советчиком опыта столкновения с этими проблемами и возможность достижения их понимания путем выявления их в процессе сопереживания. Несомненно, существует множество методик, помогающих воображению врача проникать во внутренний мир пациента. Но то, что хоть один практикующий психиатр поддержит сведение этого решающего компонента процесса лечения к сугубо техническому приему, - такого я никак не мог себе представить! Что же. должен думать психиатр, выступающий с подобным предложением, о том, что он делает, обследуя пациента, если он способен считать, будто простейшая механическая пародия на одну из методик опроса пациента обладает хоть какими-либо чертами поведения человека? Возможно, Колби и его соавторы дают нам искомый ключ, когда пишут:
"Психотерапевта-человека можно рассматривать как систему обработки информации и принятия решений, снабженную множеством решающих правил, которые тесно связаны с краткосрочными и долгосрочными целями... При получении этих решений он руководствуется грубыми эмпирическими правилами, подсказывающими ему, что следует и чего не следует говорить в определенных ситуациях. Включение этих процессов в программу в том виде, в каком они используются психотерапевтами-людьми, довольно сложное предприятие, но мы пытаемся продвигаться в этом направлении" 4.
Каким же представляет себе психиатр пациента, если себя как врача он видит не исцеляющим человеком, а системой обработки информации, следующей правилам и т. п.?
Эти вопросы были моей формой осознания того, что Поляни ранее назвал "научным мировоззрением, по-видимому, породившим механистическую концепцию человека".
2. Я был встревожен, увидев, как быстро люди, разговаривающие с "Доктором", вступали в эмоциональный контакт с вычислительной машиной, каким тесным он оказывался и как явно они ее антропоморфизировали. Однажды мой секретарь, бывшая в течение долгих месяцев свидетельницей работы над программой и, следовательно, твердо знавшая, что "Доктор" - это просто машинная программа, начала с ним разговаривать. Обменявшись с "Доктором" всего несколькими фразами, она попросила меня выйти из комнаты. В другой раз, когда я заметил, что можно было бы организовать систему таким образом, чтобы я смог получать доступ ко всем разговорам, которые велись с "Доктором" (например, накануне вечером), меня немедленно обвинили в том, что это предложение равнозначно попытке шпионить за самыми сокровенными мыслями людей. Это явно свидетельствовало о том, что люди разговаривали с ЭВМ как с личностью, к которой естественно и целесообразно обращаться с интимными переживаниями. Я знал, конечно, что у людей возникают всевозможные формы эмоциональных связей с машинами, например с музыкальными инструментами, мотоциклами и автомобилями. Мне было известно из долголетней практики, что сильные эмоциональные связи, которые устанавливаются у многих программистов с их вычислительными машинами, часто возникают после даже непродолжительного взаимодействия с ЭВМ. Но я не представлял себе, что исключительно непродолжительное взаимодействие с относительно простой машинной программой сможет вызвать столь сильные иллюзии у вполне нормальных людей. Это озарение побудило меня по-новому осознать значение проблем взаимоотношения человека с вычислительной машиной и, следовательно, принять решение проанализировать их.
3. Другой неожиданной для меня реакцией на программу "Элиза" было распространение убеждения, что она демонстрирует общее решение задачи понимания вычислительной машиной естественного языка. В своей работе я старался показать, что общее решение этой задачи невозможно, т. е. понимание языка происходит исключительно в рамках определенного контекста и даже эти рамки бывают общими для различных людей лишь в ограниченной степени; поэтому даже люди никоим образом не являются олицетворением подобного общего решения. Эти выводы, однако, часто игнорировались. В любом случае "Элиза" была очень скромным и простым достижением. Ее заслуга, если вообще можно говорить о заслуге, лишь наглядное подтверждение того, что было давным-давно открыто другими, а именно - важности контекста для понимания языка. Выполненная позже гораздо более элегантная и, несомненно, более важная работа Винограда5 в области понимания вычислительной машиной английского языка в настоящее время неверно интерпретируется так же, как это было с "Элизой". Такая реакция на "Элизу" ярче, чем что-либо виденное мною до сих пор, показала, что даже высоко образованная публика способна и стремится приписывать не понимаемой ею технике чрезвычайно преувеличенные возможности. На самом деле я считал, что отношение широкой публики к новым техническим достижениям, несомненно, намного больше зависит от того, какими свойствами эта техника наделяется, а не от того, какими свойствами она действительно обладает или что она может и чего не может делать. Если, как это, по-видимому, и есть, представления публики предельно неправильны, то и ее решения неизбежно должны быть неверно ориентированы и зачастую неправильны. Из этих замечаний вытекают трудные вопросы: какова, например, ответственность ученого при обнародовании своей работы? И перед кем (или чем) ответствен ученый?
Как только у меня появились такие ощущения, я решил, как, возможно, в свое время и Поляни, что с вопросами и опасениями, так настойчиво возникавшими передо мной, можно быстро разделаться, скажем, в короткой серьезной статье. Я написал статью, касающуюся многих упоминавшихся здесь вопросов6. Однако постепенно я начал понимать, что некоторыми из этих фундаментальных вопросов я заболел гораздо серьезнее, чем показалось сначала. Возможно, мне никогда не удастся от них избавиться.
Существует столько же способов сформулировать эти фундаментальные вопросы, сколько и отправных точек для их разрешения. По сути дела они касаются ни больше ни меньше, как места человека во Вселенной. Но профессиональную подготовку я получил лишь в области информатики, т. е. (говорю совершенно серьезно) я образован на редкость плохо; не обладаю ни умением, ни смелостью, ни даже нахальством для того, чтобы писать на том уровне, который на самом деле требуется. Поэтому я пытаюсь разрешить лишь вопросы, связанные с теми заботящими меня проблемами, которые я упоминал, и надеюсь, что их более глубокий смысл выявится непроизвольно.
Я намерен заняться следующими вопросами:
1. Что есть в вычислительной машине такого, что придает правдоподобность представлениям о человеке как машине? Несомненно, существуют и другие машины, различными способами имитирующие человека, например паровой экскаватор. Но до изобретения цифровой вычислительной машины не было машин, способных выполнять даже самые скромные интеллектуальные функции, т. е. таких, о которых хоть в каком-то смысле можно было бы говорить как о разумных. Теперь "искусственный интеллект" (ИИ) - одна из дисциплин информатики. Это новое направление следует обсудить. В конце концов, необходимо провести линию, разделяющую интеллект человека и машины. Если такой линии нет, то адвокаты машинной психотерапии могут оказаться просто вестниками эпохи, в которой человек в конце концов будет признан ничем иным, как часовым механизмом. В этом случае последствия подобной объективной реальности должны быть незамедлительно распознаны и осмыслены.
2. Тот факт, что отдельные лица связывают себя с машинами сильными эмоциональными узами, не должен удивлять сам по себе. Инструменты, которыми пользуется человек, становятся в конце концов "продолжениями" его тела. Важно то, что человек для умелого действия своими инструментами должен интериозировать [Прим. перев.: Интериоризация - психологическое понятие, означающее формирование умственных действий и внутреннего плана сознания через усвоение индивидом внешних действий с предметами и социальных форм общения. Интериоризация связана и с процессом усвоения знаний и непосредственно с накоплением опыта: благодаря интериоризации по мере развития умения и умелости в определенной области деятельности повышается уровень регуляции движений и действий] их аспекты в виде кинестетических и перцептивных навыков. По крайней мере, в этом смысле инструменты становятся буквально частью человека, видоизменяют его и таким образом изменяют основу его эмоционального отношения к себе. Можно ожидать, что эмоциональная привязанность человека в большей степени сконцентрируется на инструментах, непосредственно связанных с его собственными интеллектуальными, познавательными и аффективными функциями, чем на машинах, просто увеличивающих силу его мускулов. Вся среда обитания "западного" человека насыщена сейчас сложными техническими "продолжениями" его функциональных способностей. Человек - в большой степени приспосабливающееся животное и способен принять подобные технические основы как подлинно естественные (как данные природой) для его отношения к себе и для его индивидуальности. Возможно, это помогает объяснить, почему он не сомневается в уместности вкладывания своих наиболее интимных чувств в вычислительную машину. В таком случае подобное объяснение также предполагает, что вычислительная машина представляет собой просто крайнюю степень экстраполяции гораздо более общего явления узурпации техникой способности человека действовать в качестве независимой силы, наделяя смыслом свой мир. Поэтому важно выяснить общее значение того, что человек передает свой статус независимой силы миру, рассматриваемому как машина.
3. Вероятно, парадоксально, что именно тогда, когда человек потерял в самом глубоком смысле веру - не говоря уже о доверии - в свою независимую роль, он начал полагаться на автономные машины, т. е. на машины, на протяжении достаточно больших периодов времени действующие исключительно на основе собственных внутренних реалий. Если его доверие к подобным машинам должно основываться на чем-то ином, нежели абсолютное отчаяние или слепая вера, он должен объяснить себе, что эти машины делают, и даже как они делают то, что они делают. Для этого ему необходимо создать какую-то концепцию их внутренней "сущности". И все же большинство людей не понимают вычислительную машину даже в малейшей степени. Итак, если только они не преисполнены величайшего скептицизма (прием, который мы пускаем в ход, наблюдая фокусника на сцене), они могут объяснить интеллектуальные подвиги вычислительной машины, только прибегая к простой аналогии, находящейся у них под руками, а именно: их внутренней модели, представляющей собственную способность мыслить. Следовательно, не удивительно, что они хватили через край; поистине невозможно представить себе человека, способного, например, имитировать "Элизу", но для которого языковые способности "Элизы" были бы пределом его возможностей. С другой стороны, вычисляющая машина является крайним случаем гораздо более общего явления. Даже того значительного объема коннотации [Прим. перев.: Под коннотацией в лингвистике понимается дополнительное содержание слова или выражения, его сопутствующие семантические или стилистические оттенки, которые накладываются на его основное значение, служат для выражения разного рода экспрессивно-эмоциональных оценочных обертонов], который определяется общепринятым употреблением слова "машина", недостаточно для указания его подлинной универсальности. Действительно, когда сегодня мы говорим, например, о бюрократии, университете или почти о любом социальном или политическом образовании, образ, который мы порождаем, слишком часто оказывается все тем же автономным машинообразным процессом.
