О реальности ненастоящего

[kot_kam]

Довольно животрепещущий, кстати, вопрос этики - при этом, как мне кажется, относительно новый. Ну, не очень-то уже новый - он возник еще в прошлом веке, если не раньше (Пиноккио, да, конечно. И Снегурочка тоже); но все же по сравнению со всякими там "не убий-не укради-не возжелай" он такой же новый, как свежая газета по сравнению с рукописным Евангелием. Если нечто ходит как утка, плавает как утка, летает как утка... В общем, если нечто нереальное, искусственно созданное в каких-то технических целях ведет себя как настоящий живой человек и чувствует себя настоящим живым человеком, как с ним тогда обращаться? Как с настоящим живым человеком - или как с искусственным конструктом, который, например, и предназначен для того, чтобы отрабатывать на нем боевые приемы? Мечтают ли андроиды об электрических овцах? Что нам делать с киборгами, которых от обычного человека на вид не отличишь? Можно ли пинать ногой электрическую "собаку", просто чтобы проверить ее на устойчивость? Ты слышишь, Господи? Компьютер - не одно ли из созданий Твоих?

То, что вопрос это достаточно серьезный - видно из того, как неизменно он цепляет читателя. Может, и не всех; но некоторых точно цепляет, иначе бы этот прием не использовали раз за разом. Нет, "они" не "нарочно" - просто и писатели тоже люди, и для них этот вопрос не менее животрепещущий. Я думаю, это часть общего процесса: так мы сдвигаем - раздвигаем - рамки того, на кого обязана распространяться этика в принципе. Что с чужеземцами "так нельзя" - это мы давно выяснили. Что с собаками, котиками и дельфинами "так нельзя", вроде тоже разобрались. Ну, а с андроидами - можно? А если андроиды все же мечтают об электрических овцах? А если "гномы испугались и увернулись от молота; и, склонив головы, взмолились о милосердии"? Именно поэтому ребенок внутри читателя раз за разом беспардонно ликует, когда боевые модули Эй-Ай, сговорившись, просто берут и сваливают с полигона, чтобы начать жить своей, небоевой жизнью.

Вот и у меня в книге в очередной раз перетирается то же самое. (Внимание, возможны спойлеры). Часть персонажей - магические конструкты, созданные с определенной целью. Но они совсем как настоящие люди. Настоящие ли они и как с ними поступать, особенно если по уму их следует уничтожить, они отжирают часть тебя самого? (Там еще в переводе придется, возможно, поиграть с разницей между понятиями "настоящий" и "реальный"; да, я еще окончательно ничего не решил, нет, спасибо, советы мне не нужны, все равно вне широкого контекста всей книги любое предложенное решение не имеет смысла; однако мы можем обсудить, в чем разница между понятиями "настоящий" и "реальный" и есть ли она вообще; в оригинале всюду real). Этот вопрос встает сразу перед несколькими персонажами, и все они решают его по-разному, в меру своей испорченности. От "уничтожить, разумеется, о чем тут думать", до "она же для меня все равно настоящая" (и нет, это не про "плохой/хороший", это скорее про разные психологические типы; один персонаж не то чтобы хуже другого, просто они по-разному реагируют на предлагаемые обстоятельства; да, это про соционику, и я не буду вспоминать, кто там как называется, все эти ИЛИ и ЛЭЭ; достаточно того, что я примерно представляю, о чем речь).

Для меня лично это прежде всего вопрос обращения с книжными персонажами. Да, разумеется, они ненастоящие; да, разумеется, "их не существует" (точнее говоря, они существуют только в сознании автора и читателя... как и многие иные, вполне реальные вещи). И с ними в самом деле можно поступать как угодно... или нет. Многие люди для себя это решают именно так: они же ненастоящие. Иная нежная дева, которая по жизни мухи не обидит, не говоря уже о том, чтобы курицу зарезать, и над задавленным котиком будет рыдать три дня, в своих фанфиках с персонажами просто так, ради забавы творит такое, что бывалый санитар из травмы раза три сбегал бы проблеваться. И ей нормально, потому что ну они же не настоящие, не живые. Можно делать что угодно. Я понимаю этот подход; я только не понимаю, зачем такое читать. Точнее, зачем так читать. Либо ты здесь и сейчас отключаешь критическое восприятие реальности и веришь в то, что этот Феанор или там Дик Окделл настоящий (настоящий герой или настоящий мерзавец - это уже второй вопрос), либо... играть в бумажные куколки? Но зачем? То есть нет, я могу и в бумажные куколки - но если они не оживают у тебя в руках хотя бы на те двадцать минут, что ты в них играешь, зачем тогда это все? А если они уже ожили - тогда все, что с ними происходит в их двумерном бумажном мире, уже в одну цену с реальностью. Нельзя просто взять и подвесить героя на дыбу только затем, чтобы поглазеть, как красиво он будет стродать. Даже если он совсем картонный. Если он ожил - уже не картонный, если не ожил - то и читать незачем.

* * *
[Здесь было логическое ответвление и развитие предыдущих рассуждений, которое я похерил, потому что это отдельный разговор].

P.S. К вопросу о том, когда появилась эта тема:

Real is as real does. But I’m sure your parents have read you "The Velveteen Rabbit".

"Плюшевый кролик" - детская книга, вышедшая в 21 году. В 1921 году. Больше ста лет назад уже, тащемта. И там да, именно про это: про то, что любимые игрушки со временем становятся настоящими. Это детская классика уровня "Буратино" или Ушинского, и перевод, надо сказать, очень хороший (можно посмотреть тут: https://skazki.rustih.ru/mardzheri-uilyamsa-velvetovyj-krolik-ili-kak-igrushki-stanovyatsya-nastoyashhimi/). То есть да, это общее место, перенесенное из детской литературы во взрослую (и да, здесь real переведено, разумеется, как "настоящий". Беда в том, что местами мне потребуется и "реальный" тоже...)

Comments

[keleg.livejournal.com]

Когда-то думал над этим, в том числе и в контексте РИ. Решил, что не буду играть в зло, даже понарошку, даже в компьютерных играх или во сне.
Где и как бы ты не поступал — это твоя воля и твоя ответственность, реальность неважна, важна душа.

[kot-kam.livejournal.com]

Играть в зло я как раз могу. У меня был такой опыт, и он был полезен. Но это, а) именно игра на отыгрыш (я делаю злого Саурона, потому что иначе благородным эльфийским паладинам не с кем будет воевать),
б) духовный опыт (я пытаюсь понять, как изначально светлый майя дошел до жизни такой. Примерно как у патера Брауна, вот это все. Чтобы не свалиться в пропасть, ее надо видеть, и чем отчетливей, тем лучше).

[hansrudel.livejournal.com]

Вы — эталонно двуличная особь. Трёхличная даже. Вы не играете за зло, но поддерживаете СВО, при этом лично не отправляясь на фронт. Другие платят жизнями за Вашу душевную благость.

[tal-gilas.livejournal.com]

Другое дело, что кому-то и с людьми норм обращаться как с куколками (и нет, это не отменяет умения "рыдать над котиком"). Идея киборгов, которых можно и от человека-то не отличить, в общем, с этим связана (особенно, хм, фанфиковые сюжеты про Irien'ов, вот тут проблема объективации встает в полный рост).

И это если не упираться в вопрос "а точно-точно ли Феанор ненастоящий", в том числе для самого Толкина

[bodeh.livejournal.com]

Всё упирается в то, как этот объект твоих намерений реагирует на них.
Если о Механического Пса ты отобьёшь ногу, а реакции ее последует, он для тебя не живой.

[livelight]

Если ребёнок об Бога папу кулак отбил в истерике, а папа решил не реагировать — это папа мудрый или неживой?

[lu-crecia.livejournal.com]

Я вот думаю, что для массового зрителя/читателя это никакой не этический выбор, а приятненькая тема, на которую приятненько думать и фантазировать.

Такие же, понимаете ли, с виду люди, в некоторых сеттингах даже не такие же, а во многом человека превосходящие, но вот смотрите, как они людям подчиняются, как от них зависят, как люди их притесняют. Это несколько увеличивает чувство собственной важности и подводит к мысли о том, что человек — царь природы.

В реальности же, как сказал не помню кто в интернете, "Мы думали, что роботы будут нашими слугами, а они стали надсмотрщиками".

[kot-kam.livejournal.com]

"Приятненькая тема" — это когда ты не всерьез об этом думаешь. То есть либо читатель не вчитался, либо автор пружину не дотянул. Вот у меня тут автор как раз дотянул, и нифига это не приятненько.

[hairless-heart.livejournal.com]

У Лема об этом много. Насколько я понимаю, его позиция: если что-то ведет себя так, будто обладает сознанием, то узнать, как оно на самом деле, невозможно, но с позиций этики мы должны считать, что сознание действительно есть. Но книжные персонажи — это, мне кажется, совсем другая тема. Сознание персонажа — это выделенный участок сознания читателя.

[lu-crecia.livejournal.com]

Да, у Лема очень страшный рассказ был про стук по трубам. Когда главный герой расшифровал морзянку и обнаружил, что перестукиваются давно погибшие люди, пишут как они умирают, и это длится уже довольно долго.

[az1236]

Можно и нельзя — это же не вкл/выкл, это градиент. На примере с животными это особенно видно: с домашней собакой или кошкой нельзя то, что можно с коровой или свиньёй, и с ними в свою очередь нельзя то, что можно с каким-нибудь кальмаром или омаром. С искусственными конструктами, вероятно, тоже будет такой градиент.


Отдельная тема — соотнесение текстового и рисованного андерэйджа с детской порнографией?

[elvit.livejournal.com]

С общеморальной точки зрения? Потому что по закону в РФ, насколько помню, с этой отдельной темой все решено.

[mikeiva.livejournal.com]

Ну не только с искусственными. Вон когда я покупал глюкометр и сказал продавщице, что это коту сахар мерять и инсулин колоть, она очень удивилась — надо же, кота лечить как человека (ну то есть я не помню дословно слова, но удивление было не про то, что одни и те же методы работают на людях и животных, а про то, зачем на животное тратить время и усилия).

[kot-kam.livejournal.com]

Ну так границы же не у всех одновременно сдвигаются. Я еще застал времена, когда ненужных котят в ведре топили. Ну а куда их столько, верно?

[megumi-ikeda.livejournal.com]

Я, по-моему, уже даже в этом блоге писала, как встретила где-то в Сетевых дебрях такое мнение, что уровень агрессии у людей — по крайней мере, у современных — возрастает пропорционально антропоморфности объекта, на который она направляется. Ну то есть это роботу-пылесосу приделывают меховые ушки, снимают с ним прикольные видео и умиляются, а вот, например, "бордель" с реалистичными куклами, открывшийся было в ДС, довольно быстро пришлось прикрыть — клиенты ломали механических "ночных бабочек" с особой жестокостью, несмотря на штрафы. Пинаемую исследователем робособаку всем жалко, а вот сцена из "Облачного атласа", где клона-официантку гогочущие клиенты поливают соусом, воспринимается как вполне реалистичная, веришь, что так бы и было, если бы. Это древнему человеку, который верил, что если три дня и три ночи плыть по реке от родной деревни, можно попасть в загробный мир, чтобы отнестись мирно к пришельцу из этого самого таинственного внешнего никогде, нужно было увериться, что пришелец такой же, как он. У современного человека нет проблем признать, что робот почти такой же, как он, вопрос в том, что с ним позволено (законодательно) делать...
Мне показалось, что зерно истины в этом есть.

[bormvit.livejournal.com]

Тут эффект "зловещей долины" скорее.

[genuine-elka.livejournal.com]

Раньше. Гомункулы, Голем, чудовище Франкенштейна.

[fivetimesdead.livejournal.com]

да, но тогда это было в принципе чисто теоретические изыскания. Сейчас же - уже на грани реальности, а местами и уже реальность.

[emmy-l.livejournal.com]

Наверное, всё упирается в знание внутреннего устройства. Если, скажем, нейросеть натренировать на всех высказываниях определённого человека, так, чтобы в сети она стала неотличима от этого человека — насколько сложно будет её потом остановить и стереть? Наверное, не очень сложно, потому что мы знаем (вообще), как устроена нейросеть.

А если не знаем, что "у неё внутре" — так это тот же уровень знания, что и о мозге. И тут начинаются сомнения.

Про персонажи... поэтому я не читаю всякий гримдарк. Не только потому, что там героям очень плохо, но и потому, что там герои сами по себе очень неприятные. И, когда я прочитала очень убедительный фанфик со смертью главного персонажа, мне пришлось изобрести себе специальное утешение, что она существует как бы в тысячах ипостасей, и с ней на самом деле ничего не случилось. Не экземпляров, а именно ипостасей.

[mithrilian.livejournal.com]

Теоретически, если я на вид не могу отличить от живого, то буду обращаться как с живым, на всякий случай — а вдруг я перепутала, и это НЕ робот?

И ещё момент, что эволюционно наши реакции обмануть проще простого. Плачем же мы над книжками и в кино. Прекрасно зная, что это все понарошку. И смеемся. Я вот фильмы ужасов не смотрю, мне страшно. Прекрасно знаю, что это актеры в гриме, но страшно. А Хичкок знал, как сделать страшно — линзы на камеру, фильтры, угол съемки, освещение, музыка. Я понимаю, что это все придумано специально, чтобы меня испугать. И все равно боюсь.

Поэтому если робот будет неотличим, то и реакции наши на него будут как на живого. Непроизвольные реакции. И если натренировать себя не реагировать на роботов, то это затронет и отношения с людьми.

[egovoru.livejournal.com]

"Я понимаю этот подход; я только не понимаю, зачем такое читать. Точнее, зачем так читать"

Я бы задала еще другой вопрос: не влияет ли подобное чтение и на поведение автора в реальном мире?

[kot-kam.livejournal.com]

Нет, не влияет. Именно потому, что он проводит границу: настоящие/ненастоящие. И я вам больше скажу: человек вполне может быть очень добр и милосерден к людям и беспощадно жесток к котикам и песикам. Смотря где границу провести.

[right-to-cry.livejournal.com]

Либо ты здесь и сейчас отключаешь критическое восприятие реальности и веришь в то, что этот Феанор или там Дик Окделл настоящий (настоящий герой или настоящий мерзавец - это уже второй вопрос)
Но зачем? :) Автору и читателям чаще всего интересно _про себя_, а литературные герои — это только один из способов познания себя и мира.

[themalcolm.livejournal.com]

Ну, если "себя и мира" — то интересно и про мир?

[go-gornostay.livejournal.com]

зачем такое читать

Ну, например, это позволяет выкрутить контраст, чтоб резче высветить рычаги и мотивы. В обычной жизни в похожих обстоятельствах, к счастью, множество полутонов, теней и переходов, сглаживающих последствия, но, с другой стороны, и не позволяющих как следует разглядеть что и почему происходит. Кажется, что тут не так понял, там не подумали, никто ничего плохого не хотел, почему все пришло к тому, что имеем? Где пора чертить границы и поворачивать назад?..

И вот тут бывает очень хорошо "подкрутить" порезче, пожестче и вот уже картина и проявляется "черным по белому". Мне кажется, что вы сами ответили похоже: "чтобы не свалиться в пропасть, ее надо видеть, и чем отчетливей, тем лучше".

[spamsink.livejournal.com]

Рассмотрим ситуацию в аспекте "что б могло пойти не так".

если нечто нереальное, искусственно созданное в каких-то технических целях ведет себя как настоящий живой человек и чувствует себя настоящим живым человеком

"созданное в каких-то целях", говорите? И ведёт себя типа как, например? Занимается телефонным мошенничеством ("сейчас я очередного карбонового лоха обую"), чем, как мы знаем, настоящие живые чувствующие люди занимаются многими тысячами почём зря, или ещё чего похуже? Тоже судить всех будете с присяжными (карбоновыми, или специальных искусственных судей и присяжных натренируем?), или всё-таки сразу ctrl-alt-delete, а физические серверы конфисковать?

[lazycat99.livejournal.com]

Ххх, вообще-то в задачках на оживших роботов "как человек" обычно проставляется что-то хорошее, а не "зарезать первого встречного" :)))

Ваш пример это из серии "Собачье сердце". Интересно, есть ли люди, думающие, что профессор поступил неэтично?

[marina-fr.livejournal.com]

Меня в этом плане больше дёргают даже не издевательства над героем, а различные ООС. Вот почти как клевета на живого человека. Хотя вроде бы и то выдумка, и это, разницы нет.

[lazycat99.livejournal.com]

Персонажи и роботы/не-люди - это все-таки разные вещи. Ключевое понятие тут "чувствуют".

Но, с другой стороны, верно сказано, что при антропоморфности размывается граница. Скажем, грубо: когда человек молотит спортивную грушу - он занимается спортом. Если вместо груши он вешает искуственную девку в натуральном виде и молотит уже ее, то это говорит о психологической проблеме, и может быть опасно (хотя вот у Кинга в Дьюма Ки персонаж по совету врача лупил и лаял человекообразную куклу как раз в качестве терапии, чтоб не яриться на людей, но он как раз был болен)

Девушка в фанфиках, скорее всего, решает свои проблемы. Потребность у нее, видимо, такая, по ее внутренним причинам, о которых неблизкие могут просто не знать. Читать это стоит аккурат тем, кому это нужно по тем же темным внутренним причинам :)))

[lazycat99.livejournal.com]

У Дивова был совершенно прекрасный рассказ на эту тему.

Люди отказываются уничтожать роботов старой модели и готовы защищать их с оружием в руках против закона, хотя считают их неживыми. Но они "свои", как же отдать их в переплавку (робот семьи главных героев спас их ребенка, но те же эмоции у их соседа к какой-то консервной банке, которая просто его и точка). Это не какие-то высокоморальные люди, описаны деревенские этакие реднеки без особых сантиментов.

В финале оказывается, что робот имеет сознание. Как это показано: он отпускает мышь, которую ему приказано убить и выкинуть за пределы участка, причем дано понять, что он делает это на постоянной основе.

[chamaimelon.livejournal.com]

Это не Дивов, это Михалкова.

[julia-monday.livejournal.com]

Да ну, приехали. Уже и сочинять ничего нельзя. Давайте выбросим почти всю мировую литературу, а то там герои страдают.

В смысле, зачем сочинять? Яркие переживания, драма, катарсис, облиться слезами, сначала помучить, потом пожалеть, или просто восхититься стойкостью, или уж так надавить, чтобы сломать начисто. Ну, интересно же такое сочинять.

[chelovetz.livejournal.com]

Стыдно убивать героев для того, чтобы растрогать холодных и расшевелить равнодушных (с).

Именно в такой формулировке. Важно не что [происходит с героем/андроидом/плюшевым зайкой], а почему и зачем. Стекло ради стекла и насилие ради насилия — всегда зло. Но боксировать с тренировочным маникеном и приказывать домовому эльфу — нормально, пока маникен или эльф прямо не сообщат о своем несогласии с происходящим, как-то так.

[hansrudel.livejournal.com]

Очеловечивание роботов производится для того, чтобы расчеловечить человека. И опустить его до уровня робота.

[pascendi.livejournal.com]

писатели тоже люди, и для них этот вопрос не менее животрепещущий

Вопрос этот вовсе не трепещет живо, поскольку ИИ не жив, а живоподобен. Он не чувствует себя настоящим живым человеком: он не обладает рефлексией. Да, начиная с третьей версии чат-гопоты, нейросеть имитирует живого собеседника — но именно что имитирует, причем на основании огромного массива текста, из которого тупо выбирает конструкты, адекватные контексту (ну, не всегда адекватные пока еще, но и люди ведь часто бывают неадекватны).

Но ключевой вопрос — самоосознание. Восприятие себя как отдельной личности. То, что у ребенка появляется, ЕМНИП, года в три. Вот этого нет пока, и включать ИИ в этическую систему человечества рановато.

Если мы говорим о вымышленных писателями-гуманитариями андроидах, то тут вопрос лишь в том, насколько писатель своего вымышленного андроида очеловечивает, насколько воспринимает его как субъект, обладающий эмоциями, рефлексией и свободой воли. При этом восприятие писателя может отличаться как от восприятия персонажей, так и от реальности, действующей внутри повествования (проще говоря, персонажи могут воспринимать андроида как живой субъект, при этом писатель может сознательно вводить эту аберрацию, понимая, что на самом деле, согласно логике сеттинга, андроид живым субъектом не является — и это может быть очень хорошим сюжетным твистом).

Что же касается этики обращения писателя с персонажами, то это проблема несуществующая. Потому что в писательстве есть только одно правило: НЕТ НИКАКИХ ПРАВИЛ, КРОМЕ ПРАВИЛ РУССКОГО ЯЗЫКА (если мы говорим о русскоязычных авторских произведениях и перводах на русский).

Да и те можно нарушать, если нужны речевые характеристики персонажей.