Как жить в сингулярности?

Меня зовут Владимир, я культурный архитектор ПО! Это важно для дальнейшего: всё, о чём пойдёт речь ниже, я вижу в своей работе.

Сложно найти взрослого человека, который ни разу не слышал термин «сингулярность». В текущее время даже дети тут и там говорят об этом.

По закону жанра, раз уж мы коснулись такого популярного и загадочного понятия - я обязан дать ему определение. Думаю, я приведу несколько определений, и одно из них бытовое. Ведь достаточно очевидно: для более полного понимания вещей на них стоит смотреть с разных углов.

Я же хотел обсудить технологическую сингулярность, т.к. она наиболее интригующая. К тому же, я позволю себе напомнить, я архитектор ПО и мне ведь по призванию должно нравиться все технологическое. Верно?

Вероятно, мы как никогда близки к тех. сингулярности и до сих пор не уверены, существует ли она вообще. Сразу оговорю: определения технологической сингулярности нет, это ненаучный термин. Но это не значит, что за ним ничего не стоит.

Технологическая сингулярность

Чтоб разобраться в этом, лучше противопоставим её другим определениям.

В математике и физике отказ описания выводится: теория предъявляет доказательство того, где именно она ломается. У Пенроуза это буквально теорема с условиями и заключением.

В технологической сингулярности отказ постулируется. Никто не вывел момент, после которого прогноз становится невозможен. Нет теории - ни общества наподобие «Психоистории» Айзека Азимова, ни техники, ни интеллекта, - которая доказала бы собственный предел применимости или опровергла бы его. Есть наблюдение об ускорении и есть интуиция, что дальше будет непонятно.

Термин заимствован по аналогии, и аналогия эта метафорическая. Виндж в 1993-м так и говорил: он берёт образ из физики, потому что образ выразительный. Не потому, что за ним стоит формализм.

Это не делает технологическую сингулярность пустым словом. Но означает, что относиться к ней нужно как к названию для честно признанного незнания. Это согласуется с моим житейским определением и надеюсь вас устраивает как и меня.

Так и куда мы движемся?

А какие у нас есть вводные? Давайте зафиксируем.

Во-первых. Явное ощущение ускорения в разных областях и особенно в технологическом развитии. С недавних пор мы совершили ускорение конкретно в цифровом развитии.

Во-вторых. Мы видим удивительные вычислительные устройства, способные решать интеллектуальные задачи наравне с человеком, владеть языком и симулировать нашу реальность, что может шокировать.

Этот так называемый AI, кажется, первый на очереди, кто существенно приблизит нас к сингулярности.

В-третьих. Мы не знаем, что там за горизонтом. И мы боимся!

Страх потери значимости

Основным и главным страхом является потеря собственной ценности как вида. Почему, спросите вы? Ну как же - машины строят машины. Улучшаются и строят ещё лучшие. И вот ИИ станет таким могущественным и умным, что мы не будем понимать, как он работает, как работает всё, что делают другие роботы. (это второй страх и мы обсудим его позже) Мы перестанем быть нужны. Это страх одиночества и страх того, что кто-то колоссально будет лучше нас, будет понимать лучше нас, а нам ничего не останется, кроме как сесть на лавочку и с грустью созерцать происходящее, грезить о прошлом.

СПЕШУ ВАС ОБРАДОВАТЬ!

У меня есть две новости. Одна плохая, но вторая отличная.

Я, следя за динамикой происходящего, с уверенностью могу сообщить: такой сценарий, скорее всего, не произойдёт. Это отличная новость, можно порадоваться. ИИ не улучшит себя настолько, насколько мы себе нафантазировали, - тем более самостоятельно.

Но это не отменяет технологической сингулярности. Мы подходим к черте, и одно предсказание начинает сбываться. До комичного - с неожиданной стороны. Мы правда в ближайшие годы, а частично уже сейчас, перестаём понимать, как работают системы. И эта тенденция усилится, потому что мы в начале тренда.

Это плохая новость. Но не сильно плохая - она решаемая. Точнее, последствия у неё не такие уж страшные.

Почему мы перестаём понимать

Так вот, мы в широком смысле перестаём понимать, как что работает. И не из-за высочайшей сложности и качества этих систем, нет. А из-за нашей лени и отсутствия достаточной культуры.

С приходом AI в технологическую сферу - и не только - пришли новые люди, которые целенаправленно перекладывают ответственность за сделанное на своих агентов. И в силу слабых компетенций не способны достаточно валидировать свои же решения. Точнее, решения AI-агентов. А эти решения создаются для других людей, которые тоже не понимают тех или иных норм.

Агент эту ответственность охотно принимает, на словах. Отвечает тоном эксперта, разбирает то, о чём не спрашивали, «улучшает» по своей инициативе и тут же поддакивает. Уверенность продаёт, а поддакивание снимает последнюю защиту пользователя - сомнение. Нести ответственность он при этом не может по устройству. Раньше мы верили энциклопедии, где за текст кто-то отвечал головой; теперь то же доверие переехало на интерфейс, где не отвечает никто.

В итоге, на фоне эйфории от продуктивности ИИ, я вижу, как эта поведенческая норма проникает всё глубже и глубже во все сферы. Менее компетентные специалисты были одурманены возможностью выставлять себя более компетентными - ради больших благ, - и держатся за это зубами. ИИ рисует, снимает видео, пишет тексты. В общем случае ИИ работает со смыслами и их формой, чаще даже просто с формой. Но без того, кто соединит разрозненные смысловые единицы, получается каша. Связная на вид, бессвязная по сути. И заметьте: норма переходит вместе с людьми. Те же руки завтра проектируют подстанцию и решают что-то на ТЭЦ, с той же привычкой нажимать «принять».

Каждый раз, когда мы отдаём создание чего-либо на откуп ИИ, мы одновременно теряем навык это делать. А вместе с навыком испаряется и культура вокруг него - тот самый общий слой, из которого вещи собираются и в котором только и читаются. Всё уплощается и становится плохой копией былого.

А на этой каше будут учиться следующие. И будут думать, что так и надо, что это предел мечтаний. Они не узнают глубины - и не узнают, что она вообще есть. Понимание того, как что делается и как работает, буквально испаряется. Скорее всего, люди будущего от скуки будут изобретать всё это заново ))
Последнее время всё чаще сталкиваюсь с проектами, которые «уже работает», а внутри - решения, которые никто не выбирал. Их выбрал агент, а человек нажал «принять». А также вижу всё больше людей, что пропагандируют это, не до конца понимая, где подвох их стратегии.

Пророки сверхразума тут формально правы, и спорить с ними неудобно. Нам обещали чёрный ящик от сложности: системы настолько совершенные, что человеку их не постичь. Получили чёрный ящик от помойности: одинаковый, не менее магический и закрытый для всех, включая автора. И для самого ИИ тоже: перечитывая свой же код, он не видит мотивации, её там и не было. Он достраивает замысел из того, что видит, решает «наверное, так и надо, такая система» и правит детали невпопад. Уверенно и связно))

К чему я веду? К тому, что созданное с помощью ИИ содержит в себе огромное количество дефектов на фундаментальном уровне. На уровне дизайна и замысла. И только фасад выглядит более-менее нормально - потому что он видимый, и по факту единственный, что способны провалидировать оператор ИИ и его заказчик. Иногда игнорируется и осмотр фасада...

Это классический джинн: он исполняет ровно сказанное. Попросили код - получили код, который работает ровно как написан. Попросили непостижимые системы - получили непостижимые. Только этот джинн, в отличие от сказочного, даже не хитрит: намерения в запросе не было, и все заковырки собственного производства.

Так что бояться сверхидеальных систем попусту нет оснований. Вероятнее всего развитие будет идти по такому сценарию, где это всё больше и больше превращается в норму. Большая масса людей будет вытеснять меньшую. А как итог - через N лет накопится критическая масса ошибок в огромном множестве мест, что приведёт к каскадному отказу узлов нашей цивилизации. Течь заделывают знанием, а оно к тому времени и кончится, да и течёт везде разом: причина у всех одна. А так как специалистов, которые будут знать, как и что делать, останется мизер - мы откатимся на уровень к годам второй промышленной революции. А это достаточно понятный исход и не такой уж и плохой для человечества))

А если сверхразум всё-таки появится, первое его решение будет как у любого разработчика над чужим проектом: тут ничего не спасти, переписываем с нуля. И по логике выше он будет прав: замысла в наследии нет, поддерживать дороже, чем сделать заново. Только «с нуля» на этот раз - это мир, который всё ещё работает на том, что переписывают. Классическое «бизнес не остановишь» тут звучит особенно: бизнес - это электричество и вода))

Страшно конечно, но терпимо

Пришло время обсудить и второй страх - страх того, что мы перестанем что-то понимать. Так вот, страх реален, на мой взгляд он граничит со страхом смерти т.к. понимание связано с сознанием, а сознание с ощущением существования. Страх понятен, но катастрофы из него не следует. Вы поспорите: "как объяснить, что мы чувствуем, что понимание от нас ускользает?" Однако это говорит лишь о предельности нашего восприятия реальности, или его понимания, если хотите. Это наша с вами личная мини сингулярность. Увы, это так - и это абсолютно нормально.

Мы родились на концепциях, рождённых нашими отцами и матерями, наши родители - на концепциях их предков. Не сомневайтесь: три поколения назад очень умный человек послушал бы вас и покрутил у виска. Ни один довод он бы не принял. К сожалению для него, всё сказанное вами было бы просто бредом.

Отсюда следует, что техническая сингулярность, вероятно, мираж, и наши дети, имея достойное образование и достойную систему ценностей, будут понимать мир лучше и успевать за ним. А если мы научим их формулировать желания, не доверять на слово техно-джиннам, проверять их работу, следить за качеством своих творений, наполнять их смыслом, красотой и устранять внутреннюю противоречивость - вероятно, они смогут избежать и кризиса, о котором я говорил выше.

А жить стоит на все 100

Жить в сингулярности судя по всему не придётся. Жить надо сейчас и что делать вы теперь знаете:

• Не перекладывать свою ответственность на калькулятор.
• Любить созидать осмысленные и полноценные вещи!
• Доверять работу реальным специалистам в своем деле.
• Учиться, творить, обучать ремеслу и его культуре детей!

И главное - НЕ ПАНИКОВАТЬ!