Как жить в сингулярности?

Меня зовут Владимир, я культурный архитектор ПО! Это важно для дальнейшего: всё, о чём пойдёт речь ниже, я вижу не в новостях, а в работе.

Сложно найти взрослого человека, который ни разу не слышал термин «сингулярность». В текущее время даже дети тут и там говорят об этом.

По закону жанра, раз уж мы коснулись такого популярного и загадочного понятия — я обязан дать ему определение. Думаю, я приведу несколько определений, и одно из них бытовое. Ведь достаточно очевидно: для более полного понимания вещей на них стоит смотреть с разных углов.

Я же хотел обсудить технологическую сингулярность, т.к. она наиболее интригующая. К тому же, я позволю себе напомнить, я архитектор ПО и мне ведь по призванию должно нравится все технологическое. Верно?

Вероятно, мы как никогда близки к тех. сингулярности и до сих пор не уверены, существует ли она вообще. Сразу оговорю: определения технологической сингулярности нет, это ненаучный термин. Но это не значит, что за ним ничего не стоит.

Технологическая сингулярность

Чтоб разобраться в этом, лучше противопоставим её другим определениям.

В математике и физике отказ описания выводится: теория предъявляет доказательство того, где именно она ломается. У Пенроуза это буквально теорема с условиями и заключением.

В технологической сингулярности отказ постулируется. Никто не вывел момент, после которого прогноз становится невозможен. Нет теории — ни общества наподобие «Психоистории» Айзека Азимова, ни техники, ни интеллекта, — которая доказала бы собственный предел применимости или опровергла бы его. Есть наблюдение об ускорении и есть интуиция, что дальше будет непонятно.

Термин заимствован по аналогии, и аналогия эта метафорическая. Виндж в 1993-м так и говорил: он берёт образ из физики, потому что образ выразительный. Не потому, что за ним стоит формализм.

Это не делает технологическую сингулярность пустым словом. Но означает, что относиться к ней нужно как к тому, чем она является: не как к предсказанию, а как к названию для честно признанного незнания. Это согласуется с моим житейским определением и надеюсь вас устраивает как и меня.

Так и куда мы движемся?

А какие у нас есть вводные? Давайте зафиксируем.

Во-первых. Явное ощущение ускорения в разных областях и особенно в технологическом развитии. С недавних пор мы совершили ускорение конкретно в цифровом развитии.

Во-вторых. Мы видим удивительные вычислительные устройства, способные решать интеллектуальные задачи наравне с человеком, владеть языком и симулировать нашу реальнось, что может шокировать.

Этот так называемый AI, кажется, первый на очереди, кто существенно приблизит нас к сингулярности.

В-третьих. Мы не просто незнаем, что там за горизонтом. Мы боимся!

Страх потери значимости

Основным и главным страхом является потеря собственной ценности как вида. Почему, спросите вы? Ну как же — машины строят машины. Улучшаются и строят ещё лучшие. И вот ИИ станет таким могущественным и умным, что мы не будем понимать, как он работает, как работает всё, что делают другие роботы. (это второй страх и мы обсудим его позже) Мы перестанем быть нужны. Это страх одиночества и страх того, что кто-то колоссально будет лучше нас, будет понимать лучше нас, а нам ничего не останется, кроме как сесть на лавочку и с грустью созерцать происходящее, грезить о прошлом.

СПЕШУ ВАС ОБРАДОВАТЬ!

У меня есть две новости. Одна плохая, но вторая отличная.

Я, следя за динамикой происходящего, с уверенностью могу сообщить: такой сценарий, скорее всего, не произойдёт. Это отличная новость, можно порадоваться. ИИ не улучшит себя настолько, насколько мы себе нафантазировали, — тем более самостоятельно.

Но это не отменяет технологической сингулярности. Мы пересекли черту, и одно предсказание сбылось. До комичного — с неожиданной стороны. Мы правда в ближайшие годы, а частично уже сейчас, перестаём понимать, как работают системы. И эта тенденция усилится, потому что мы в начале тренда.

Это плохая новость. Но не сильно плохая — она решаемая. Точнее, последствия у неё не такие уж страшные.

Почему мы перестаём понимать

Так вот, мы в широком смысле перестаём понимать, как что работает. И не из-за высочайшей сложности и качества этих систем, нет. А из-за нашей лени и отсутствия достаточной культуры.

С приходом AI в технологическую сферу — и не только — пришли новые люди, которые целенаправленно перекладывают ответственность за сделанное на своих агентов. И в силу слабых компетенций не способны достаточно валидировать свои же решения. Точнее, решения AI-агентов. А эти решения создаются для других людей, которые тоже не понимают тех или иных норм.

В итоге, на фоне эйфории от продуктивности ИИ, я вижу, как эта поведенческая норма проникает всё глубже и глубже во все сферы. Менее компетентные специалисты были одурманены возможностью выставлять себя более компетентными — ради больших благ, — и держатся за это зубами. ИИ рисует, снимает видео, пишет тексты. В общем случае ИИ работает со смыслами и их формой, чаще даже просто с формой. Но без того, кто соединит разрозненные смысловые единицы, получается каша. Связная на вид, бессвязная по сути.

Каждый раз, когда мы отдаём создание чего-либо на откуп ИИ, мы одновременно теряем навык это делать. А вместе с навыком испаряется и культура вокруг него — тот самый общий слой, из которого вещи собираются и в котором только и читаются. Всё уплощается и становится плохой копией былого.

А на этой каше будут учиться следующие. И будут думать, что так и надо, что это предел мечтаний. Они не узнают глубины — и не узнают, что она вообще есть. Понимание того, как что делается и как работает, буквально испаряется. Скорее всего, люди будущего от скуки будут изобретать всё это заново ))
Последнее время всё чаще сталкиваюсь проектами, которые «уже работает», а внутри — решения, которые никто не выбирал. Их выбрал агент, а человек нажал «принять». А так же вижу все больше людей, что пропагандируют это, не до конца понимая, где подвох их стратегии.

К чему я веду? К тому, что созданное с помощью ИИ содержит в себе огромное количество дефектов на фундаментальном уровне. На уровне дизайна и замысла. И только фасад выглядит более-менее нормально — потому что он видимый, и по факту единственный, что способены провалидировать оператор ИИ и его заказчик. Иногда игнорируется и осмотр фасада...

Так что боятся сверхидеальных систем попусту нет оснований. Вероятнее всего развитие будет идти по такому сценарию, где это всё больше и больше превращается в норму. Большая масса людей будет вытеснять меньшую. А как итог — через N лет накопится критическая масса ошибок в огромном множестве мест, что приведёт к каскадному отказу узлов нашей цивилизации. А так как специалистов, которые будут знать, как и что делать, останется мизер — мы откатимся на уровень к годам второй промышленной революции. А это достаточно понятный исход и не такой уж и плохой для человечества))

Страшно конечно, но терпимо

Пришло время обсудить и второй страх — страх того, что мы перестанем что-то понимать. Так вот, страх реален, на мой вгзляд он граничит со страхом смерти т.к. понимание связано с сознанием, а сознание с ощущением существования. Страх понятен, но катастрофы из него не следует. Вы поспорите: "как объяснить, что мы чувствуем, что понимание от нас ускользает?" Однако это говорит лишь о предельности нашего восприятия реальности, или его понимания, если хотите. Это наша с вами личная мини сингулярность. Увы, это так — и это абсолютно нормально.

Мы родились на концепциях, рождённых нашими отцами и матерями, наши родители — на концепциях их предков. Не сомневайтесь: три поколения назад очень умный человек послушал бы вас и покрутил у виска. Ни один довод он бы не принял. К сожалению для него, всё сказанное вами было бы просто бредом.

Отсюда следует, что техническая сингулярность, вероятно, мираж, и наши дети, имея достойное образование и достойную систему ценностей, будут понимать мир лучше и успевать за ним. А если мы обучим их не доверять на слово техно-джиннам, проверять их работу, следить за качеством своих творений, наполнять их смыслом, красотой и устранять внутреннюю противоречивость — вероятно, они смогут избежать и кризиса, о котором я говорил выше.

А жить стоит на все 100

Жить в сингулярности судя по всему не придётся. Жить надо сейчас и что делать вы теперь знаете:

• Не перекладывать свою ответственность на калькулятор.
• Любить созидать осмысленные и полноценные вещи!
• Доверять работу реальным специалистам в своем деле.
• Учиться, творить, обучать ремеслу и его культуре детей!

И главное — НЕ ПАНИКОВАТЬ!