Однажды ИИ обгонит нас настолько, что мы перестанем понимать, что он делает. Машины будут сами собой заезжать за нами и отвозить в места, о существовании которых мы даже не подозревали. Мы будем неожиданно получать лекарства от болезней, о наличии которых у себя даже не догадывались.
Вполне возможно, наши дети будут переходить в другие школы, мы будем менять работу, экономическая политика будет резко брать другой курс, правительства будут переписывать конституции — и никто не будет в полной мере понимать, почему это происходит. Это будет случаться как бы само собой. Наш Думающий мозг будет слишком медлительным, а Чувствующий — слишком импульсивным и опасным.
И как AlphaZero сумела за несколько часов изобрести такие шахматные стратегии, которые не могли предвидеть лучше шахматные умы, более продвинутый ИИ сможет реорганизовывать общество и весь окружающий мир совершенно непредсказуемым для нас образом.
И тогда мы вернемся к тому, с чего начинали: станем поклоняться невероятным, непознаваемым силам, которые, как нам кажется, вершат нашу судьбу. Точно так же, как примитивные народы молились своим богам, чтобы те ниспослали им дождь или огонь, — так же, как они приносили жертвы и дары, изобретали ритуалы и меняли свое поведение и внешний вид, чтобы добиться расположения натуралистических богов, — так же будем делать и мы. Только делать все это мы будем во имя богов ИИ.
У нас появятся суеверия, связанные с алгоритмами. Если наденешь это, алгоритм тебя поощрит. Если проснешься в определенное время, скажешь нужные слова и придешь в нужное место, машины даруют тебе богатство. Если будешь честен, не станешь причинять вреда другим и будешь заботиться о себе и своих близких, боги ИИ будут оберегать тебя.
Старых богов заменят новые — алгоритмы. И по странной иронии эволюции та самая наука, которая убила старых богов, создаст богов будущего. Случится великий возврат человечества к религиозности. И наши новые религии вряд ли будут сильно отличаться от религий древности: в конце концов, наша психика в процессе эволюции приучилась обожествлять то, чего мы не понимаем, превозносить силы, которые помогают или вредят нам, выстраивать системы ценностей, основанные на нашем опыте, искать конфликты, которые породили бы надежду.
Почему с ИИ что-то должно быть иначе?
Наши боги ИИ, конечно, это поймут. И либо найдут способ «прокачать» нам мозги и избавить нас от нашей примитивной психологической потребности в извечной борьбе, либо возьмут и просто сгенерируют нам иллюзию борьбы. Мы будем как домашние собаки: нам будет казаться, что мы всеми силами охраняем и отстаиваем свою территорию, а на деле мы будем просто ссать на бесконечную череду цифровых фонарных столбов.
Я знаю, это не та последняя религия, на которую вы надеялись. Но как раз в этом ваша главная ошибка: вы надеетесь.
Не оплакивайте утрату собственной воли. Если вам кажется, что подчиняться искусственным алгоритмам ужасно, поймите: вы уже это делаете. И вам это нравится.
Всё хреново: Книга о надежде
Марк Мэнсон 
