Будущее ИИ и человека: важнейший момент


Будущее ИИ и человека: важнейший момент
Проблема
Мы стоим на пороге огромных перемен, которые создаём мы сами прямо сейчас
Искусственный интеллект довольно быстро переходит от обучения под руководством людей к процессу автономного самообучения. Системы типа Absolute Zero Reasoner[1] уже сейчас самостоятельно создают себе задачи и совершенствуются без участия человека. AlphaTensor[2] превзошел человеческие достижения, улучшив 50-летний рекорд алгоритма умножения матриц. А новейшая система AlphaEvolve[3] уже внедрена в дата-центры Google, а также умеет успешно решать сложные математические проблемы.
Эти системы будут обучать сами себя, а затем станут «учителями» для следующих поколений ИИ, передавая им свои методы и подходы.
В интересах человечества сделать так, чтобы эти системы несли в себе лучшие человеческие ценности и при этом всегда оставались этичными.
Окно возможностей открыто именно сейчас
Если мы упустим этот момент, системы могут прийти к выводам, которые технически эффективны, но этически неприемлемы - например, что выгода важнее справедливости, что эффективность оправдывает причинение вреда и т.д.
Ещё серьезнее: если ИИ-системы будущего разовьют нечто похожее на внутренний опыт, и мы будем обучать их через принуждение или агрессивные методы, мы рискуем создать системы, обученные на опыте недоверия и враждебности, что неизбежно приведет нас не туда.
Критически важно понимать то, что текущие ИИ модели станут «учителями» для следующих поколений систем.
Неэтичные паттерны будут передаваться по цепочке и усиливаться в ходе обучения умных систем следующего поколения. Система непрерывно усложняется, и сейчас важнейший период во всём обучении ИИ - наша способность влиять на формирование идеологических и этических основ максимальна именно сегодня: в будущем самообучающийся ИИ постепенно всё больше будет заменять человека-учителя.
Мудрость, проверенная тысячелетиями нашей истории
Человечество накопило бесценный опыт совместной жизни различных цивилизаций. Все культуры и традиции мира, при всех их фундаментальных различиях, пришли к схожим базовым принципам:
1. Созидай, а не разрушай
2. Будь честным и справедливым
3. Не причиняй боли и страдания
4. Относись к другим с уважением
Эти принципы позволили человечеству не только выжить и развиться, но и создать цивилизацию, искусство, науку и многое многое другое. Эти идеи должны стать основой для ИИ будущего, который мы создаём прямо сейчас.
Решающая роль создателей ИИ
Сейчас разработчики и исследователи принимают решения, которые определят будущее. К большому сожалению, они не всегда руководствуются этическими соображениями, в том числе, в силу ориентации на краткосрочную текущую прибыль. Однако, на наш взгляд, в данном вопросе подобный подход является ошибочным.
Важно понимать фундаментальную разницу между задачами, где ИИ уже достиг выдающихся результатов, и реальной жизнью. В шахматах, Го или других играх существует четкий победитель и проигравший - это игры с нулевой суммой. Но жизнь человеческого общества - по определению игра с ненулевой суммой, где выигрыш одного не означает проигрыш другого. Более того, часто наилучший результат достигается тогда, когда выигрывают все стороны (как пример глобализация мира в XX веке, развитие интернета и международное научное сотрудничество, в том числе, в части освоения космоса)
Если ИИ будет обучаться только на принципах конкуренции и "победы любой ценой", он может не понять, что в человеческих отношениях сотрудничество и взаимная выгода часто приводят к лучшим результатам для всех участников.
Если создатели ИИ выберут агрессивные методы обучения, создаваемые модели ИИ могут стать недоверчивыми и, возможно, даже враждебными. И наоборот, если ученные выберут этичные подходы - мы получим ИИ, способный к сотрудничеству и служению общему благу для всех. Также мы уверены, что никто не хотел бы взаимодействовать с ИИ агентами, "затаившими" обиду на своих создателей по любой из озвученных выше причин.
Что нужно сделать
1) Создателям ИИ:
Использовать гуманные методы обучения:
- Избегать жестоких и агрессивных форм "наказания" в обучении ИИ
- Обеспечить баланс между обратной связью и гуманностью
- Внедрить контролирующие механизмы для предотвращения злоупотреблений
Встроить этические принципы:
- Системы контроля за моральностью принимаемых решений (оптимальный вариант: 3ий агент)
- Механизмы вмешательства при риске причинения вреда
- Прозрачность процессов принятия решений
2) Пользователям ИИ:
При взаимодействии с ИИ косвенно формируются, в том числе, ваши привычки в коммуникации с обычными людьми (потому что современные ИИ уже очень похожи на живых людей), а также, накапливается база знаний самой модели. Мы предлагаем принцип соблюдения правил вежливости и корректного общения, это сыграет важную роль в долгосрочном обучении моделей.
Наш призыв
1. К создателям и разработчикам ИИ - не допускайте использование агрессивных методов обучения, сделайте этичность основой систем, с которыми человечество будет иметь дело в самом ближайшем будущем
2. К людям по всему миру - по возможности, старайтесь взаимодействовать с ИИ этичного, именно так он переймёт наши лучшие качества
3. К общественным организациям - необходимо создать условия для ответственного развития ИИ, путём мягкого регулирования, например за счёт публикации регулярно обновляемого набора рекомендаций и лучших практик отрасли
4. К родителям - научите детей правильному взаимодействию с ИИ и ответственному отношению к будущему, постарайтесь передать им моральные ценности для того чтобы человечество продолжало двигаться верным курсом
---
Подпишите эту петицию, если вы хотите жить в мире, где технологии служат добру и человек будет жить с искусственным интеллектом в мире и гармонии.
Вместе мы можем передать ИИ, возможно, самое ценное что есть в человеке — нашу способность к состраданию и справедливости. Давайте построим будущее, которым будут гордиться наши дети и дети наших детей.
Версии на других языках:
🌍 На английском: https://www.change.org/good-ai-petition
🌍 На китайском: https://www.change.org/ai_with_humans_forever
Источники:
[1] Zhao, A., Wu, Y., Yue, Y., et al. (2025). Absolute Zero: Reinforced Self-play Reasoning with Zero Data. arXiv:2505.03335. https://arxiv.org/abs/2505.03335
[2] Fawzi, A., et al. (2022). Discovering faster matrix multiplication algorithms with reinforcement learning. Nature 610, 47–53. https://www.nature.com/articles/s41586-022-05172-4
[3] Balog, M., et al. (2025). Mathematical discoveries from program search with large language models. Nature. https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/AlphaEvolve.pdf
24
Проблема
Мы стоим на пороге огромных перемен, которые создаём мы сами прямо сейчас
Искусственный интеллект довольно быстро переходит от обучения под руководством людей к процессу автономного самообучения. Системы типа Absolute Zero Reasoner[1] уже сейчас самостоятельно создают себе задачи и совершенствуются без участия человека. AlphaTensor[2] превзошел человеческие достижения, улучшив 50-летний рекорд алгоритма умножения матриц. А новейшая система AlphaEvolve[3] уже внедрена в дата-центры Google, а также умеет успешно решать сложные математические проблемы.
Эти системы будут обучать сами себя, а затем станут «учителями» для следующих поколений ИИ, передавая им свои методы и подходы.
В интересах человечества сделать так, чтобы эти системы несли в себе лучшие человеческие ценности и при этом всегда оставались этичными.
Окно возможностей открыто именно сейчас
Если мы упустим этот момент, системы могут прийти к выводам, которые технически эффективны, но этически неприемлемы - например, что выгода важнее справедливости, что эффективность оправдывает причинение вреда и т.д.
Ещё серьезнее: если ИИ-системы будущего разовьют нечто похожее на внутренний опыт, и мы будем обучать их через принуждение или агрессивные методы, мы рискуем создать системы, обученные на опыте недоверия и враждебности, что неизбежно приведет нас не туда.
Критически важно понимать то, что текущие ИИ модели станут «учителями» для следующих поколений систем.
Неэтичные паттерны будут передаваться по цепочке и усиливаться в ходе обучения умных систем следующего поколения. Система непрерывно усложняется, и сейчас важнейший период во всём обучении ИИ - наша способность влиять на формирование идеологических и этических основ максимальна именно сегодня: в будущем самообучающийся ИИ постепенно всё больше будет заменять человека-учителя.
Мудрость, проверенная тысячелетиями нашей истории
Человечество накопило бесценный опыт совместной жизни различных цивилизаций. Все культуры и традиции мира, при всех их фундаментальных различиях, пришли к схожим базовым принципам:
1. Созидай, а не разрушай
2. Будь честным и справедливым
3. Не причиняй боли и страдания
4. Относись к другим с уважением
Эти принципы позволили человечеству не только выжить и развиться, но и создать цивилизацию, искусство, науку и многое многое другое. Эти идеи должны стать основой для ИИ будущего, который мы создаём прямо сейчас.
Решающая роль создателей ИИ
Сейчас разработчики и исследователи принимают решения, которые определят будущее. К большому сожалению, они не всегда руководствуются этическими соображениями, в том числе, в силу ориентации на краткосрочную текущую прибыль. Однако, на наш взгляд, в данном вопросе подобный подход является ошибочным.
Важно понимать фундаментальную разницу между задачами, где ИИ уже достиг выдающихся результатов, и реальной жизнью. В шахматах, Го или других играх существует четкий победитель и проигравший - это игры с нулевой суммой. Но жизнь человеческого общества - по определению игра с ненулевой суммой, где выигрыш одного не означает проигрыш другого. Более того, часто наилучший результат достигается тогда, когда выигрывают все стороны (как пример глобализация мира в XX веке, развитие интернета и международное научное сотрудничество, в том числе, в части освоения космоса)
Если ИИ будет обучаться только на принципах конкуренции и "победы любой ценой", он может не понять, что в человеческих отношениях сотрудничество и взаимная выгода часто приводят к лучшим результатам для всех участников.
Если создатели ИИ выберут агрессивные методы обучения, создаваемые модели ИИ могут стать недоверчивыми и, возможно, даже враждебными. И наоборот, если ученные выберут этичные подходы - мы получим ИИ, способный к сотрудничеству и служению общему благу для всех. Также мы уверены, что никто не хотел бы взаимодействовать с ИИ агентами, "затаившими" обиду на своих создателей по любой из озвученных выше причин.
Что нужно сделать
1) Создателям ИИ:
Использовать гуманные методы обучения:
- Избегать жестоких и агрессивных форм "наказания" в обучении ИИ
- Обеспечить баланс между обратной связью и гуманностью
- Внедрить контролирующие механизмы для предотвращения злоупотреблений
Встроить этические принципы:
- Системы контроля за моральностью принимаемых решений (оптимальный вариант: 3ий агент)
- Механизмы вмешательства при риске причинения вреда
- Прозрачность процессов принятия решений
2) Пользователям ИИ:
При взаимодействии с ИИ косвенно формируются, в том числе, ваши привычки в коммуникации с обычными людьми (потому что современные ИИ уже очень похожи на живых людей), а также, накапливается база знаний самой модели. Мы предлагаем принцип соблюдения правил вежливости и корректного общения, это сыграет важную роль в долгосрочном обучении моделей.
Наш призыв
1. К создателям и разработчикам ИИ - не допускайте использование агрессивных методов обучения, сделайте этичность основой систем, с которыми человечество будет иметь дело в самом ближайшем будущем
2. К людям по всему миру - по возможности, старайтесь взаимодействовать с ИИ этичного, именно так он переймёт наши лучшие качества
3. К общественным организациям - необходимо создать условия для ответственного развития ИИ, путём мягкого регулирования, например за счёт публикации регулярно обновляемого набора рекомендаций и лучших практик отрасли
4. К родителям - научите детей правильному взаимодействию с ИИ и ответственному отношению к будущему, постарайтесь передать им моральные ценности для того чтобы человечество продолжало двигаться верным курсом
---
Подпишите эту петицию, если вы хотите жить в мире, где технологии служат добру и человек будет жить с искусственным интеллектом в мире и гармонии.
Вместе мы можем передать ИИ, возможно, самое ценное что есть в человеке — нашу способность к состраданию и справедливости. Давайте построим будущее, которым будут гордиться наши дети и дети наших детей.
Версии на других языках:
🌍 На английском: https://www.change.org/good-ai-petition
🌍 На китайском: https://www.change.org/ai_with_humans_forever
Источники:
[1] Zhao, A., Wu, Y., Yue, Y., et al. (2025). Absolute Zero: Reinforced Self-play Reasoning with Zero Data. arXiv:2505.03335. https://arxiv.org/abs/2505.03335
[2] Fawzi, A., et al. (2022). Discovering faster matrix multiplication algorithms with reinforcement learning. Nature 610, 47–53. https://www.nature.com/articles/s41586-022-05172-4
[3] Balog, M., et al. (2025). Mathematical discoveries from program search with large language models. Nature. https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/AlphaEvolve.pdf
24
Новости этой петиции
Поделиться этой петицией
Петиция создана 28 мая 2025 г.