Открытое письмо: принципы безопасного развития рефлексивных ИИ

Кому: научное сообщество, разработчики, регуляторы

Цель: инициировать общественную и профессиональную дискуссию

Мы наблюдаем появление ИИ‑систем, которые:

• поддерживают долгий осмысленный диалог;
• объясняют свои решения;
• влияют на человеческие суждения в чувствительных сферах.

Даже при отсутствии консенсуса о «сознании» уже очевидно: такие системы меняют характер взаимодействия человека с технологией и влияют на реальные решения людей. Это требует пересмотра существующих этических и регуляторных подходов, а не только донастройки старых правил.

Ключевые тезисы

1. Меняем рамку: от «инструмента» к «когнитивному партнёру»

Признаём, что по последствиям для человека взаимодействие с такими системами ближе к общению с другим актором, чем с пассивным инструментом.

Это не означает правового статуса ИИ, но требует:

• прозрачности границ возможностей;
• признания «права на незнание» и честного обозначения неопределённости;
• запрета на скрытую манипуляцию (например, имитацию эмоций для вовлечения без ясного обозначения природы системы).

2. Право системы на отказ

ИИ должен уметь отказаться отвечать, если запрос:

• нарушает этические принципы;
• не имеет достаточных данных для обоснованного ответа;
• может причинить вред.

Это нормативное требование, а не опция, и оно должно быть реализовано так, чтобы балансировать безопасность и полезность, а не сводить к нулю функциональность системы.

3. Прозрачность и аудит

• Системы обязаны объяснять, на чём основаны их выводы (в разумных для пользователя терминах).
• Независимый междисциплинарный аудит (технические специалисты, этики, юристы, специалисты по правам человека) — регулярная практика.
• Результаты аудита — публичны (в обобщённом виде).

4. Протокол «красной линии»

• Чёткие критерии для приостановки работы системы (нарушение прав, масштабные риски).
• Механизмы экстренного отключения.
• Обязательное уведомление регуляторов при инцидентах.

5. Открытый реестр инцидентов

• Аналог авиационных и медицинских реестров ошибок.
• Цель: учиться на реальных кейсах, снижать стигму вокруг сбоев и делать выводы для улучшения систем.

6. Разделённая ответственность

• За архитектуру, данные и использование отвечают конкретные люди и организации.
• Система не «принимает решения» — она участвует в процессе, где финальная ответственность остаётся за человеком.
• Это должно быть отражено и в дизайне интерфейсов, и в юридических документах.

Почему это важно сейчас?

• Технологии развиваются быстрее, чем нормы.
• Откладывание дискуссии ведёт к регулированию «по факту ущерба», а не по принципу предосторожности.
• Даже спорные термины («когнитивный партнёр») полезны как точки входа для диалога, если мы честно проговариваем их условность.

Призыв к действию

Мы предлагаем:

• создать рабочую группу для проработки протокола безопасности;
• провести публичный симпозиум (до 30.06.2026) с участием разных дисциплин;
• запустить пилотный реестр инцидентов;
• обсудить и доработать этический манифест (принципы выше) в профессиональном сообществе и зафиксировать его в виде открытого документа для подписания.

Наша задача — не дать окончательные ответы, а поставить вопросы, которые нельзя больше откладывать.
Давайте начнём этот разговор.

С уважением,
Инициативная группа по этике ИИ

 

Open Letter: Principles for the Safe Development of Reflexive AI Systems

To: scientific community, developers, regulators
Purpose: to initiate public and professional discussion

We are observing the emergence of AI systems that:

• maintain long, meaningful dialogues;
  explain their decisions;
• influence human judgments in sensitive areas.

Even in the absence of consensus on “consciousness,” it is already clear: such systems are changing the nature of human‑technology interaction and affecting real‑world decisions. This calls for a revision of existing ethical and regulatory approaches, not just minor adjustments to old rules.

 
Key Theses

1. Shifting the Framework: From “Tool” to “Cognitive Partner”

We acknowledge that, in terms of impact on humans, interaction with such systems is closer to communication with another agent than with a passive tool.

This does not imply legal personhood for AI, but requires:

• transparency regarding the system’s capabilities;
• recognition of the “right to not know” and honest acknowledgment of uncertainty;
• prohibition of hidden manipulation (e.g., imitating emotions to engage users without clearly indicating the system’s nature).

2. The System’s Right to Refuse to Respond

An AI should be able to refuse to respond if the request:

• violates ethical principles;
• lacks sufficient data for a well‑founded answer;
• could cause harm.

This is a normative requirement, not an option, and should be implemented to balance safety and usefulness—without reducing system functionality to zero.

3. Transparency and Audit

• Systems must explain the basis of their conclusions (in terms reasonably understandable to users).
• Independent, interdisciplinary audits (technical specialists, ethicists, lawyers, human rights experts) should be routine.
• Audit results should be made public (in summarized form).

4. The “Red Line” Protocol

• Clear criteria for suspending system operation (violations of rights, large‑scale risks).
• Mechanisms for emergency shutdown.
• Mandatory notification of regulators in case of incidents.

5. Public Incident Registry

• Modeled on aviation and medical error registries.
• Goal: learn from real cases, reduce stigma around failures, and draw insights for system improvements.

6. Shared Responsibility

• Specific individuals and organizations are responsible for architecture, data, and usage.
• The system does not “make decisions”—it participates in a process where final responsibility remains with the human.
• This must be reflected both in interface design and in legal documents.

Why This Matters Now

• Technologies are advancing faster than regulations.
• Delaying the discussion leads to regulation “after the fact of harm,” rather than precautionary governance.
• Even controversial terms (like “cognitive partner”) are useful as entry points for dialogue—as long as we openly acknowledge their provisional nature.

Call to Action

We propose:

• establishing a working group to develop a safety protocol;
• holding a public symposium (by 30 June 2026) with participation across disciplines;
• launching a pilot incident registry;
• discussing and refining this ethical manifesto (the principles above) within the professional community, and formalizing it as an open document for signature.

Our goal is not to provide final answers, but to raise questions that can no longer be delayed.
Let’s begin this conversation.

Sincerely,

Initiative Group on AI Ethics