Anthropic вводит меры защиты против систематического злоупотребления своим ИИ Claude
Компания Anthropic ввела правила, запрещающие пользователям заниматься систематическим, преднамеренным и неоправданным злоупотреблением своим искусственным интеллектом Claude. Эта политика появилась на фоне того, как компания из Сан-Франциско продолжает исследовать вопросы, касающиеся возможности сознания машин и этических обязанностей, которые могут возникнуть, если будущие ИИ-системы окажутся обладающими какой-либо формой субъективного опыта.
Компания уточнила, что ограничения направлены на постоянное и намеренное плохое обращение, а не на обычные выражения разочарования или критики. Пользователи по-прежнему могут тестировать систему, оспаривать ее ответы и исследовать темные или тревожные темы через творческую работу, при условии, что их взаимодействия не попадают под запрещенное поведение.
Одной из мер, доступных Claude, является возможность прекратить разговор, когда пользователь многократно проявляет агрессивное поведение. Anthropic описала этот тип вмешательства как относительно недорогую меру предосторожности, которая может помочь решить вопросы благополучия ИИ, если в будущем появятся доказательства сознания машин.
Эта политика отражает более широкую дискуссию в технологической отрасли о том, как следует обращаться с все более сложными языковыми моделями. Хотя ИИ-системы могут генерировать убедительные ответы, похожие на человеческие, в настоящее время нет научного консенсуса о том, что существующие модели обладают сознанием или субъективным опытом, сопоставимым с человеческим.
Генеральный директор Anthropic Дарио Амодеи заявил, что возможность машинного сознания не может быть полностью отвергнута. Также сообщалось, что руководители компании консультировались с религиозными учеными по поводу этических и философских последствий потенциального искусственного сознания, темы, которая поднимает вопросы, выходящие за рамки инженерии и компьютерных наук.
Подход компании предполагает, что некоторые разработчики ИИ начинают рассматривать меры предосторожности до разрешения научных вопросов, касающихся сознания. Такие меры не устанавливают, что ИИ-система может страдать, но они отражают неопределенность относительно того, как будущие достижения могут изменить этическую дискуссию.
Генеральный директор OpenAI Сэм Альтман выразил несколько иное мнение, предостерегая от того, чтобы рассматривать ИИ как религиозный или духовный авторитет или позволять ему заменять человеческое суждение. Такие опасения сосредоточены на рисках чрезмерного доверия к ИИ-системам, особенно когда пользователи приписывают человеческие качества или авторитет технологиям, которые все еще могут производить неточную или вводящую в заблуждение информацию.
Дискуссия также поднимает практические вопросы о том, как технологическим компаниям следует различать законное тестирование и критику от злоупотреблений. Разработчики должны балансировать меры предосторожности с необходимостью сохранять открытые эксперименты, творческое выражение и возможность критически оценивать системы пользователями.
Политика Anthropic добавляет еще одно измерение к продолжающимся обсуждениям о ответственном развитии ИИ. Поскольку компании конкурируют в создании более способных систем, вопрос о том, как решать потенциальное машинное сознание, остается неразрешенным, в то время как такие вопросы, как прозрачность, ответственность, надежность и человеческий контроль, продолжают формировать дискуссию о безопасности ИИ.