Срочно

Модели принятия решений ИИ входят в сферу модерации контента

Thursday 08 October 2026 - 16:40
Модели принятия решений ИИ входят в сферу модерации контента
Zoom

Искусственный интеллект расширяется в другую область цифровых платформ, поскольку модели принятия решений все чаще разрабатываются для модерации контента в реальном времени. Американская компания ИИ Musubi представила PolicyLM-1.7B, легкую модель, предназначенную для оценки онлайн-сообщений в соответствии с написанными политиками модерации без необходимости нового цикла обучения каждый раз, когда эти правила меняются.

Выпущенная с открытыми весами, модель с 1,7 миллиарда параметров предназначена для того, чтобы разработчики и операторы платформ могли запускать и адаптировать ее на своей инфраструктуре. Ее основная цель — переводить правила модерации, написанные на обычном языке, в классификации, которые могут быть применены непосредственно к пользовательскому контенту.

Musubi утверждает, что PolicyLM-1.7B может принимать решения по модерации в реальном времени, при этом компания сообщает о медианном времени обработки около 35 миллисекунд для коротких сообщений на NVIDIA L4 GPU и около 22 миллисекунд на H100 в своих тестах. Более широкое описание продукта нацелено на принятие решений за менее чем 50 миллисекунд.

Модель отличается от традиционных классификаторов модерации тем, что позволяет операторам предоставлять свои собственные инструкции по политике во время использования. Это означает, что когда платформа меняет свои правила, ее команды могут изменить политику вместо того, чтобы заново обучать основную модель с нуля.

Эта гибкость может быть особенно актуальна для онлайн-платформ, сталкивающихся с быстро меняющимися стандартами модерации. Команды по продуктам и безопасности могут определять категории и правила в соответствии со своими конкретными требованиями, в то время как модель производит оценки, указывая, попадает ли сообщение в эти категории.

Модели принятия решений привлекают все большее внимание в индустрии искусственного интеллекта, поскольку они сосредотачиваются на производстве решений или вероятностей, а не на генерации длинного текста. Ограничивая вывод заранее определенными категориями, эти системы могут потенциально работать быстрее и с меньшими вычислительными ресурсами, чем модели общего назначения.

PolicyLM-1.7B также может использоваться с заранее определенной таксономией безопасности, содержащей 23 категории, включая насилие, преследование, угрозы, мошенничество, нарушения конфиденциальности и другие формы потенциально вредного контента. Musubi сообщает, что модель была оценена на 19 языках, хотя ее тестирование на пользовательской политике в основном проводилось с политиками, написанными на английском языке.

Технология основывается на более ранних работах в области ориентированного на принятие решений ИИ. Соучредитель и главный директор по ИИ Musubi Филип Янкович связал подход компании с проектом 2024 года, связанным с GLiNER, разработанным до текущего всплеска интереса к моделям принятия решений. Теперь компания рассматривает модерацию контента как практическое применение того же основного подхода.

В то же время разработчики модели признают, что технология предназначена для конкретных сценариев модерации, а не для каждого типа решений по безопасности. Документация модели отмечает, что она предназначена для быстрой классификации отдельных текстовых сообщений и не предназначена для того, чтобы служить единственным средством защиты для особенно чувствительных случаев, таких как безопасность детей или самоповреждение.

Выпуск происходит на фоне растущих объемов пользовательского контента и увеличения давления на применение все более детализированных правил. Автоматизированные инструменты модерации могут помочь обрабатывать большие объемы материалов, в то время как человеческие команды остаются ответственными за определение политик, рассмотрение сложных случаев и определение того, как должны применяться решения по принуждению.

Подход Musubi с открытыми весами также позволяет разработчикам самостоятельно изучать и развертывать модель, а не полагаться исключительно на хостинговый сервис модерации. Однако опубликованные компанией показатели производительности основаны на ее собственных оценках, и документация модели указывает на то, что она еще не тестировалась на реальном трафике, что означает, что ее реальная производительность может отличаться от результатов тестирования.

Запуск иллюстрирует более широкий сдвиг в разработке ИИ, когда меньшие специализированные модели разрабатываются для выполнения узко определенных задач быстро и эффективно. Для модерации контента сочетание настраиваемых правил, быстрой классификации и локального развертывания может дать платформам еще один инструмент для управления все более сложным потоком онлайн-контента.



Читать далее