Американская технологическая компания Anthropic, создавшая популярное семейство языковых моделей Claude, опубликовала официальный дочерний доклад с призывом ввести глобальный механизм заморозки или замедления разработки ИИ. Руководство стартапа подчеркивает, что сбалансированная система сдерживания сейчас жизненно необходима, так как у мировой ИТ-индустрии есть мощная «педаль газа», но полностью отсутствует «педаль тормоза».
Опасность заключается в феномене «рекурсивного самосовершенствования», когда одна ИИ-система становится способной самостоятельно проектировать, обучать и выпускать собственные, еще более продвинутые версии. Внутренняя статистика разработчиков показывает, что сегодня алгоритмы Claude генерируют уже более 80% всего рабочего кода для продуктов компании, из-за чего роль человека на каждом этапе стремительно сужается до функций простого проверяющего. Если этот процесс замкнется в непрерывную автономную петлю, человечество столкнется с рисками экзистенциального масштаба.
Контролировать скрытое обучение таких моделей будет намного сложнее, чем отслеживать строительство секретных военных объектов или ракетных шахт.
Читать далее:
Обложка:
The post appeared first on .