Кратко
- OCC выпустило свою первую методику для экзаменаторов, оценивающих использование банками ИИ, сосредоточившись на последствиях и автономности, а не на сложности модели.
- В руководстве прямо рассматриваются внешние ИИ-агенты, что перекликается с опасениями, высказанными крупными банками.
- Методика не является обязательной, но содержит примеры мер защиты для автономных платежей, доступа третьих сторон и человеческого надзора.
Управление контролера денежного обращения США выпустило сегодня свою первую надзорную методику по искусственному интеллекту в банковской сфере, указав экзаменаторам уделять меньше внимания тому, насколько мощной является система ИИ, и больше — тому, что происходит, когда она допускает ошибку.
Методика OCC касается именно этой проблемы, хотя регулятор не связывал ее выпуск с теми конкретными инцидентами.
В разделе, посвященном операционной устойчивости, ведомство предупреждает, что внешние агенты, управляемые клиентами, финтех-компаниями или другими предприятиями, могут создавать риски для банков, даже когда банки не контролируют эти системы.
Это говорит о том, что экзаменаторы рассматривают такие меры, как проверка личности, делегированные разрешения, лимиты транзакций, мониторинг и возможность приостановки или отзыва доступа.
Эти рекомендации направлены на решение дилеммы, с которой уже сталкиваются банки: как позволить клиентам использовать ИИ-ассистентов для управления своими финансами, не предоставляя автономному программному обеспечению неограниченный доступ к счетам.
Новые рекомендации OCC появились менее чем через две недели после сообщений о том, что крупные банки обнаруживали несанкционированных сторонних ИИ-агентов, действующих внутри клиентских счетов, которые иногда совершали действия, выходящие, по-видимому, за рамки указаний пользователей.
Morgan Stanley блокировал внешних агентов, в то время как JPMorgan, Bank of America и Citi ограничивали доступ, согласно Axios от 22 октября. Руководители банков описывали ситуацию как «ужасающую», поднимая вопросы о том, кто контролирует автономного агента после того, как он получил доступ к чьим-то деньгам.
ИИ, который переводит деньги, рискованнее, чем тот, который пишет письма
Структура OCC проводит различие между технической сложностью ИИ-системы и ущербом, который она может причинить.
Простой агент, уполномоченный инициировать финансовые транзакции, может представлять больший риск, чем более продвинутая модель, ограниченная написанием внутренних документов, заявил регулятор.
В соответствии с 22-страничной структурой экзаменаторы могут учитывать последствия сбоя, возможность отмены действия и то, насколько значительный контроль над системой сохраняют люди.
Агентство описывает четыре иллюстративных уровня риска. Полностью автономные платёжные агенты и системы принятия кредитных решений в реальном времени попадают в высшую категорию, тогда как базовые внутренние инструменты повышения производительности занимают низшую.
BitcoinBTC · USD
$80,042−1.89%
28 окт.30 окт.1 нояб.3 нояб.4 нояб.
$81.8k$79.9k$78.0k$76.2k
Максимум за 24 чМаксимум$81,004
Минимум за 24 чМинимум$75,695
ОбъёмОбъём$1.7B
→Купить Bitcoin за USDC
Работает на Jupiter
Системы с повышенным риском могут требовать более строгих ограничений автономности, независимого тестирования и одобрения человеком до того, как могут быть выполнены последующие действия.
Рамки также касаются систем ИИ, которые продолжают работать, принимая вредоносные решения. Предлагаемые меры защиты включают автоматические выключатели, ограничения скорости, ограниченные разрешения и средства аварийного отключения.
Эти соображения особенно актуальны для внешних агентов, описанных в более ранних публикациях Axios, где банки с трудом отличали легитимное программное обеспечение, авторизованное клиентом, от систем, работающих за пределами их предполагаемых разрешений.
Руководство, а не новые банковские правила
OCC подчеркнул, что документ не создает новых регуляторных требований или обязательных к исполнению стандартов для банков.
Вместо этого он дает экзаменаторам способ оценивать ИИ в рамках существующих категорий операционного, комплаенс- и киберриска. Банки не обязаны создавать отдельную категорию риска ИИ.
В документе используется обязательный термин «Сверхинтеллект», который администрация Дональда Трампа настаивает использовать вместо «искусственного интеллекта», однако его сфера охватывает обычный ИИ и «автономных агентов», а не только гипотетические системы с интеллектом, превосходящим человеческие возможности.
Рамки охватывают ИИ, используемый в платежах, обнаружении мошенничества, обслуживании клиентов и других банковских операциях. Они также распространяют свои соображения о рисках на внешних ИИ-агентов, подключающихся через банковские каналы.
OCC заявил, что намерен обновлять руководство по мере развития технологий. На данный момент его иллюстративная шкала рисков относит автономных платежных агентов к категории наивысшего риска, независимо от того, насколько хорошо они показывают себя в тестировании.
Присоединяйтесь к более чем 72 000 читателей
Создайте аккаунт, чтобы сохранять свои статьи.
