Плюшевый «совет директоров»: как президент Anthropic уходила из OpenAI

AnthropicOpenAIбезопасность ИИ
1 час назадИсточник: blockweeks.com
Плюшевый «совет директоров»: как президент Anthropic уходила из OpenAI

AI Safety

Автор: Ли Цзя, Wall Street CN

Сегодня Anthropic сделала «безопасность ИИ» своим ключевым лейблом, но мало кто знает, что соучредитель и президент компании Даниэла Амодеи когда-то вместе со своим мужем Холденом Карнофски использовала группу мягких игрушек для обсуждения управленческих вопросов.

Эти игрушки получили разные personalities: некоторые специально отвечали за «меньше встреч и меньше проблем для себя», некоторые подчеркивали правила, детали и исполнение, а другие отвечали за напоминание лицам, принимающим решения, сохранять сострадание.Когда перед ними вставал сложный рабочий вопрос, Даниэла и её муж заставляли этих виртуальных персонажей по очереди «высказывать своё мнение», тем самым моделируя выбор, который могли бы сделать разные типы руководителей.

Этот довольно личный, даже несколько детский эпизод произошёл в тот период, когда Даниэла ещё работала в OpenAI. И именно в этот период она и её брат Дарио Амодеи также постепенно накапливали разногласия с руководством OpenAI: у Даниэлы были трения с несколькими топ-менеджерами на работе, а Дарио начал всё больше настораживаться по поводу управления компанией и направления развития передового ИИ.

В 2020 году брат и сестра в конечном итоге решили покинуть OpenAI. Этот раскол, позже названный инсайдерами «разводом», также стал отправной точкой для рождения Anthropic.

The Atlantic недавно сослалась на готовящуюся книгу журналиста Кевина Руза «Хроники AGI», чтобы раскрыть этот малоизвестный опыт. В интервью Рузу в 2023 году Даниэла сказала, что этот метод «очень полезен для анализа разных типов личности».

От использования мягких игрушек для формирования «консультативного комитета» тогда до превращения сейчас в гиганта ИИ с тысячами сотрудников — Anthropic выросла из небольшого стартапа по безопасности ИИ в важного игрока отрасли. По сообщениям СМИ, потенциальная оценка компании при IPO может приблизиться к 2 триллионам долларов.

Как группа мягких игрушек стала «консультативным комитетом»?

Эта неформальная «консультативная группа» была не просто шуткой, а способом мышления, моделирующим разные стили принятия решений.

Среди них Дзиндзи был покладистым котом, который стремился уменьшить рабочую нагрузку Амодеи, например, пропуская ненужные встречи; розовый медведь Маура представлял совершенно противоположный стиль — организованный, требовательный и внимательный к деталям; а панда по имени Beary Bonds был настроен добавлять больше сострадания и великодушия в обсуждения.

AI Safety

Когда перед ними вставал один и тот же рабочий вопрос, чета Амодеи заставляла «личности», представленные разными куклами, отвечать по отдельности.

Настоящая функция этого метода была не в игрушках, а в том, чтобы заставить лиц, принимающих решения, временно отойти от своей собственной позиции и пересмотреть вопрос через другую личность.

По сути, это был недорогой мысленный эксперимент: не имея реальных внешних консультантов, всё ещё можно было разбить один и тот же вопрос на разные пути принятия решений через моделирование разных ролей.

И почти никто внутри OpenAI не знал об этом методе.

За пределами мягких игрушек разногласия внутри OpenAI расширялись

В то же время отношения между братом и сестрой Амодеи и OpenAI также менялись.

Даниэла Амодеи присоединилась к OpenAI в 2018 году, позже перейдя на руководящую должность в технической команде, и у неё были разногласия с несколькими высокопоставленными руководителями, включая Грега Брокмана и Миру Мурати.

Она и Брокман когда-то были близки. Брокман выступал на её свадьбе с Холденом Карнофски в 2017 году, но после этого их рабочие отношения постепенно ухудшились.

Дарио Амодеи, тем временем, становился всё более сосредоточенным на руководстве OpenAI и направлении развития передового ИИ, и становился всё более настороженным по отношению к Сэму Альтману и Брокману.

В то же время он начал в частном порядке организовывать мероприятия с группой исследователей, которые хотели уделять больше внимания рискам мощных систем ИИ. Вне обычной структуры компании эти люди общались и проводили встречи, и некоторые коллеги называли эту фракцию «маленьким кружком Дарио».

Внутренние конфликты в конечном итоге достигли стадии, которую нельзя было избежать.

В 2020 году Дарио начал собирать команду, готовую покинуть OpenAI и продвигать передовые исследования ИИ под другой философией безопасности. Даниэла стала одной из центральных фигур в этом уходе и отвечала за переговоры с OpenAI, пока команда готовилась уйти.

Этот раскол позже в частном порядке называли «разводом» те, кто был в курсе.

Один уход породил гиганта ИИ

В декабре 2020 года брат и сестра Амодеи официально покинули OpenAI и совместно основали Anthropic.

Джек Кларк, Сэм Маккэндлиш, Том Браун, Крис Ола и Джаред Каплан также участвовали в основании компании, а Бен Манн позже был признан ещё одним соучредителем.

Anthropic изначально была всего лишь небольшим исследовательским учреждением, сосредоточенным на безопасности ИИ. Впоследствии компания постепенно расширилась до тысяч сотрудников и превратилась в одного из самых важных конкурентов OpenAI.

Даниэла Амодеи сейчас занимает должность президента и председателя совета директоров Anthropic, её полномочия охватывают большую часть исследований, инженерии, продукта и бизнес-операций. Холден Карнофски, который когда-то был членом некоммерческого совета OpenAI, позже также присоединился к Anthropic.

От использования плюшевых игрушек для имитации менеджеров до превращения в гиганта ИИ с тысячами сотрудников, этот эпизод также стал свидетелем пути Anthropic от стартапа до зрелости.