Перед виходом з OpenAI: як президентка Anthropic мала «раду з плюшевих іграшок»

AnthropicOpenAIБезпека ШІ
1 годину томуДжерело: blockweeks.com
Перед виходом з OpenAI: як президентка Anthropic мала «раду з плюшевих іграшок»

AI Safety

Автор: Лі Цзя, Wall Street CN

Сьогодні Anthropic зробила «безпеку ШІ» своїм основним брендом, але мало хто знає, що співзасновниця та президентка компанії Даніела Амодеї колись разом зі своїм чоловіком Голденом Карнофскі використовувала групу м'яких іграшок для обговорення управлінських питань.

Цим іграшкам були надані різні характери: деякі спеціально відповідали за «менше зустрічей і менше проблем для себе», деякі наголошували на правилах, деталях і виконанні, а інші відповідали за нагадування особам, які приймають рішення, зберігати співчуття.Коли поставало складне робоче питання, Даніела та її чоловік змушували цих віртуальних персонажів «висловлювати свою думку», таким чином моделюючи вибір, який могли б зробити різні типи менеджерів.

Цей досить особистий, навіть дещо дитячий епізод стався в той період, коли Даніела ще працювала в OpenAI. І саме протягом цього періоду вона та її брат Даріо Амодеї також поступово розвивали розбіжності з керівництвом OpenAI: Даніела мала тертя з кількома керівниками вищої ланки на роботі, тоді як Даріо почав дедалі більше насторожено ставитися до управління компанією та напрямку розвитку передового ШІ.

У 2020 році брат і сестра зрештою вирішили залишити OpenAI. Цей розкол, який пізніше інсайдери назвали «розлученням», також став відправною точкою для народження Anthropic.

The Atlantic нещодавно, посилаючись на майбутню книгу журналіста Кевіна Руза «Хроніки AGI», розкрив цей маловідомий досвід. В інтерв'ю Рузу у 2023 році Даніела сказала, що цей метод «дуже корисний для аналізу різних типів особистості».

Від використання м'яких іграшок для формування «консультативного комітету» тоді до перетворення сьогодні на гіганта ШІ з тисячами співробітників, Anthropic виросла з невеликого стартапу з безпеки ШІ на важливого гравця в галузі. Згідно з повідомленнями ЗМІ, потенційна оцінка компанії під час IPO може наблизитися до 2 трильйонів доларів.

Як група м'яких іграшок стала «консультативним комітетом»?

Ця неформальна «консультативна група» була не просто жартом, а способом мислення, який моделював різні стилі прийняття рішень.

Серед них Дзіндзі був легковажним котом, який схильний зменшувати робоче навантаження Амодеї, наприклад, пропускати непотрібні зустрічі; рожевий ведмідь Маура представляв абсолютно протилежний стиль — організований, вимогливий і уважний до деталей; а панда на ім'я Бірі Бондс була налаштована додавати більше співчуття та щедрості до обговорень.

AI Safety

Коли поставало те саме робоче питання, подружжя Амодеї змушувало «характери», представлені різними ляльками, відповідати окремо.

Справжня функція цього методу полягала не в іграшках, а в тому, щоб змусити осіб, які приймають рішення, тимчасово відійти від власної позиції та переглянути питання через іншу особистість.

По суті, це був низьковитратний уявний експеримент: без реальних зовнішніх консультантів все ще можна було розбити те саме питання на різні шляхи прийняття рішень через моделювання різних ролей.

І майже ніхто всередині OpenAI не знав про цей метод.

Поза м'якими іграшками розбіжності всередині OpenAI поглиблювалися

Водночас стосунки між братом і сестрою Амодеї та OpenAI також змінювалися.

Даніела Амодеї приєдналася до OpenAI у 2018 році, згодом перейшовши на керівну посаду в технічній команді, і мала розбіжності з кількома високопосадовцями, зокрема з Грегом Брокманом і Мірою Мураті.

Вона та Брокман колись були близькими. Брокман виступав на її весіллі з Голденом Карнофскі у 2017 році, але згодом їхні робочі стосунки поступово погіршилися.

Тим часом Даріо Амодеї дедалі більше зосереджувався на керівництві OpenAI та напрямку розвитку передового ШІ, і ставав дедалі більш настороженим щодо Сема Альтмана та Брокмана.

Водночас він почав приватно організовувати заходи з групою дослідників, які хотіли приділяти більше уваги ризикам потужних систем ШІ. Поза звичайною структурою компанії ці люди спілкувалися та проводили зустрічі, і деякі колеги називали цю фракцію «маленьким гуртком Даріо».

Внутрішні конфлікти зрештою досягли стадії, якої не можна було уникнути.

У 2020 році Даріо почав збирати команду, готову залишити OpenAI і просувати дослідження передового ШІ за іншою філософією безпеки. Даніела стала однією з центральних фігур цього виходу і відповідала за переговори з OpenAI, поки команда готувалася піти.

Цей розкол згодом приватно називали «розлученням» ті, хто був у курсі.

Один вихід породив гіганта ШІ

У грудні 2020 року брат і сестра Амодеї офіційно залишили OpenAI і спільно заснували Anthropic.

Джек Кларк, Сем МакКендліш, Том Браун, Кріс Ола та Джаред Каплан також брали участь у заснуванні компанії, а Бена Манна згодом визнали ще одним співзасновником.

Спочатку Anthropic була лише невеликою дослідницькою установою, зосередженою на безпеці ШІ. Згодом компанія поступово розширилася до тисяч співробітників і виросла в одного з найважливіших конкурентів OpenAI.

Даніела Амодеї тепер обіймає посаду президента та голови ради директорів Anthropic, її повноваження охоплюють більшість досліджень, інженерії, продуктів і бізнес-операцій. Голден Карнофскі, який колись був членом неприбуткової ради OpenAI, згодом також приєднався до Anthropic.

Від використання плюшевих іграшок для імітації менеджерів до перетворення на гіганта ШІ з тисячами співробітників — цей епізод також став свідком шляху Anthropic від стартапу до зрілості.