Майлз Брандэйдж, проработавший семь лет руководителем политических исследований в OpenAI, основал Институт исследований верификации и оценки ИИ (AVERI). Цель организации — продвигать независимые проверки безопасности современных моделей искусственного интеллекта.
Покинув OpenAI в октябре 2024 года, Брандэйдж отмечает важную проблему: сейчас компании сами устанавливают правила и проводят оценку безопасности своих систем. По его словам, никто не заставляет их работать с независимыми экспертами для проверки безопасности и надежности технологий.
Институт AVERI уже привлек $7,5 миллионов финансирования и стремится собрать $13 миллионов для поддержки команды из 14 сотрудников. Среди спонсоров — бывший президент Y Combinator Джефф Ралстон и компания AI Underwriting. Примечательно, что институт получил пожертвования от сотрудников ведущих ИИ-компаний, которые, по словам Брандэйджа, «знают все подводные камни» и хотят большей прозрачности в отрасли.
Брандэйдж и более 30 экспертов по безопасности ИИ разработали детальную систему уровней проверки — от базового первого уровня с ограниченным тестированием до четвертого уровня, обеспечивающего надежность, достаточную для международных соглашений.
Даже без государственного регулирования рыночные механизмы могут подтолкнуть компании к независимым проверкам. Крупные предприятия могут требовать аудит как условие использования ИИ-систем. Особую роль могут сыграть страховые компании, которые могут сделать независимую оценку обязательным условием страхования бизнеса, активно использующего искусственный интеллект.
Блог