Буду радий цьому! Я намагався профінансувати опитування досвідчених користувачів у 2024 році, але керівник проєкту зрештою взявся за іншу посаду, і досі вважаю, що це було б чудово. Одна з проблем у тому, що найбільше для мене найбільше важливі досвідчені користувачі — це співробітники компаній, що займаються ШІ, і може бути важко отримати від них детальну інформацію
Чесно кажучи, панель у стилі Consumer Reports з досвідченими користувачами може бути кращою за METR тощо для вимірювання прогресу ШІ, значно стійкішою до шипів.
Не хочу звучати скептично, як досвідчений користувач, я вважаю, що за останні кілька місяців є дуже помітний прогрес, якщо дощо.
Новий допис: 14 січня я передбачив, що часовий горизонт SWE за EOY становитиме ~24 години. Тепер я думаю, що це буде >100 годин, і, можливо, без обмежень. Вперше цього року я не бачу переконливих доказів проти автоматизації досліджень і розробок ШІ.* Посилання нижче.
Працюй зі мною! METR шукає інженерів, науковців і директора з операцій. Посилання на відкриті пости в темі, і не соромтеся писати в особисті, якщо маєте питання!
Наша команда зараз дуже перевантажена!
Щоб продовжувати розширювати автономію агентів ШІ та розробляти оцінки для моніторингу систем ШІ та їхньої схильності підривати контроль людини, нам потрібно більше кваліфікованих інженерів і дослідників. Будь ласка, подайте заявку нижче або напишіть мені в особисті повідомлення!