Jennifer Wortman Vaughan
Как люди на самом деле понимают результаты оценки языковых моделей и действуют на их основе — и где проходит разрыв между тем, что было измерено, и тем, во что в итоге поверили.
Исследования Vaughan давно сосредоточены на вопросе, который большая часть оценки ML пропускает: даже когда у вас есть аккуратное число — точность, калибровка, метрика справедливости, — что происходит, когда это число встречается с человеком, которому надо принять на его основе решение? Её исследования интерпретируемости регулярно показывают, что объяснения, задуманные для укрепления доверия пользователя, могут вместо этого создавать чрезмерную уверенность: люди принимают выводы модели, которые им следовало бы поставить под вопрос, потому что объяснение выглядит авторитетно независимо от своей содержательности. Для ai100, который выпускает отчёты об оценке, по которым клиенты принимают решения на шестизначные суммы, урок прямой: артефакт, который мы поставляем, — не сама оценка, а то, что клиент в итоге считает, будто эта оценка означает.