Chris Callison-Burch
Могут ли читатели отличить текст, созданный языковой моделью, от текста, написанного человеком, — и как эта различимость снижается по мере улучшения моделей.
Линия исследований Callison-Burch "Real or Fake Text?" (с Liam Dugan и другими, 2020-е) проводила интерактивные эксперименты, где читателей просили отметить точку в тексте, где человеческий автор остановился и началось AI-продолжение. Результаты отслеживали прогресс LLM с угла, который большинство оценок пропускает: в 2020 году границу было легко найти; к 2023 году читатели уже с трудом находили её вообще, даже когда были мотивированы. Его более ранняя работа была пионерской в использовании краудсорсинга как основного инструмента оценки NLP, и это придаёт нынешней линии дополнительный вес: он необычно хорошо подготовлен к тому, чтобы говорить, что человеческие оценщики могут и не могут обнаружить в реалистичных условиях.