Статья 2023 года "LM vs LM" из группы Globerson задала протокол перекрёстного допроса: одна модель производит утверждение, вторая задаёт уточняющие вопросы, рассчитанные на проверку несогласованностей, а исходное утверждение помечается, если эти уточнения вынуждают противоречие. Такая схема даёт области то, чего ей не хватало: метод обнаружения фактологических ошибок, который не требует размеченной ground truth, не требует доступа к внутренним состояниям модели и не требует доверять какой-либо одной модели самой по себе. Более длинная дуга Globerson лежит в теории машинного обучения, и это задаёт тон работы: оценка LLM как задача адверсариального сэмплирования и информационной геометрии, а не как задача prompt engineering.

Стоит читать, когда
вам нужна методология обнаружения фактологических ошибок, укоренённая в теоретических первопринципах, а не в эмпирическом поиске рецептов.
Темы
адверсариальные протоколы оценки LM-vs-LM; обнаружение фактологических ошибок без размеченных данных; теория обучения как линза для поведения LLM.
Ключевые работы
"LM vs LM: Detecting Factual Errors via Cross-Examination" (2023); более широкий корпус работ по теории ML, формирующий методологию оценки.