АВТОМАТИЧЕСКАЯ ОЦЕНКА ТЕСТОВ НА ВЕРБАЛЬНУЮ КРЕАТИВНОСТЬ: ОТ ЛЕКСИЧЕСКИХ БАЗ ДАННЫХ К БОЛЬШИМ ЯЗЫКОВЫМ МОДЕЛЯМ | Библиотека Института психологии РАН

Библиотека Института психологии РАН

АВТОМАТИЧЕСКАЯ ОЦЕНКА ТЕСТОВ НА ВЕРБАЛЬНУЮ КРЕАТИВНОСТЬ: ОТ ЛЕКСИЧЕСКИХ БАЗ ДАННЫХ К БОЛЬШИМ ЯЗЫКОВЫМ МОДЕЛЯМ

Валуева Екатерина Александровна, Панфилова Анастасия Сергеевна, Рафикова Антонина Семеновна
Психология. Журнал Высшей школы экономики ВАК SCOPUS WOS IF 1,374 RSCI
ТИП ПУБЛИКАЦИИ статья в журнале - научная статья
ГОД 2024
ЯЗЫК RU
АННОТАЦИЯ
В статье рассматривается эволюция методов автоматической оценки вербальных тестов на дивергентное мышление. Основным предметом внимания исследователей становится возможность оценить оригинальность ответов испытуемых с помощью подсчета их семантической удаленности от стимульной задачи. В период с 2009 по 2019 г. главным методом оценки семантических расстояний стал латентно-семантический анализ. В целом, с точки зрения внутренней согласованности и корреляции с экспертными оценками, его применение давало удовлетворительные результаты, позволяя сохранить допустимый баланс качества и затраченных усилий. Однако выявились проблемы (зависимость оценок от используемого корпуса, нестабильность результатов, систематические искажения, связанные с длиной анализируемых ответов), которые заставили исследователей перейти к более продвинутым моделям дистрибутивной семантики (GloVe, Word2Vec), большим языковым моделям и обучению с учителем. Большие языковые модели (особенно дообученные на материале тестов креативности) показали более высокую эффективность, чем модели, оценивающие семантические расстояния, и приблизились к оценкам, которые дают эксперты. Помимо оценки оригинальности, в статье рассматриваются работы, в которых предлагаются методы автоматической оценки разработанности, гибкости, ассоциативного потока и дивергентной семантической интеграции. Приводятся ссылки на онлайн-платформы, позволяющие получать автоматические оценки оригинальности ответов на дивергентные тесты. Обсуждается проблема интерпретации полученных с помощью больших языковых моделей результатов. Недостатком применения этих моделей является отсутствие понимания, на каких основаниях выносится суждение об оригинальности творческих продуктов. Обсуждаются перспективы применения объяснимого искусственного интеллекта для оценки результатов вербальных и невербальных тестов творческого мышления.
ЦИТАТА
Валуева, Е.А. АВТОМАТИЧЕСКАЯ ОЦЕНКА ТЕСТОВ НА ВЕРБАЛЬНУЮ КРЕАТИВНОСТЬ: ОТ ЛЕКСИЧЕСКИХ БАЗ ДАННЫХ К БОЛЬШИМ ЯЗЫКОВЫМ МОДЕЛЯМ / Е.А. Валуева, А.С. Панфилова, А.С. Рафикова // Психология. Журнал Высшей школы экономики. – 2024. – Т. 21. – № 1. – С. 202-225
АВТОРЫ

Валуева Екатерина Александровна

ЛАБОРАТОРИЯ ПСИХОЛОГИИ И ПСИХОФИЗИОЛОГИИ ТВОРЧЕСТВА
Научный сотрудник

Публикаций в поиске

95
ИНКУБАЦИЯ ИНТЕЛЛЕКТ INTELLIGENCE

Панфилова Анастасия Сергеевна

ЛАБОРАТОРИЯ ПСИХОЛОГИИ И ПСИХОФИЗИОЛОГИИ ТВОРЧЕСТВА
Научный сотрудник

Публикаций в поиске

51
SELF-ORGANIZING FEATURE MAPS ТЕСТИРОВАНИЕ ИНТЕЛЛЕКТА ФИЛЬТР КАЛМАНА
ПОХОЖИЕ ПУБЛИКАЦИИ
2018 год

2016 год