medicalxpress: ИИ сравнили с обработкой языков человеческим мозгом

За последние несколько лет модели искусственного интеллекта языка стали очень хорошо справляться с определенными задачами. В частности, они отлично справляются с предсказанием следующего слова в строке текста. Эта технология помогает поисковым системам и текстовым приложениям предсказывать следующее слово, которое человек собирается набрать.

Эти модели могут не только предсказывать следующее слово, но и выполнять задачи, которые, по-видимому, требуют определенной степени подлинного понимания, такие как ответы на вопросы, резюмирование документов и завершение истории. Новое исследование, проведенное нейробиологами Массачусетского технологического института, позволяет предположить, что базовая функция этих моделей напоминает работу центров обработки языка в человеческом мозге.


Джошуа Тененбаум, профессор вычислительной когнитологии в Массачусетском технологическом институте, член CBMM и Лаборатории искусственного интеллекта Массачусетского технологического института (CSAIL), и Эвелина Федоренко, доцент нейронауки и член Института Макговерна Фредерик А. и Кароль Дж. Миддлтон, являются старшими авторами исследования, которое появилось на этой неделе в Proceedings of the National Academy of Sciences. Мартин Шримпф, аспирант MIT, работающий в CBMM, является первым автором статьи.

Новые высокопроизводительные модели предсказания следующего слова относятся к классу моделей, называемых глубокими нейронными сетями. Эти сети содержат вычислительные "узлы", которые образуют связи различной силы, и слои, которые передают информацию друг другу определенными способами.

Исследования, проведенные в Массачусетском технологическом институте показали, что основные функции моделей распознавания объектов совпадают с организацией зрительной коры приматов, даже если эти компьютерные модели не были специально разработаны для имитации мозга.

Команда Массачусетского технологического института использовала аналогичный подход для сравнения центров обработки языка в человеческом мозге с моделями обработки языка. Исследователи проанализировали 43 различные языковые модели, включая несколько, оптимизированных для предсказания следующего слова. Среди них модель под названием GPT-3 (Generative Pre-trained Transformer 3), которая, получив подсказку, может генерировать текст, похожий на тот, который произвел бы человек.

Когда каждой модели предъявлялась строка слов, исследователи измеряли активность узлов, составляющих сеть. Затем они сравнили эти модели с активностью человеческого мозга, измеренной у испытуемых, выполняющих три языковые задачи: прослушивание историй, чтение предложений по одному за раз и чтение предложений, в которых одно слово раскрывается за раз. Эти человеческие наборы данных включали данные функционального магнитного резонанса (фМРТ) и внутричерепные электрокортикографические измерения, сделанные у людей, перенесших операцию на мозге по поводу эпилепсии.

Они обнаружили, что наиболее эффективные модели предсказания следующего слова имели паттерны активности, очень похожие на те, которые наблюдаются в человеческом мозге. Активность в этих же моделях также высоко коррелировала с поведенческими показателями человека, такими как скорость чтения текста.