Вестник БГУ. Филология
Библиографическое описание:
ГАЛЛЮЦИНАЦИИ ЯЗЫКОВЫХ МОДЕЛЕЙ В ЗЕРКАЛЕ ПРЕЦЕДЕНТНЫХ ВЫРАЖЕНИЙ // Вестник БГУ. Филология. - 2025. №4. . - С. 12-21.
Заглавие:
ГАЛЛЮЦИНАЦИИ ЯЗЫКОВЫХ МОДЕЛЕЙ В ЗЕРКАЛЕ ПРЕЦЕДЕНТНЫХ ВЫРАЖЕНИЙ
Финансирование:
Работа выполнена за счет средств Программы стратегического академического лидерства Казанского (Приволжского) федерального университета (ПРИОРИТЕТ 2030).
Коды:
Аннотация:
Проведенное исследование демонстрирует, что языковые модели ИИ, несмотря на свой значительный объем данных и сложные алгоритмы обучения, сталкиваются с двумя ключевыми проблемами: «усталостью» обучения, когда модели перестают усваивать новые данные, и «галлюцинациями», когда модели генерируют недостоверную информацию, заменяя отсутствующие знания статистическими закономерностями и ассоциациями. Анализ прецедентных текстов показал, что ИИ часто не распознает культурный контекст и символическое значение текстов, что приводит к искажению ответов.
Результаты эксперимента с двумя трансформерами (YandexGPT 4 Pro RC и ChatGPT 4) подтвердили гипотезу о том, что галлюцинации являются следствием лакун в обучающем массиве данных. Обе модели демонстрировали склонность к неверному определению источников цитат и искажению прецедентных текстов, хотя и показывали хорошие результаты в узнавании некоторых широко известных текстов (например, рекламы из 90-х, афоризмов Ельцина, цитат из Ильфа и Петрова).
Исследование также показало, что вероятность правильного ответа модели повышается с увеличением количества контекстных слов, однако даже при обширном контексте ошибки все равно встречаются. Это указывает на фундаментальные ограничения в способности моделей понимать и генерировать текст с учетом культурного и символического контекста.
Полученные результаты подчеркивают необходимость дальнейшего изучения механизмов работы языковых моделей, разработки методов снижения галлюцинаций и улучшения понимания культурного контекста. Перспективными направлениями являются расширение и диверсификация обучающих корпусов, а также разработка специальных методик оценки и коррекции «культурного интеллекта» моделей.
Результаты эксперимента с двумя трансформерами (YandexGPT 4 Pro RC и ChatGPT 4) подтвердили гипотезу о том, что галлюцинации являются следствием лакун в обучающем массиве данных. Обе модели демонстрировали склонность к неверному определению источников цитат и искажению прецедентных текстов, хотя и показывали хорошие результаты в узнавании некоторых широко известных текстов (например, рекламы из 90-х, афоризмов Ельцина, цитат из Ильфа и Петрова).
Исследование также показало, что вероятность правильного ответа модели повышается с увеличением количества контекстных слов, однако даже при обширном контексте ошибки все равно встречаются. Это указывает на фундаментальные ограничения в способности моделей понимать и генерировать текст с учетом культурного и символического контекста.
Полученные результаты подчеркивают необходимость дальнейшего изучения механизмов работы языковых моделей, разработки методов снижения галлюцинаций и улучшения понимания культурного контекста. Перспективными направлениями являются расширение и диверсификация обучающих корпусов, а также разработка специальных методик оценки и коррекции «культурного интеллекта» моделей.
Ключевые слова:
языковые модели, искусственный интеллект, галлюцинации, прецедентные тексты, лингвокультурные лакуны, культурный контекст, ассоциативный и статистический подбор токенов.
Список литературы:
1. Костомаров В. Г., Бурвикова Н. Д. Как тексты становятся прецедентными // Русский язык за рубежом. 1994. № 1(147). С. 73–76. Текст: непосредственный.
2. Лебедева А. В. Функционирование прецедентного имени в профессиональном дискурсе (на примере косметологического дискурса) // Вестник БГУ. Филология. 2024. № 2.
С. 12–18. Текст: непосредственный.
3. Слышкин Г. Г. От текста к символу: лингвокультурные концепты прецедентных текстов в сознании и дискурсе: монография. Москва: Академия, 2000. 128 с. Текст: непосредственный.
4. Brodsky S. Can We Stop AI Hallucinations? And Do We Even Want To? Freethink. 2024. URL: https://www.freethink.com/robots-ai/ai-hallucinations (accessed 27.10.2025).
5. Dettmers T. LLM.int8() and Emergent Features. 2022. URL: https://timdettmers.com/2022/08/17/llm-int8-and-emergent-features (accessed 27.10.2025).
6. Hoffmann, J., et al. Training Compute-Optimal Large Language Models. arXiv pre-print. 2022; arXiv:2203.15556. URL: https://arxiv.org/pdf/2203.15556 (date of accessed: 27.10.2025).
7. Leffer L. AI Chatbots Will Never Stop Hallucinating. Scientific American. 2024. URL: https://www.scientificamerican.com/article/chatbot-hallucinations-inevitable (ac-cessed 27.10.2025).
8. Lovitt L. Predictability and Surprise in Large Generative Models. 2022. URL: https://arxiv.org/abs/2202.07785 (accessed 27.10.2025).
9. Ott S., Barbosa-Silva A., Blagec K. et al. Mapping Global Dynamics of Benchmark Creation and Saturation in Artificial Intelligence. Nature Communications; 2022. 13: 6793.
10. Rae J. W. et al. Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv preprint; 2021. arXiv:2112.11446. URL: https://arxiv.org/pdf/2112.11446 (accessed 27.10.2025).
11. Wei J. et al. Emergent Abilities of Large Language Models. arXiv preprint; 2022. arXiv:2206.07682. URL: https://arxiv.org/pdf/2206.07682 (accessed 27.10.2025).
2. Лебедева А. В. Функционирование прецедентного имени в профессиональном дискурсе (на примере косметологического дискурса) // Вестник БГУ. Филология. 2024. № 2.
С. 12–18. Текст: непосредственный.
3. Слышкин Г. Г. От текста к символу: лингвокультурные концепты прецедентных текстов в сознании и дискурсе: монография. Москва: Академия, 2000. 128 с. Текст: непосредственный.
4. Brodsky S. Can We Stop AI Hallucinations? And Do We Even Want To? Freethink. 2024. URL: https://www.freethink.com/robots-ai/ai-hallucinations (accessed 27.10.2025).
5. Dettmers T. LLM.int8() and Emergent Features. 2022. URL: https://timdettmers.com/2022/08/17/llm-int8-and-emergent-features (accessed 27.10.2025).
6. Hoffmann, J., et al. Training Compute-Optimal Large Language Models. arXiv pre-print. 2022; arXiv:2203.15556. URL: https://arxiv.org/pdf/2203.15556 (date of accessed: 27.10.2025).
7. Leffer L. AI Chatbots Will Never Stop Hallucinating. Scientific American. 2024. URL: https://www.scientificamerican.com/article/chatbot-hallucinations-inevitable (ac-cessed 27.10.2025).
8. Lovitt L. Predictability and Surprise in Large Generative Models. 2022. URL: https://arxiv.org/abs/2202.07785 (accessed 27.10.2025).
9. Ott S., Barbosa-Silva A., Blagec K. et al. Mapping Global Dynamics of Benchmark Creation and Saturation in Artificial Intelligence. Nature Communications; 2022. 13: 6793.
10. Rae J. W. et al. Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv preprint; 2021. arXiv:2112.11446. URL: https://arxiv.org/pdf/2112.11446 (accessed 27.10.2025).
11. Wei J. et al. Emergent Abilities of Large Language Models. arXiv preprint; 2022. arXiv:2206.07682. URL: https://arxiv.org/pdf/2206.07682 (accessed 27.10.2025).
Статья.pdf