СОВРЕМЕННЫЕ ВОЗМОЖНОСТИ И ОСОБЕННОСТИ ПРИМЕНЕНИЯ ТРАНСФОРМЕРНЫХ АРХИТЕКТУР ПРИ УПРАВЛЕНИИ ДАННЫМИ КОМПАНИИ
DOI:
https://doi.org/10.56584/1560-8816-2026-1-243-248Ключевые слова:
трансформер, механизм внимания, нейронные сети, обработка естественного языка, рекомендательные системы, управление данными, ранжирование, персонализацияАннотация
Настоящая работа посвящена вопросам совершенствования обработки больших объемов данных на основе применения современных цифровых механизмов. В статье представлен систематизированный обзор современных трансформерных архитектур, начиная от базовой модели, предложенной в работе «Attention Is All You Need», и заканчивая их актуальными модификациями, применяемыми в задачах обработки естественного языка и управления данными. Рассматриваются механизмы трансформера, включая разновидности внимания, а также эволюция методов позиционного кодирования, обеспечивающих учёт структуры последовательности. Отмечены также основные ограничения данной архитектуры, связанные с высокой вычислительной сложностью, требованиями к качеству данных и недостаточной интерпретируемостью.
Библиографические ссылки
1. Бегалов Б.А., Жуковская И.Е. Современные возможности искусственного интеллекта и экономический рост // РИСК: Ресурсы, Информация, Снабжение, Конкуренция. - 2025. - № 4. - С. 167-173.
2. Гайнетдинов А.Ф. Исследование влияния трансформеров на улучшение генерации изображений // Universum: технические науки. - 2024. - № 4(121). - С. 44-49.
3. Дадабаева Р.А., Жуковская И.Е. Вопросы применения технологий искусственного интеллекта в менеджменте экономических объектов // Инновации и инвестиции. - 2024. - № 11. - С. 511-515.
4. Жуковская И.Е. Цифровые компетенции, как неотъемлемая часть подготовки специалистов в условиях современных вызовов // Открытое образование. - 2025. - Т.29, № 5. - С. 12-21.
5. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser Ł., Polosukhin I. Attention is All you Need / Edited by I. Guyon and U. Von Luxburg and S. Bengio and H. Wallach and R. Fergus and S. Vishwanathan and R. Garnett // Advances in Neural Information Processing Systems 30 (NIPS 2017). - 15 р.
6. История ИИ на пальцах – от перцептрона до GPT-4o [Электронный ресурс]. – Режим доступа: https://habr.com/ru/articles/900228/ (дата обращения: 14.11.2025).
7. Трансформеры: искусственный интеллект [Электронный ресурс]. – Режим доступа: https://www.kommersant.ru/doc/5269024 (дата обращения: 14.11.2025).
8. Азы больших языковых моделей и трансформеров: декодер [Электронный ресурс]. – Режим доступа: https://habr.com/ru/companies/wunderfund/articles/797875/ (дата обращения: 14.11.2025).