Будущее LLM: 7 прогнозов на 2025 год

Причины кроются в самой архитектуре моделей: LLM обучаются на огромных массивах данных, но не способны самостоятельно проверять достоверность информации. Ответы языковых моделей невозможно предугадать, поэтому и саму проблему галлюцинаций устранить сложно. Даже с доступом к актуальной информации LLM иногда выдают ответы, основанные на неправильных данных. ChatGPT часто вырывает данные из контекста или предлагает устаревшую статистику, из-за чего приходится самостоятельно проверять ответы.

В 2025 году компании-разработчики, такие как OpenAI, Google и Anthropic, сосредоточатся на интеграции моделей с базами проверенных данных и усилении фильтров для критической информации. Большинство компаний уже используют RAG-подход для устранения галлюцинаций. Плюс RAG дополнительно усиливает надежность моделей: он позволяет сначала выполнить поиск релевантных данных в подключенных базах, а затем генерировать ответы на их основе. То есть модель еще будет предоставлять ссылки на источники. Сейчас так делают GPT-4, Gemini и Perplexity.

Однако не стоит ожидать, что проблему с галлюцинациями тут же решат в 2025 году. Чтобы разучить модели «обманывать», нужны значительные ресурсы. Прежде всего, электричество, потребление которого, по прогнозам, вырастет на 160% к 2030 году из-за разработки LLM.

Перед тем как интегрировать LLM в работу, рекомендую провести им тесты на галлюцинации и задать вопросы из нужной вам сферы. Сделать это бесплатно и без VPN можно на платформе LLMArena. Сервис позволяет сравнить две языковые модели и выбрать ту, которая лучше справляется с вашими задачами.

Fine-tuning никогда не был универсальным решением. На практике его эффективно применяют лишь в одном случае из двадцати. Добиться качественного результата, который сохраняет калибровку HLRF (High-Level Reasoning Framework) и не вызывает галлюцинаций, удается еще реже. Большинство задач уже решают базовые модели. Современные LLM, такие как GPT, обучены на огромных объемах данных и успешно справляются с широким спектром задач при грамотной формулировке запроса.

Fine-tuning имеет смысл только для задач, требующих специфических знаний или узкого контекста, которых нет у базовой модели. Главный минус подхода — требует вычислительных ресурсов и времени. Для качественного результата нужен большой объем точной и релевантной информации. А если модель перегрузить, то снизится ее универсальность. К примеру, она будет выдавать однотипные ответы.

В 2025 году fine-tuning, вероятно, станет еще менее востребованным, так как современные базовые модели способны решать большинство задач без дообучения. Вместо этого акцент сместится на prompt engineering — умение правильно формулировать запросы для получения нужных результатов без дополнительной настройки.

Большие языковые модели работают с огромными объемами информации, в том числе конфиденциальной. Проблема в том, что они могут «запомнить» куски этих данных. Например, если модель обучается на открытых источниках или подключается к системам через API, всегда есть риск, что информация случайно или намеренно утечет.

Облачные сервисы добавляют еще больше рисков. Данные отправляются на удаленные серверы для обработки, и в этот момент злоумышленники могут попытаться перехватить их или найти уязвимости. Бывали случаи, когда слабые места в языковых моделях использовались для вытягивания чужих секретов.

В 2025 году защита данных станет приоритетом. Компании начнут больше вкладываться в безопасные решения. Например, многие будут использовать локальные модели, которые обрабатывают данные на месте, без отправки в облако. Также усилится контроль над тем, что именно модели могут «запоминать», чтобы минимизировать риск утечек.

Хотя многие говорят, что в новом году нас ждет прорыв в сфере автономных систем, это вызывает сомнения. Проблема не в том, что такие агенты технически невозможно создать — при желании и серьезных вложениях можно добиться впечатляющих результатов. Но на практике это очень сложный продукт.

Агенты требуют учета огромного количества переменных, больше, чем классические чат-боты. Каждая из них добавляет сложности на этапах проектирования, тестирования и поддержки. Такие решения могут позволить себе только крупные компании, например, Amazon. Их агент Amazon Connect Contact Lens анализирует поведение клиентов по звонкам в реальном времени и работу сотрудников колл-центра. Такой агент действительно может взять на себя роль отдела контроля качества.

Хотя спрос на ИИ-агентов растет, но ждать революции не стоит. А вот количество фреймворков для разработки агентов точно увеличится. Все хотят повторить успех LangChain и занять свое место на рынке. Даже Pydantic подключился с новым подобным проектом. Так что через пару лет можно ожидать мощные и доступные инструменты, которые сделают разработку агентов проще.