16 перемен, которые уже меняют корпоративный подход к генеративному ИИ

Пока в прошлом году потребители часами общались с новыми AI-компаньонами или создавали изображения и видео с помощью diffusion-моделей, корпоративное внедрение genAI, казалось, ограничивалось лишь очевидными кейсами и выпуском «GPT-оберток» в виде новых SKU. Скептики задавались вопросами: действительно ли genAI может масштабироваться в enterprise? Разве мы не застряли в трёх одинаковых сценариях? Способны ли стартапы вообще зарабатывать на этом деньги? А вдруг это просто хайп?

За последние несколько месяцев мы пообщались с десятками топ-менеджеров компаний из списка Fortune 500 и других лидеров enterprise-сегмента, а также провели опрос среди ещё 70 компаний, чтобы понять, как они используют genAI, как покупают решения и как планируют бюджеты. Мы были поражены тем, насколько сильно изменилась структура инвестиций и отношение к генеративным ИИ всего за полгода. Хотя у этих лидеров всё ещё остаются определённые опасения по поводу внедрения generative AI, они почти утроили бюджеты, расширили число рабочих кейсов, реализованных на меньших open-source моделях, и начали активно выводить задачи из стадии эксперимента в продакшн.

Для фаундеров это колоссальная возможность. Мы убеждены: те AI-стартапы, которые, во-первых, ориентируются на стратегические AI-инициативы корпораций с учетом их болевых точек, и, во-вторых, трансформируют сервисную модель в масштабируемые продуктовые решения, — именно они смогут захватить значительную долю нового инвестиционного потока и закрепиться на рынке.

Как всегда, разработка и продажа enterprise-продуктов требует глубокого понимания бюджетов, тревог и roadmap’ов клиентов. Чтобы помочь фаундерам разобраться, как именно enterprise-лидеры принимают решения о внедрении generative AI, и дать AI-руководителям представление о том, как другие игроки решают схожие задачи, — ниже мы собрали 16 ключевых инсайтов, касающихся ресурсов, моделей и use-case’ов, на основе наших последних разговоров с этими лидерами.

1. Бюджеты на генеративные ИИ взлетают.

В 2023 году средние затраты на foundation model API, self-hosted решения и fine-tuning моделей составили $7 млн среди десятков опрошенных нами компаний. Более того, практически каждое предприятие, с которым мы говорили, отметило обнадеживающие результаты ранних экспериментов с genAI и запланировало увеличение инвестиций в 2024 году в 2–5 раз для масштабирования внедрений и вывода новых задач в продакшн.

2. Руководители начинают перераспределять AI-бюджеты как постоянные статьи затрат на софт.

В прошлом году расходы enterprise-сегмента на genAI вполне ожидаемо покрывались из «инновационных» бюджетов и других, как правило, разовых источников финансирования. Однако в 2024-м многие руководители начали переносить эти траты в постоянные бюджетные строки на ПО, менее четверти опрошенных компаний сообщили, что в этом году будут продолжать финансировать genAI из инновационных фондов.

На меньшем масштабе мы также начали видеть, как часть компаний используют genAI-бюджет в расчете на сокращение затрат на headcount — особенно в службах поддержки. Мы рассматриваем это как ранний индикатор возможного кратного роста инвестиций в genAI в будущем, если тренд сохранится. Одна из компаний, например, указала, что экономит ~$6 на каждом обращении, обработанном LLM-решением в саппорте, что дало им сокращения расходов на 90%, и это стало причиной восьмикратного увеличения их вложений в genAI.

Вот как в целом распределяется бюджет на LLM по различным направлениям в организациях:

3. Оценка ROI по-прежнему остаётся и искусством, и наукой.

В настоящий момент enterprise-лидеры в основном оценивают ROI от genAI через призму роста продуктивности, обеспеченного AI-инструментами. В качестве косвенных метрик они используют NPS и уровень удовлетворенности клиентов, но также ищут более осязаемые показатели возврата: рост выручки, экономию ресурсов, повышение эффективности и точности в зависимости от конкретного use case’а.

В краткосрочной перспективе компании всё ещё находятся в процессе развертывания технологий и подбора релевантных KPI для количественной оценки результата. Однако в горизонте 2–3 лет вопрос ROI станет критически важным. Пока же метрики формируются, многие руководители по сути «верят на слово» сотрудникам, когда те говорят, что теперь используют своё время более эффективно.

4. Для внедрения и масштабирования генеративных ИИ требуется специализированная техническая экспертиза — а её у многих корпораций пока нет.

Просто иметь доступ к API от провайдера модели недостаточно, чтобы выстраивать и масштабировать genAI-решения. Для полноценного внедрения, поддержки и масштабирования необходима высококвалифицированная команда, способная работать с соответствующей инфраструктурой. Только этап внедрения стал одной из крупнейших статей AI-бюджетов в 2023 году — а в некоторых случаях и вовсе самой значительной. Один из топ-менеджеров заметил: «Сами LLM, вероятно, составляют лишь четверть стоимости разработки use case’ов», тогда как основную долю бюджета съедают расходы на девелопмент.

Чтобы помочь компаниям быстрее запустить свои модели, провайдеры foundation-моделей предлагали и продолжают предлагать профессиональные сервисы, как правило, связанные с кастомизацией и fine-tuning’ом моделей. По нашим оценкам, эти услуги составили значительную часть их выручки в 2023 году и стали, наряду с производительностью, одним из ключевых факторов выбора модели для enterprise-клиентов.

Поскольку найти и удержать профильные кадры по genAI внутри компаний крайне сложно, стартапы, предлагающие инструменты, упрощающие in-house разработку, скорее всего, будут масштабироваться и внедряться быстрее.

5. Мультимодельное будущее.

Ещё полгода назад подавляющее большинство компаний экспериментировали максимум с одной моделью — как правило, от OpenAI — или, в лучшем случае, с двумя. Сейчас, по нашим разговорам с руководителями предприятий, почти все тестируют, а в ряде случаев уже и используют в продакшене несколько моделей. Это даёт им возможность: 1) адаптировать выбор модели под конкретный use case — с учетом производительности, размера и стоимости; 2) избежать vendor lock-in; 3) оперативно внедрять достижения в стремительно развивающейся области. Особенно важным оказался третий пункт: поскольку лидерборды моделей динамичны, компании заинтересованы в том, чтобы интегрировать как state-of-the-art решения, так и open source-модели — с целью достижения наилучших результатов.

Мы, скорее всего, увидим ещё более широкое распространение моделей. В таблице ниже, составленной на основе данных опроса, руководители компаний указали количество моделей, находящихся в стадии тестирования — это ранний индикатор тех моделей, которые в дальнейшем будут использоваться для продакшн-нагрузок. В продакшн-сценариях OpenAI по-прежнему сохраняет доминирующую долю рынка, что вполне ожидаемо.

6. Бум open source.

Это одно из самых неожиданных изменений в ландшафте за последние полгода. По нашим оценкам, в 2023 году доля закрытых решений составляла 80–90%, при этом большая часть приходилась на OpenAI. Однако 46% участников опроса заявили, что отдают предпочтение или явно предпочитают open source-модели в 2024 году.

В интервью почти 60% AI-руководителей отметили, что заинтересованы в увеличении использования open source или переходе на него, если fine-tuned open source-модели показывают сопоставимую производительность с закрытыми аналогами.

Таким образом, начиная с 2024 года компании ожидают существенный сдвиг в сторону open source. Некоторые прямо заявляют о цели достичь баланса 50/50 — в отличие от соотношения 80% закрытых / 20% open source в 2023 году.

7. Хотя стоимость влияет на привлекательность open source, она уступает контролю и кастомизации как ключевым критериям выбора.

Контроль (включая безопасность проприетарных данных и понимание причин генерации определённых ответов) и кастомизация (возможность эффективно проводить fine-tuning под конкретный use case) значительно превзошли стоимость как главные причины внедрения open source.

Нас удивило, что фактор цены не оказался на первом месте, но это отражает текущую уверенность руководителей в том, что добавленная ценность, создаваемая генеративным AI, многократно перекроет затраты на его использование. Как выразился один из топ-менеджеров: «точный ответ стоит своих денег».

8. Стремление к контролю продиктовано чувствительными use case’ами и обеспокоенностью безопасностью корпоративных данных.

Компании по-прежнему не готовы передавать свои проприетарные данные поставщикам закрытых моделей из-за регуляторных требований и рисков, связанных с безопасностью данных. Это особенно заметно в компаниях, чья бизнес-модель напрямую завязана на интеллектуальную собственность — они демонстрируют наибольшую осторожность.

Некоторые лидеры решают этот вопрос, самостоятельно хостя open source-модели, тогда как другие отдают приоритет решениям с поддержкой интеграции через Virtual Private Cloud (VPC).

9. Руководители в основном кастомизируют модели через fine-tuning, а не создают собственные с нуля.

В 2023 году активно обсуждалась идея создания кастомных моделей, таких как BloombergGPT. В 2024 году интерес к кастомизации сохраняется, однако с ростом качества open source-моделей большинство компаний предпочитает не обучать собственную LLM с нуля, а использовать подходы вроде retrieval-augmented generation (RAG) или fine-tune готовой open source-модели под свои задачи.

10. Облако по-прежнему оказывает серьезное влияние на выбор моделей.

В 2023 году многие компании приобретали модели через своего текущего облачного провайдера (CSP) по соображениям безопасности — руководители больше опасались утечек данных со стороны closed-source моделей, чем со стороны CSP — а также чтобы избежать длительных процедур закупки. В 2024 году эта тенденция сохраняется, что приводит к высокой корреляции между выбранным CSP и предпочитаемой моделью: пользователи Azure, как правило, склоняются к OpenAI, тогда как пользователи Amazon чаще выбирают Anthropic или Cohere.

Как видно на графике ниже, среди 72% компаний, использующих API-доступ к модели, более половины подключаются к модели, размещенной у их CSP. (При этом стоит отметить, что более четверти респондентов выбрали self-hosting — вероятно, для запуска open source-моделей.)

11. Ранний выход на рынок с новыми фичами всё ещё имеет значение для клиентов.

Хотя ключевыми причинами выбора модели руководители называют логические способности, надежность и доступность (например, через их CSP), многие также отдают предпочтение моделям с уникальными и дифференцирующими фичами.

Так, несколько опрошенных указали, что именно наличие контекстного окна на 200K токенов стало для них решающим фактором в пользу Anthropic. Другие выбрали Cohere — благодаря их раннему и удобному решению для fine-tuning.

12. Тем не менее большинство компаний считает, что производительность моделей постепенно выравнивается.

Хотя большая часть tech-сообщества сосредоточена на сравнении моделей по публичным бенчмаркам, корпоративные пользователи в первую очередь ориентируются на сравнение fine-tuned open-source и closed-source моделей по своим внутренним метрикам.

Интересно, что несмотря на то, что закрытые модели зачастую показывают лучшие результаты на внешних тестах, open-source модели получают от руководителей довольно высокий NPS — а иногда даже выше — за счёт более простой и гибкой кастомизации под конкретные use case’ы.

Как отметили в одной из компаний: «после fine-tuning, Mistral и Llama работают почти так же хорошо, как OpenAI, но при этом существенно дешевле». По этим внутренним стандартам, производительность моделей выравнивается даже быстрее, чем мы ожидали, что расширяет выбор высокоэффективных моделей для бизнеса.

13. Оптимизация под гибкость.

Большинство компаний разрабатывают свои AI-приложения так, чтобы смена модели сводилась к простому изменению API. Некоторые идут ещё дальше — заранее тестируют промпты, чтобы переключение происходило буквально «по щелчку». Другие строят собственные «model gardens» — инфраструктуру, позволяющую развертывать разные модели для разных приложений по мере необходимости.

Такой подход продиктован, с одной стороны, уроками, усвоенными в эпоху облаков, необходимость минимизировать зависимость от одного провайдера, а с другой — высокой скоростью развития рынка: делать ставку на одного вендора сейчас попросту рискованно.

14. Компании создают приложения сами, а не покупают готовые — пока что.

Корпорации в основном фокусируются на in-house-разработке приложений, ссылаясь на нехватку зрелых и универсальных AI-решений уровня «категорийных убийц». В конце концов, для таких приложений пока нет даже Magic Quadrants.

Благодаря foundation-моделям и доступу к API, разработка собственных AI-продуктов стала проще, чем когда-либо. Компании создают свои версии привычных сценариев — например, для поддержки клиентов и внутренних чат-ботов — и параллельно экспериментируют с новыми: генерация рецептов для CPG-компаний, ускорение поиска молекул, рекомендательные системы для продаж и пр.

Много пишут о слабой дифференциации так называемых «GPT-оберток» — стартапов, которые создают знакомый UI (например, чат-бота) поверх LLM (например, для суммаризации документов). Одна из причин, почему мы считаем, что эти проекты будут испытывать сложности, в том, что AI ещё сильнее снизил барьер входа для in-house-разработки аналогичных решений.

Тем не менее вопрос остаётся открытым: изменится ли ситуация, когда на рынок выйдут более зрелые и enterprise-ориентированные AI-приложения. Один из лидеров отметил, что хотя сейчас они разрабатывают большинство решений самостоятельно, в будущем рассчитывают на появление «новых мощных инструментов» и будут рады «использовать лучшее, что есть на рынке».

Другие считают, что genAI становится всё более «стратегическим инструментом», позволяющим забирать важные функции внутрь компании, а не отдавать их внешним подрядчикам, как это было раньше. С учётом этих трендов, именно те приложения, которые уходят за рамки формулы «LLM + UI» и по-настоящему переосмыслили корпоративные workflow или помогают эффективнее использовать проприетарные данные, будут иметь наилучшие шансы на успех.

15. Внутренние use case’ы вызывают больше энтузиазма, чем внешние.

Причина в двух ключевых опасениях, которые до сих пор сохраняются в корпоративной среде при работе с genAI:

1. риск галлюцинаций и связанные с этим вопросы безопасности,
2. потенциальные PR-проблемы при внедрении AI во внешние каналы, особенно в чувствительных отраслях вроде здравоохранения или финансов.

Наиболее популярные use case’ы за последний год были ориентированы на повышение внутренней эффективности или обязательно включали человека в цикл — например, кодинг-ассистенты, поддержка клиентов, маркетинг. Как видно из графика ниже, эти сценарии по-прежнему доминируют в корпоративной практике 2024 года.

Компании гораздо активнее выводят в продакшн полностью внутренние use case’ы — такие как суммаризация текста и knowledge management (например, внутренние чат-боты), чем чувствительные задачи с human-in-the-loop (например, проверка контрактов) или customer-facing решения (внешние чат-боты, рекомендательные алгоритмы).

Многие хотят избежать репутационных рисков, подобных громкому фейлу Air Canada с genAI в клиентской поддержке. Именно поэтому стартапы, разрабатывающие инструменты для контроля и минимизации подобных рисков, могут рассчитывать на высокий спрос.

16. По нашим оценкам, совокупные расходы на model API и fine-tuning превысят $5 млрд в годовом исчислении к концу 2024 года, и значительную долю в этом объёме составят корпоративные клиенты.

По нашим расчетам, к концу 2023 года рынок API-доступа к моделям (включая fine-tuning) достиг годового run-rate на уровне $1.5–2 млрд, включая затраты на модели OpenAI через Azure. Учитывая общий рост рынка и конкретные сигналы со стороны корпоративного сектора, расходы на это направление вырастут как минимум до $5 млрд в годовом исчислении уже к концу 2024 года — с существенным потенциалом дальнейшего роста.

Как мы уже обсуждали, предприятия приоритезировали внедрение generative AI, увеличили бюджеты и перераспределили средства в сторону стандартных софтверных категорий, оптимизировали use case’ы под разные модели и планируют ещё активнее выводить нагрузки в продакшн в 2024 году. Всё это делает корпоративный сегмент основным драйвером роста в этом направлении.

За последние 6 месяцев во многих компаниях был дан прямой мандат сверху — находить и внедрять genAI-решения. Сделки, которые ранее тянулись больше года, теперь закрываются за 2–3 месяца, и сами сделки стали существенно крупнее.

Хотя фокус этого обзора — на слое foundation-моделей, мы также убеждены, что возможности в корпоративном сегменте охватывают и остальные уровни стека: от инструментов для fine-tuning и inference-серверов до разработки приложений и AI-native решений, заточенных под конкретные задачи.

Мы находимся в точке перелома в развитии genAI в enterprise, и нам интересно сотрудничать с новым поколением компаний, работающих в этом динамичном и масштабном рынке.