Технологии 6 ноября 20:39

Supermicro совместно с IBM и NVIDIA представляет решение для KV-кеширования, демонстрирующее значительное повышение производительности инференса

Компания Supermicro, Inc., поставщик комплексных ИТ-решений для искусственного интеллекта, корпоративной инфраструктуры, систем хранения данных и технологий 5G/Edge на базе платформы Data Center Building Block Solutions (DCBBS), сегодня объявила о создании совместно с IBM и NVIDIA нового решения для хранения KV-кеша. Совместное решение объединяет серверы хранения данных Supermicro Petascale класса All-Flash на базе процессоров AMD EPYC серии 9005 (Turin), программное обеспечение IBM Storage Scale, программную платформу инференса NVIDIA Dynamo и сетевую инфраструктуру Spectrum-X Ethernet.

В совокупности эти технологии позволяют значительно сократить время, необходимое моделям искусственного интеллекта для начала генерации ответа, что становится критическим преимуществом по мере внедрения предприятиями агентных систем ИИ и рабочих процессов с длинным контекстом. Расширение емкости KV-кеша за пределы локальной памяти графического процессора позволяет повысить эффективность использование GPU и пропускную способность инференса, обеспечивая при этом высокую доступность содержимого KV-кеша и возможность увеличения его емкости без прерывания работы. В результате формируется более масштабируемая и отказоустойчивая архитектура инференса, обеспечивающая более быструю реакцию систем ИИ на запросы пользователей.

«По мере того как сфера применения ИИ расширяется от обучения моделей к инференсу, предприятиям и новым облачным провайдерам (neoclouds), развертывающим высокопроизводительные системы инференса для агентного ИИ и многошагового генеративного ИИ с длинным контекстом, необходимо устранять узкие места, чтобы повышать эффективность использования графических процессоров, — сказал Чарльз Лян (Charles Liang), президент и генеральный директор Supermicro. — Наше совместное решение с IBM и NVIDIA наглядно демонстрирует эти преимущества в производительности».

Рабочие нагрузки инференса включают два этапа: предварительную обработку (prefill) и декодирование (decode). На этапе предварительной обработки входной текст преобразуется в токены и обрабатывается большой языковой моделью (LLM) для генерации промежуточных состояний пар «ключ-значение» (KV), необходимых для инференса. Сохраняя эти ранее вычисленные KV-состояния в постоянном KV-кеше, система может вновь использовать их вместо повторного вычисления одного и того же контекста при последующих запросах. Агентные рабочие процессы, помощники по программированию, системы генерации с дополнением поиском (RAG) с длинным контекстом, мультимодальный ИИ и многошаговые приложения могут генерировать значительные объемы KV-состояний при обработке крупных баз программного кода, документов, диалогов, изображений и других контекстных данных, быстро превышая емкость памяти GPU и CPU, что создает необходимость выгрузки KV-кеша в высокоемкие общедоступные сетевые системы хранения данных.

Решение Supermicro, IBM и NVIDIA для KV-кеширования обеспечивает такой уровень постоянного хранения, помогая повысить эффективность, пропускную способность и масштабируемость инференса при одновременном сокращении избыточных вычислений.

Ключевые преимущества решения для KV-кеширования с точки зрения клиентов:

• Совместная проверка решения. Supermicro, IBM и NVIDIA провели масштабные испытания производительности на уровне кластеров, в том числе в условиях высокой степени параллелизма и сетевого трафика от конкурирующих рабочих нагрузок («шумных соседей»).
• Значительно более высокая и стабильная производительность инференса. В ходе совместных испытаний Supermicro и NVIDIA с использованием LLM, содержащей 120 млрд параметров, постоянный KV-кеш обеспечил сокращение времени до генерации первого токена (TTFT) до 56 раз при запросах объемом 130.000 токенов.^[1] При увеличении длины входного текста с 30.000 до 130.000 токенов значение TTFT при использовании KV-кеша увеличилось всего на 0,377 сек по сравнению с 29,55 сек без него, что обеспечило более стабильную производительность при обработке длинных контекстов.
• Более высокая загрузка GPU и пропускная способность. Благодаря хранению часто используемого контекста вне памяти графического процессора решение позволяет сократить время простоя GPU, увеличить пропускную способность инференса и поддерживать большее число одновременно обрабатываемых запросов без пропорционального увеличения вычислительных ресурсов GPU.
• Отказоустойчивость корпоративной инфраструктуры и надежность операций ИИ. Постоянный KV-кеш с высокой доступностью помогает защитить сохраненные состояния инференса и обеспечивает совместный доступ к ним с различных узлов и кластеров графических процессоров, поддерживая более масштабируемые и отказоустойчивые сервисы ИИ.
• Проверенная ИИ-инфраструктура под ключ. Supermicro, IBM и NVIDIA совместно проверили интегрированную архитектуру в сценариях с высокой параллельной нагрузкой и конкурирующим сетевым трафиком, объединив NVIDIA Dynamo, программное обеспечение IBM Storage Scale, серверы Supermicro Petascale и сетевую инфраструктуру NVIDIA Spectrum-X.
• Услуги по ускоренному развертыванию. Заводская интеграция оборудования Supermicro в серверные стойки и услуги по развертыванию на объектах клиентов могут сократить сроки внедрения этого решения с нескольких недель до нескольких дней.

«Предприятиям необходим принципиально более эффективный подход к масштабированию инференса ИИ. Совместными усилиями IBM, Supermicro и NVIDIA предлагают высокопроизводительное и отказоустойчивое решение для KV-кеширования, которое помогает клиентам максимально эффективно использовать инвестиции в графические процессоры, масштабировать ресурсы независимо от вычислительных мощностей и значительно повышать эффективность инфраструктуры, — поделился Сэм Вернер (Sam Werner), генеральный директор IBM Storage. — Это сотрудничество представляет собой важный шаг к повышению масштабируемости, надежности и экономической эффективности корпоративного инференса ИИ».

«Агентный ИИ и приложения с длинным контекстом зависят от эффективного повторного использования контекста на многочисленных этапах обработки, а NVIDIA Dynamo помогает координировать распределенный инференс, чтобы предприятия могли получать больше полезной пропускной способности от каждого графического процессора», — отметила Шрути Копаркар (Shruti Koparkar), руководитель направления продукции NVIDIA для инференса ИИ. — Объединение NVIDIA Dynamo и Spectrum-X Ethernet с серверами хранения данных Supermicro Petascale и IBM Storage Scale позволяет создать высокопроизводительный уровень общего хранения KV-кеша, который может сократить избыточные вычисления, уменьшить время до генерации первого токена и помочь клиентам масштабировать отказоустойчивые сервисы инференса ИИ».