НVIDIA TensorRT-LLM: Ускорение Инференции для Google Gemma

В недавнем сотрудничестве между NVIDIA и Google была представлена оптимизированная версия модели языка Gemma, которая теперь может работать на графических процессорах NVIDIA с использованием библиотеки TensorRT-LLM. Эта новость открывает новые возможности для разработчиков, позволяя им использовать модели языка на локальных компьютерах с графическими процессорами NVIDIA RTX.

Что такое Gemma?

Gemma — это семейство открытых моделей языка, созданных на основе тех же исследований и технологий, что и модели Gemini. Эти модели предназначены для высокопроизводительной обработки текста и могут работать на различных платформах, включая облачные сервисы и локальные компьютеры с графическими процессорами NVIDIA.

TensorRT-LLM: Оптимизация Инференции

TensorRT-LLM — это библиотека, разработанная NVIDIA для оптимизации инференции в моделях языка. Она включает в себя ряд оптимизаций и ядер, которые улучшают производительность и скорость обработки текста. Одними из ключевых особенностей TensorRT-LLM являются поддержка формата FP8, ядро XQA и активационно-зависимая квантизация весов INT4 (INT4 AWQ).

1. FP8: Этот формат позволяет ускорить матричные операции и передачу данных без потери точности. Это особенно важно для моделей с большими размерами пакетов или длинными контекстами.
   
2. XQA: Это ядро поддерживает как групповые запросы внимания, так и многократные запросы внимания. Оно оптимизирует фазы генерации и поиска лучших результатов, что приводит к увеличению производительности.
   
3. INT4 AWQ: Эта технология позволяет снизить потребление памяти и повысить производительность за счет квантизации весов.
   

Преимущества Использования TensorRT-LLM с Gemma

Использование TensorRT-LLM с моделями Gemma открывает ряд преимуществ:

1. Высокая производительность: TensorRT-LLM позволяет достигать высоких скоростей обработки текста. Например, на графическом процессоре NVIDIA H200 Tensor Core GPU модель Gemma 2B может обрабатывать более 79 000 токенов в секунду, а модель Gemma 7B — почти 19 000 токенов в секунду.
   
2. Локальная обработка: Разработчики могут использовать модели Gemma на локальных компьютерах с графическими процессорами NVIDIA RTX, что позволяет обрабатывать текст без необходимости передачи данных в облако.
   
3. Широкая совместимость: Модели Gemma, оптимизированные с помощью TensorRT-LLM, могут работать на различных платформах, включая облачные сервисы и локальные компьютеры с графическими процессорами NVIDIA.
   

Как Начать Работу с Gemma и TensorRT-LLM

Для начала работы с Gemma и TensorRT-LLM разработчики могут воспользоваться следующими ресурсами:

1. NVIDIA AI Playground: Этот онлайн-платформ позволяет экспериментировать с моделями Gemma 2B и Gemma 7B напрямую в браузере.
   
2. NGC: На этом сайте доступны оптимизированные модели Gemma, включая предобученные и настроенные версии, которые можно использовать на графических процессорах NVIDIA.
   
3. Hugging Face: В ближайшем будущем будет доступна версия модели Gemma, оптимизированная с помощью TensorRT-LLM и квантизированная в формате FP8, в библиотеке Optimum-NVIDIA.
   

Заключение

Сотрудничество между NVIDIA и Google открыло новые возможности для разработчиков, позволяя им использовать модели языка Gemma на локальных компьютерах с графическими процессорами NVIDIA RTX. Библиотека TensorRT-LLM обеспечивает высокую производительность и скорость обработки текста, что делает ее идеальным инструментом для разработчиков, работающих с моделями языка. С помощью TensorRT-LLM и моделей Gemma разработчики могут создавать высокопроизводительные приложения для обработки текста, не требующие передачи данных в облако.