Bookmarklet для оценки скорости gguf‑моделей в llama.cpp на Hugging Face

Что представляет собой букмарклет?

Автор статьи на Habr AI поделился небольшим скриптом‑букмарклетом, который вычисляет теоретическую скорость генерации токенов (tokens‑per‑second) для моделей в формате gguf, используемых в проекте llama.cpp. Всё, что нужно сделать — открыть страницу модели на Hugging Face, нажать на добавленную в закладки кнопку, и скрипт сразу покажет оценку скорости.

Как работает расчёт?

Букмарклет собирает из карточки модели такие параметры, как:

• количество параметров модели;
• тип вычислительного устройства (CPU, GPU) и его тактовую частоту;
• предполагаемую эффективность реализации llama.cpp (оптимизации, количество потоков).

Затем он применяет простую формулу, основанную на эмпирических измерениях, чтобы вывести токены в секунду. В статье указаны типичные диапазоны: на обычном CPU‑i7‑12700H модель 7 B параметров генерирует около 15‑20 токенов/сек, а на RTX 3080‑Ti – 45‑60 токенов/сек.

Почему это полезно?

• Быстрая оценка: разработчики могут сразу понять, насколько модель подходит под их железо, без необходимости запускать длительные тесты.
• Сравнение моделей: удобно сравнивать несколько моделей в одном месте, просто переключая вкладки на Hugging Face.
• Обучающие цели: студенты и новички в AI‑разработке получают наглядный пример, как связывать характеристики модели с реальной производительностью.

Ограничения

Как отмечает автор, калькулятор не вводит новых идей и работает аналогично уже существующим онлайн‑инструментам. Оценка остаётся теоретической – реальная скорость зависит от множества факторов (оперативная память, драйверы, версии llama.cpp и т.д.).

Как получить букмарклет?

Скрипт размещён в открытом репозитории GitHub (ссылка в статье). Для установки достаточно перетащить ссылку в панель закладок браузера и нажать её, находясь на странице нужной модели.

Ссылка на оригинальную статью: https://habr.com/ru/articles/1076284/