ПРОДУКТЫ / Инструменты для разработчиков
Disk Sparse Adam
Большие графы при ограниченной памяти
Открытый пакет · MITЧто делает продукт
Out-of-Core оптимизатор для PyTorch. Состояния разреженного оптимизатора хранятся на SSD, в память загружается активный батч.
Результат работы
- Исходный код и примеры интеграции
- Евклидовы и гиперболические embeddings
- Опубликованный benchmark и статья
Данные и проверка
Разреженные градиенты графовых embeddings; для дискового ввода-вывода предпочтителен NVMe SSD.
ГОТОВНОСТЬ И ВАЛИДАЦИЯ
В авторском benchmark использован 1 млн сущностей. Пакет предназначен для sparse-параметров; плотные слои требуют другого подхода.
Код и документацияLOBACHEVSKY LAB
Предложить исследованиеИсследуете большие графы?
Приглашаем к тестированию, воспроизведению benchmark и совместной инженерной работе.