Глубокое погружение в квантование PyTorch — Крис Готтбрат скачать в хорошем качестве

Глубокое погружение в квантование PyTorch — Крис Готтбрат

Подробнее: https://pytorch.org/docs/stable/quant... При разработке приложений машинного обучения важно эффективно использовать как серверные, так и локальные вычислительные ресурсы. Для более эффективного развёртывания на серверах и периферийных устройствах в PyTorch добавлена ​​поддержка квантования моделей с использованием привычного API Python в активном режиме. Квантование использует 8-битные целочисленные инструкции (int8) для уменьшения размера модели и ускорения вывода (снижения задержки). Это может стать решающим фактором, позволяющим модели достичь желаемого качества обслуживания или даже вписаться в доступные ресурсы мобильного устройства. Даже если ресурсы не так ограничены, это может позволить вам развернуть более крупную и точную модель. Квантование доступно в PyTorch, начиная с версии 1.3, а с выпуском PyTorch 1.4 мы опубликовали квантованные модели для ResNet, ResNext, MobileNetV2, GoogleNet, InceptionV3 и ShuffleNetV2 в библиотеке PyTorch torchvision 0.5.