[LLMs 实践] 08 LLM.int8 量化细节 （load_in_8bit）以及 bitsandbytes 库
18:12
[LLMs 实践] 08 LLM.int8 量化细节 （load_in_8bit）以及 bitsandbytes 库
已浏览 6993 次2023年7月9日
bilibili五道口纳什
一分钟学会 ONNX模型INT8量化
1:26
一分钟学会 ONNX模型INT8量化
已浏览 8648 次2023年7月18日
bilibiliOpenCV学堂
【LTX-Video】一键包 快到起飞的视频生成模型 int8量化模型并添加gradio界面
1:11
【LTX-Video】一键包 快到起飞的视频生成模型 int8量化模型并添加gradi…
已浏览 2471 次2024年11月26日
bilibili十字鱼
【端侧AI】YOLO11推理速度飙升400%！OpenVINO INT8 量化与预处理加速全攻略（附源码）
22:52
【端侧AI】YOLO11推理速度飙升400%！OpenVINO INT8 量化与预处 …
已浏览 1705 次3 个月之前
bilibililxmyzzs
认识神经网络数据类型：FP64 FP32 FP16 FP8 BF16 INT8
5:12
认识神经网络数据类型：FP64 FP32 FP16 FP8 BF16 INT8
已浏览 3688 次8 个月之前
bilibili及诺aichip
LLM.int8()论文精读
34:53
LLM.int8()论文精读
已浏览 141 次4 周前
bilibili姚育平
模型量化五：LLM.int8() Bitsandbytes HuggingFace 默认大模型量化方法
6:04
模型量化五：LLM.int8() Bitsandbytes HuggingFace 默认大模型量化方法
已浏览 9815 次2024年4月30日
bilibiliRethinkFun
3:17
STM32F103单片机挑战Cnn卷积神经网络INT8量化加速推理
已浏览 2439 次2022年2月27日
bilibili枝江唯一上单
9:18
Xilinx DSP48E2 的 INT8 DSP打包原理介绍
已浏览 1189 次4 个月之前
bilibili雪天鱼
4:37
大语言模型量化损失测试 fp16/int8/int4成绩对比
已浏览 1.3万 次2023年8月22日
bilibili前沿老哥
19:16
使用 OpenVINO 实现 RT-DETR 模型 INT8量化推理加速
已浏览 1355 次2023年11月20日
bilibili椒顔皮皮虾
6:27
yolo系列模型的部署、精度对齐与int8量化加速
已浏览 1.8万 次2023年6月21日
bilibili追乐大兵
12:43
int8/fp16/bf16/tf32在AI芯片中什么作用？【AI芯片】AI计算体系06
已浏览 3万 次2023年3月15日
bilibiliZOMI酱
29:07
自制Cuda大模型推理框架-int8量化的实现
已浏览 2578 次2024年12月8日
bilibili我是傅傅猪
2:10:25
基于 Tensor Core 的 CNN INT8 定点训练加速
已浏览 1814 次2020年12月15日
bilibili喝牛奶会变白
19:04
2026-02-08-deepml_294_Implement_INT8_Quan…
已浏览 91 次1 个月前
bilibili将军最爱的Toro
26:02
自制大模型推理框架-支持大模型int8分组量化
已浏览 3459 次2024年7月13日
bilibili我是傅傅猪
1:10
英伟达又爽到了！推理飙升至75% 首个启用全INT8量化的Flash Attention
已浏览 912 次2024年10月8日
bilibili论文搬砖学姐
23:08
Supporting INT8 Quantized Networks with Unity Sentis (Presented by Arm)
已浏览 77 次2024年4月17日
bilibiliEIGEN_VECTOR
SiameseRPN C++ TensorRT INT8量化推理
已浏览 248 次2024年8月19日
bilibili还在入门视觉算法
New Optiscaler Version Brings Major Performance Improvements For FS…
6 天之前
wccftech.com
1:37
NVIDIA Jetson orin nano|YOLOv5l模型|8路视频流同时推理效果|int8量化|C …
已浏览 9496 次2023年5月9日
bilibiliPhoenix-Studio
Inside the NVIDIA Vera Rubin Platform: Six New Chips, One AI Su…
2 个月之前
nvidia.com
1:26
AMD针对FSR4 INT8下放回应：暂无新消息可分享
已浏览 1万 次1 个月前
bilibili冰海战神X
0:04
YOLOv11 TensorRT 推理实测｜INT8 动态 Batch 300+ FPS｜TRTInferX
已浏览 140 次2 个月之前
bilibili瓦尔登猫
1:26
Bagel 一键包更新2 增加DFloat11量化 增加Int8量化 字节开源多模态理解 …
已浏览 1803 次10 个月之前
bilibili十字鱼
低比特量化原理
8 个月之前
github.io
LFM2-VL-1.6B INT8 by Liquid AI on Cactus (YC S25) never exceeds 231…
已浏览 25 次3 个月之前
linkedin.com
17:45
Deep Learning Network Quantization for Deployment to Embedded Targets
2021年4月27日
mathworks.com
观看更多视频
静态缩略图占位符