[LLMs 实践] 08 LLM.int8 量化细节 （load_in_8bit）以及 bitsandbytes 库
18:12
[LLMs 实践] 08 LLM.int8 量化细节 （load_in_8bit）以及 bitsandbytes 库
已浏览 7030 次2023年7月9日
bilibili五道口纳什
62．LLM.int8是如何利用向量外积进行量化的？【每天一个宝藏问题】
3:08
62．LLM.int8是如何利用向量外积进行量化的？【每天一个宝藏问题】
已浏览 1045 次1 个月前
bilibili海安雨
【LTX-Video】一键包 快到起飞的视频生成模型 int8量化模型并添加gradio界面
1:11
【LTX-Video】一键包 快到起飞的视频生成模型 int8量化模型并添加gradio界面
已浏览 2480 次2024年11月26日
bilibili十字鱼
【端侧AI】YOLO11推理速度飙升400%！OpenVINO INT8 量化与预处理加速全攻略（附源码）
22:52
【端侧AI】YOLO11推理速度飙升400%！OpenVINO INT8 量化与预处理加速全攻略（附源码）
已浏览 1823 次4 个月之前
bilibililxmyzzs
一分钟学会 ONNX模型INT8量化
1:26
一分钟学会 ONNX模型INT8量化
已浏览 9070 次2023年7月18日
bilibiliOpenCV学堂
LLM.int8() 8位量化-论文精读
34:53
LLM.int8() 8位量化-论文精读
已浏览 205 次2 个月之前
bilibili姚育平
4卡PRO6000生物科研计算服务器，支持Deepseek-V4-Flash INT8的模型部署
0:40
4卡PRO6000生物科研计算服务器，支持Deepseek-V4-Flash INT8的模型部署
已浏览 1190 次1 周前
bilibili亿玖科技
8:53
一个视频搞清楚深度学习中的数值精度格式——FP32, FP16, BF16, INT8等究竟是什么
已浏览 540 次2 个月之前
bilibiliaopstudio
9:18
Xilinx DSP48E2 的 INT8 DSP打包原理介绍
已浏览 1255 次6 个月之前
bilibili雪天鱼
33:24
【基于ZYNQ实现YOLO人脸检测】09_YOLOv3-Tiny INT8量化原理
已浏览 655 次1 个月前
bilibili开源骚客FPGA
29:07
自制Cuda大模型推理框架-int8量化的实现
已浏览 2604 次2024年12月8日
bilibili我是傅傅猪
16:33
老卡救星？A卡战未来？-- INT8 版 FSR4 对比测试与分析（INT8 FSR4 vs FSR3 vs FP8 FSR4)
已浏览 8万 次7 个月之前
bilibili一壶秋茶
5:12
认识神经网络数据类型：FP64 FP32 FP16 FP8 BF16 INT8
已浏览 4276 次10 个月之前
bilibili及诺智路
1:10
英伟达又爽到了！推理飙升至75% 首个启用全INT8量化的Flash Attention
已浏览 915 次2024年10月8日
bilibili论文搬砖学姐
12:46
【AI中字】Optiscaler 客户端现已发布！！！自动安装、FSR 4 INT8、轻松自定义及更多功能！！
已浏览 1.7万 次1 个月前
bilibili_Aminos_
12:43
int8/fp16/bf16/tf32在AI芯片中什么作用？【AI芯片】AI计算体系06
已浏览 3.1万 次2023年3月15日
bilibiliZOMI酱
26:02
自制大模型推理框架-支持大模型int8分组量化
已浏览 3504 次2024年7月13日
bilibili我是傅傅猪
1:26
Bagel 一键包更新2 增加DFloat11量化 增加Int8量化 字节开源多模态理解和生成的统一模型
已浏览 1803 次11 个月之前
bilibili十字鱼
1:17:11
Lecture 43 - int8 tensorcore matmul for Turing
已浏览 2 次2 个月之前
bilibili安得广厦千万间678
1:17:09
Livestream int8 tensorcore matmul for Turing
已浏览 1 次3 个月之前
bilibili安得广厦千万间678
24:33
【4K60帧】数毛社对泄露的 FSR4 INT8 测试：RDNA3，RDNA2，Steam Deck，ROG Ally，N卡，XSX模拟效果 | 机翻中文
已浏览 7581 次6 个月之前
bilibiliKG-Area21
19:04
2026-02-08-deepml_294_Implement_INT8_Quantization
已浏览 91 次3 个月之前
bilibili将军最爱的Toro
39:37
【模型量化】一天学会大模型量化，从原理讲解、代码实现到微调实战，快速上手，超详细教程，过程可视化，让你完全搞懂模型量化
已浏览 5285 次7 个月之前
bilibiliAI-智能体搭建教程
40:48
【LLM学习记录】浅析SmoothQuant-2
已浏览 612 次2024年10月4日
bilibili清和やよい
6:04
模型量化五：LLM.int8() Bitsandbytes HuggingFace 默认大模型量化方法
已浏览 1万 次2024年4月30日
bilibiliRethinkFun
7:36
【双 MI50】本地部署 QwQ:32B-GPTQ-INT8 vLLM 张量并行实测
已浏览 2385 次11 个月之前
bilibili佰年之玖
19:16
使用 OpenVINO 实现 RT-DETR 模型 INT8量化推理加速
已浏览 1367 次2023年11月20日
bilibili椒顔皮皮虾
1:06
阿里发布通义千问大模型的int8版本
已浏览 944 次2023年10月18日
bilibiliAI日日新
0:04
YOLOv11 TensorRT 推理实测｜INT8 动态 Batch 300+ FPS｜TRTInferX
已浏览 140 次4 个月之前
bilibili瓦尔登猫
展开