大模型加速器 · NPU
openTARS
一个单核 NPU,在一块现成的 FPGA 开发板上运行 Qwen3.5-0.8B 和 Qwen3-0.6B,每个 logit 都与 Golden Model 逐位一致。
| 模型 | 层结构 | 解码 | 模型镜像 |
|---|---|---|---|
| Qwen3.5-0.8B | 18 Gated DeltaNet + 6 gated attention | 0.13 s/tok | 887 MiB |
| Qwen3-0.6B | 28 full attention (GQA 16/8) | 0.07 s/tok | 662 MiB |
板上配置
- 板卡
- AMD Kria KV260 (XCK26)
- 核心时钟
- 100 MHz
- LUT 占用
- 90%
- 权重
- INT8 W8A8
- 比特流 v1.0 → v3.3
- 2.6 → 0.13 s/token
验证方式
- Python 可执行契约与 Golden Model,在写 RTL 之前先与 transformers 对齐
- RTL 与 Golden 逐字节比对:随机指令队列、随机反压、五种阵列形状
- 748 项回归测试与 141 个变异体检查:每个注入的 RTL bug 都必须被捕获
- 同一核心按 ASIC 做时序:ASAP7 上 1 GHz 布局前时序
如实报告:MTP 投机解码已实现且结果逐位一致,但在这块硬件上平均只有 0.97×(草稿命中率 77% 才回本),因此默认关闭。

↳ 来源: openTARS/README.md