dsv4_flash_4layer_ascend_results

# DS-V4-Flash-4Layer Ascend 实测结果 真实推理、SFT-LoRA 训练与重载产物，`synthetic=false`。设备为 2 张双芯片 Ascend 卡、4 个逻辑 NPU。 | 项目 | 实测结果 | | --- | --- | | Torch 推理 | 2 组 prompt 512 / continuation 128，保存完整词表 logits、logprob 和生成 token | | vLLM-Ascend TP4 | 相同 2 组输入，保存目标 logprob 和生成 token | | SFT-LoRA | 20 optimizer steps，320 次样本曝光，1,785,856 个可训练参数 | | 保存与重载 | 独立进程重载通过，32 个 adapter 张量逐值一致 | | val NLL | 基座 16.71776107，训练后 14.50745676；相同 500 条验证集 | | Torch 基座 test NLL | 16.79549309；499 条有效样本，另 1 条截断后无 target | | vLLM 基座完整 test NLL | 16.79157252；相同 499 条有效样本、438,225 个目标 token | | 完整 test NLL 差（vLLM 减 Torch） | -0.00392057 | | Torch/vLLM logprob 差（首轮诊断） | MAE 0.04987713，P99 0.25707560，MaxAbs 0.29671478 | **跑通已确认；精度尚未验收。** 首轮 logprob 差异来自同一 Ascend 环境的 2 条 val fixture、256 个目标 token。生成完全一致率为 0/2。若采用 0.01 的 logprob 误差阈值，此次结果不满足。跨 A100/H100 指标等待 GPU 实测产物。 完整 test 的逐 token 对照另行汇总：MAE 0.05022421、P99 0.27159859、MaxAbs 2.45746994。NLL 接近不能代替逐 token 精度验收。 ## 结果入口 - [整体状态](run_status.json) - [SFT-LoRA 正式结果](runs/ascend_sft_torch210_eager_20steps/result.json) - [最终 adapter](runs/ascend_sft_torch210_eager_20steps/adapter_step20) - [初始 adapter](runs/ascend_sft_torch210_eager_20steps/adapter_initial) - [首步完整梯度](runs/ascend_sft_torch210_eager_20steps/gradients_step01.safetensors) - [Torch 基座推理](runs/ascend_torch210_evaluation/base_torch) - [重载 adapter 推理](runs/ascend_torch210_evaluation/adapter_torch) - [vLLM-Ascend 推理](runs/ascend_vllm_tp4_acl) - [vLLM 完整 test 结果](runs/ascend_vllm_test500_fullvocab/test_summary.json) - [完整 test 的 Torch/vLLM 对照](runs/ascend_vllm_test500_fullvocab/torch_comparison.json) - [Torch/vLLM 数值对照](runs/ascend_torch_vs_vllm_verified/summary.json) - [冻结输入及 batch plan](inputs) - [完整实验说明](EXPERIMENT.md) / [实际启动命令](launch_commands.json) - [逐文件 SHA256 清单](ARTIFACT_MANIFEST.json) ## 复现口径 基座：[XinyuanXie/DeepSeek-V4-Flash-4Layer](https://www.modelscope.cn/models/XinyuanXie/DeepSeek-V4-Flash-4Layer)，revision `5d28b07e79453886702d762f91896f54a4f83a5a`。完整基座分片从原模型仓库获取，本仓库保存模型元数据、权重清单和 LoRA adapter。 数据：[UltraChat train 5k / val 500 / test 500](https://www.modelscope.cn/datasets/XinyuanXie/ultrachat_200k_sft_5k)。`inputs/` 保存本轮实际使用的 token、mask、顺序和 hash，GPU 端应直接使用相同文件与初始 adapter。 LoRA：r=8、alpha=16、dropout=0；每层仅训练 `q_a_proj/q_b_proj/kv_proj/o_b_proj`，对应原始权重名 `wq_a/wq_b/wkv/wo_b`。FSDP FULL_SHARD，BF16 前向与梯度归约，FP32 adapter master/AdamW 状态。 脚本与日志保留执行时的绝对路径，具体环境及已有依赖补丁见 `EXPERIMENT.md`。`protocol_tools/compare.py` 是原推理协议校验器副本。迁移机器时需配置路径并安装相应环境；本轮源码和原始结果保持不变。 vLLM 的固定续写评分路径为 `engine_prompt_scoring`，Torch 为 `full_forward`。完整 test 补测为 `engine_prompt_and_next_token_scoring`：上下文上限仍为 2048，输入去掉最后一个 token，以 prompt logprob 和最后真实目标的完整词表 next-token 概率补齐全部计分位置。辅助采样 token 不参与 NLL。499 条请求的完整 next-token 分布均通过归一化检查，实际输入和逐目标 logprob 均保存。两次独立请求的提取预检有微小差异，见实验说明；正式结果统一使用完整词表提取。 vLLM 未导出完整 logits；fixture 与完整 test 指标分别记录。四层截断模型结果不代表完整模型能力，本轮覆盖文本推理和 SFT-LoRA。 模型、adapter、数据及第三方代码沿用各自来源约束；本结果库不另行授予基座或数据许可。