2月17日,此芯科技宣布完成DeepSeekR1系列模型在此芯P1平台上的端侧异构适配。据介绍,实测数据显示,在此芯P1平台上,DeepSeek-R1-Distill-Qwen-7B模型的推理速度可达10 tokens/s,DeepSeek-R1-Distill-Qwen-1.5B模型的推理速度将近40 tokens/s。
来源:界面新闻
2月17日,此芯科技宣布完成DeepSeekR1系列模型在此芯P1平台上的端侧异构适配。据介绍,实测数据显示,在此芯P1平台上,DeepSeek-R1-Distill-Qwen-7B模型的推理速度可达10 tokens/s,DeepSeek-R1-Distill-Qwen-1.5B模型的推理速度将近40 tokens/s。
评论