RZ/V2H 運行 LLM 每秒 token 數量?

Question

Hi 你好 
 我看到這個網頁可以成功在RZV2H部署及運行 ollama + deepseek-r1:1.5 
 瑞萨RZ/V2H平台支持部署离线版DeepSeek -R1大语言模型 
 
 請問貴司內部是否有測試過RZV2H運行deepseek-r1:1.5b或其他LLM模型的每秒tonken數值? 
 謝謝

NP_Renesas · Accepted Answer

你好， 
 LLM的计算时间在回答不同问题和上下文的情况下差异很大，同外置存储设备硬件、编译器软件优化等也密切相关。 
 具体在文中用例描述的应用场景下，大约能实现10+个token/秒的输出速度。

NP_Renesas · Answer

您好， 
 这边为您咨询下这篇文章的作者，有任何回复我会在这个帖子下面更新。

RZ/V2H 運行 LLM 每秒 token 數量?

Top Replies