Hi 你好
我看到這個網頁可以成功在RZV2H部署及運行 ollama + deepseek-r1:1.5
瑞萨RZ/V2H平台支持部署离线版DeepSeek -R1大语言模型
請問貴司內部是否有測試過RZV2H運行deepseek-r1:1.5b或其他LLM模型的每秒tonken數值?
謝謝
您好，
这边为您咨询下这篇文章的作者，有任何回复我会在这个帖子下面更新。
你好，
LLM的计算时间在回答不同问题和上下文的情况下差异很大，同外置存储设备硬件、编译器软件优化等也密切相关。
具体在文中用例描述的应用场景下，大约能实现10+个token/秒的输出速度。
謝謝 感謝您的回覆