Yolov7-tiny的效能是否已達到KL720的上限?

RichardRichard
in AI Model migration

我們將官方yolov7-tiny的模型轉檔並使用kneron_plus_2.0.1在KL720上進行推理，得到的效能約為10.75 FPS

想請問耐能是否有測試過此模型的數據? 如果有，是否和我們得到的效能一致?

或者可以幫忙看一下速度能否再提升，謝謝


Tagged:

Comments

  • Maria ChenMaria Chen

    Hi Richard,

    在toolchain上透過IP evaluator後可以得到onnx的報告(如圖)，由報告結果可看到NPU time: 25ms, 代表NPU的部份推論時間為25ms, 即使加上前處理5ms，理論上也可以達到 30 FPS ，10.75 FPS的速度推測應該是指整個系統串接後的結果。速度變慢的可能原因有很多(後處理未平行化, 資料傳輸bottleneck等等), 建議可以先量測各段功能所消耗時間以方便釐清是哪部分較佔時間 (圖片傳輸、推論等)

    MicrosoftTeams-image.png

    另外，若想針對模型的部分來改善運算時間，由於目前input size是640x640，建議可以改使用16:9 或是符合需求方案輸入的長寬比方式來設計模型input size，如此一來可在同樣準確度下有更好的速度

  • RichardRichard
    image.png

    我們測量的是這段時間，但其實這裡應該包含了資料傳輸部分對嗎?

    想請問是否有方法可以使用C code單純測量模型的推論時間?

  • Maria ChenMaria Chen

    Hi Richard,

    是的，我們在Kneron PLUS的C code examples裡有kl520_demo_customize_inf_single_model_profile.c，可以參考程式如何使用kp_profile_set_enable和kp_profile_get_statistics，這些也可以在KL720用，function names都一樣

    image.png
    image.png

    您也可以參考API連結: https://doc.kneron.com/docs/#plus_c_api/api_reference_2.0.x/kp_inference.h/#kp_profile_set_enable

  • RichardRichard

    我們透過kp_profile_get_statistics取得的推論時間為26ms，與IP evaluator預估的時間接近，這樣應該沒問題了，謝謝!

    image.png


The discussion has been closed due to inactivity. To continue with the topic, please feel free to post a new discussion.

© Kneron, Inc.