Model Analysis 疑問

關於analysis function中參數quantize_mode使用的default與post_sigmoid,以及如何計算max & min並移除outlier的部分,是否有更詳細的說明資料可供閱讀?

或者當遇到模型量化精度不符合預期時,有什麼建議的調整方法?

Tagged:

Comments

  • edited November 2021

    Hi Richard,


    在一般狀況下,直接建議您使用quantize_mode="default".

    特殊情況下如果你的Model最後有sigmoid operator我們會將Model中有sigmoid operator部份先切割掉,再post process的時候處理。analysis function中參數quantize_mode才會建議您使用quantize_mode="post_sigmoid"使量化結果較好。

    計算max & min並移除outlier的部份也是為了我們在固定的bit下,除去outlier多餘的資料,達到量化精確度的提昇,只有在某些特殊狀況下才會需要更動。

    至於更詳細的資料,未來我們也會提供在Documentation center上。

    當遇到模型量化精度不符合預期時,有可能是提供的照片不足或者是可以看看您的preprocess是否有可以有調整的地方,公司有提供一個方便的API讓您去模擬量化結果您可以試試。

    可參考資料:

    http://doc.kneron.com/docs/#toolchain/manual/ -> 3.3 E2E Simulator Check 

The discussion has been closed due to inactivity. To continue with the topic, please feel free to post a new discussion.