Model Analysis 疑問

RichardRichard
in AI Model migration
image.png

關於analysis function中參數quantize_mode使用的default與post_sigmoid，以及如何計算max & min並移除outlier的部分，是否有更詳細的說明資料可供閱讀?

或者當遇到模型量化精度不符合預期時，有什麼建議的調整方法?

Tagged:

Comments

  • Andy HsiehAndy Hsieh
    edited November 2021

    Hi Richard,


    在一般狀況下，直接建議您使用quantize_mode="default".

    特殊情況下如果你的Model最後有sigmoid operator我們會將Model中有sigmoid operator部份先切割掉，再post process的時候處理。analysis function中參數quantize_mode才會建議您使用quantize_mode="post_sigmoid"使量化結果較好。

    計算max & min並移除outlier的部份也是為了我們在固定的bit下，除去outlier多餘的資料，達到量化精確度的提昇，只有在某些特殊狀況下才會需要更動。

    至於更詳細的資料，未來我們也會提供在Documentation center上。

    當遇到模型量化精度不符合預期時，有可能是提供的照片不足或者是可以看看您的preprocess是否有可以有調整的地方，公司有提供一個方便的API讓您去模擬量化結果您可以試試。

    可參考資料：

    http://doc.kneron.com/docs/#toolchain/manual/ -> 3.3 E2E Simulator Check 

The discussion has been closed due to inactivity. To continue with the topic, please feel free to post a new discussion.

© Kneron, Inc.