模型量化精度問題
您好：
我目前依照官網的文檔將我自己的訓練的yolo detection模型量化轉成nef檔，並在量化時丟入不少的影像透過kneron toolchain進行量化校正。但目前觀察到量化後的nef推論的結果偏差其實不小，雖然從視覺上來說還能接受，但誤差可能都會上到5~10個pixel甚至更多。這跟我之前使用TensorRT量化的情況不太一樣(一樣都是屬於Post-Training Quantization的類型)，但TensorRT量化出來的模型推論結果跟原本fp32精度的偏差就沒像nef的差這麼多。
我想問一下上述這樣的情況是正常的嗎？或是說除了QAT的方法之外，我還可以用甚麼方法透過你們的toolchain可以再行優化嗎？
Tagged:
Comments
您好，
有一點點偏差是正常的，不過如果偏差太大的話，您可以使用toolchain上的E2E simulator來比較onnx，bie，和nef模型的推論結果。若onnx和nef的結果差太多的話可以調整量化的參數。
請參照這篇文章: [FAQ] 用NEF推論不如預期 / NEF inference results are different from anticipated — Kneron Developer Forums