kl720推理出現TIMEOUT問題

lo yun zelo yun ze
in KL720 related discussion

INFERENCE_TIMEOUT_103(如圖)，我們有在論壇上參考幾篇類似的問題，像是在kl520看到的調整NEF檔案大小使其符合硬體記憶體限制，但我們查看KL720後發現比520記憶體大小大出許多，所以可能不是這個問題。

我們做過的嘗試：

(1)調整model大小，(把原來63.77Mb縮小到22.41Mb)，讓運算速度加快

(2)檢查model轉onnx/nef過程


我們的模型是使用resnet18來對聲音訊號轉出的頻譜圖作推論，並在電腦環境上是可行的。依照著文件教程上的步驟將model轉成onnx以及nef檔，也沒有出現錯誤。請問該如何解決!

謝謝

2022-03-09-185153_1920x1016_scrot (4).png


Comments

  • Ethon LinEthon Lin
    edited April 2022

    Hello,

    KP_FW_INFERENCE_TIMEOUT表示與KL720溝通的PLUS(電腦端)等不到KL720回傳工作狀態，可能的原因有很多種，但因為KL720的資料前處理功能主要是在處理影像資料，使用audio model常因輸入的input data與model所需要的格式不同所造成。

    可能要請你提供下面幾種資訊方便我們確認

    1. 生成模型時在toolchain中的/compiler/ioinfo.csv中應該會有模型的input/ output資訊，類似4W4C8B等相關資料，請完整提供
    2. 使用的是哪一個範例呢? 一般個人模型會建議使用KL720DemoGerericInference.py，但若是模型的輸入並非影像常見的3 channel (rgb, yuv)或是4 channel (rgba)等格式，建議自行先將input data處理成model所需的格是，直接參考KL720DemoGenericInferenceBypassPreProc.py來操作
    3. 影像格式如何排列呢? 若非使用 Bypass Pre Proc的API，也還請提供kp.GenericRawImageHeader()的設定供我們確認
  • lin10002699@gmail.comlin10002699@gmail.com

    Hi @Ethon Lin ,

    1.附圖為生成模型時產生的ioinfo.csv檔案內容。

    image.png

    2.是根據KL720KnModelZooGenericInferenceClassification.py這個範例程式做更改後使用。

    3.指的是model格式資訊嗎?下圖是model資訊

    image.png

    而kp.GenericRawImageHeader()則沿用範例設定沒有調整

    image.png


  • Ethon LinEthon Lin
    edited May 2022

    Hello,

    因為模型的channel為1，而目前的範例是針對image inference設計，所以都是3channel架構，建議可以試著參考bypass process的範例，並且將你的input修改成rgba 4channel格式來試試。

    for example:

    若原本輸入資料為

    0, 1, 2, 3, 4, ...

    則修改為

    0 0 0 0, 1 0 0 0, 2 0 0 0, 3 0 0 0, 4 0 0 0, ...

The discussion has been closed due to inactivity. To continue with the topic, please feel free to post a new discussion.

© Kneron, Inc.