影像辨識與AI機器人

王景瀚 · October 2022

想請教

1.想請問想要透過耐能構建的影像辨識進行增加類別相關的流程是否是以下我所理解的

在圖片中標記物件，註記類別 -> 與coco圖像集一同訓練 -> 訓練完成進行測試 -> 進行轉檔成 .onnx檔案 -> onnx檔案測試 -> 導回python庫，透過加速棒運行

2.請問決策樹機器人是否可以加入耐能的AI加速棒運行若可以的話有什麼流程需要遵守進行嗎?

Maria Chen · October 2022

您好，

您的理解大概都是正確的。.onnx檔案之後需要轉換成.nef檔，就可以用加速棒加上Kneron的Python API運行喔 (Kneron PLUS裡面有Python範例可以參考)
我們的產品沒有特別說支援哪些模型，不過我們有NPU支援的operator list，若模型中使用的都是NPU有支援的，那就可以用AI加速棒執行。關於模型中可以用的operators，請參考這裡: Toolchain Manual - Document Center (kneron.com)

Python API: Index - Document Center (kneron.com)

王景瀚 · October 2022

想請問

最後打包而成的app.zip檔，其內容需要包含UI介面、模型相關內容即市面上的APP，還是只需包含模型的相關資料並能夠執行，無須介面、前後端等內容呢?

Maria Chen · October 2022

您好，

耐能的產品會幫助AI去做運算與提供結果，有些app可以輸出圖片或顯示相機的螢幕，有些app只會印出結果(沒有UI)。執行這些app會需要input(圖片)跟模型跟firmware (可以下載Kneron PLUS看一下範例，這裡有說明: Index - Document Center (kneron.com))。您的app可以依照自己的需求去開發介面與前後端喔。

王景瀚 · October 2022

您好，

請問一下如果我是透過tensorflow所訓練出來的東西是可以放進加速棒run的嗎?

Maria Chen · October 2022

您好，

用tensorflow訓練出來的模型，要轉換成.onnx (有指定版本)，再轉換成.nef檔，就可以用加速棒去跑。我們有提供轉成.onnx檔與.nef檔的script: ONNX Converter - Document Center (kneron.com)。

轉換模型時，請注意KL520與KL720環境支持的operators: Toolchain Manual - Document Center (kneron.com)，有支持才可以轉換。

王景瀚 · October 2022

您好，

我現在有使用您們的 https://doc.kneron.com/docs/#model_training/OpenMMLab/YoloX/ 文件參考模型實施到 [Step 2: Test trained pytorch model] 的步驟時會出現下圖的錯誤，想請教我是哪個部分有做錯嗎?

我是在Google colab上面實施執行的，再麻煩請教了

Andy Hsieh · October 2022

@王景瀚

Hi 景瀚,

出現下圖錯誤，您可以往環境建置的部份去尋找錯誤原因。

請確認一下您的環境

Python 3.6+ (您可使用 3.7.10)

PyTorch 1.3+ (您可使用 1.7.0、cu11.0)

CUDA 9.2+ (If you built PyTorch from source, CUDA 9.0 is also compatible) (您可使用 1.7.0、cu11.0)

mmcv-full (Note: not mmcv!) (您可使用 mmcv-full==1.5.0)

王景瀚 · October 2022

HI 您好

我現在在train 自己的資料集，

none.v1i.coco (1).zip

none.v1i.coco.zip

food.v1i.coco.zip

上述為我使用的資料集

1.運用 configs\my_custom_config.py

https://github.com/open-mmlab/mmdetection/blob/5e246d5e3bc3310b5c625fb57bc03d2338ca39bc/docs/en/tutorials/customize_dataset.md

上述的資訊進行卻會持續出現

的情況，再請協助確認問題所在指令為 python tools/train.py configs/yolox/yolox_s_8x8_300e_coco_img_norm.py

2.後續我使用自己的資料集執行 configs\yolox\yolox_x_8x8_300e_coco.py 該檔案進行train 會持續地出現

ERROR - The testing results of the whole dataset is empty. 的錯誤訊息，再請協助確認問題所在

指令為 python tools/train.py configs/my_custom_config.py

3.在請教!!!!!!耐能是否可以做到OCR的辨識處理!!!!!!

4.我在打包執行APP的辨識模組時會持續出現

的情況想請問我是哪一個步驟做錯了當中的該模型檔案為

https://github.com/kneron/kneron-mmdetection/blob/main/docs_kneron/yolox_step_by_step.md

當中所按照步驟使用，在 Step 1-2: Train YOLOX on COCO 步驟是使用

mkdir work_dirs
cd work_dirs
wget https://github.com/kneron/Model_Zoo/raw/main/mmdetection/yolox_s/latest.zip
unzip latest.zip
cd ..

執行的，不太知道到底是哪邊出問題，下面為我打包的壓縮檔

app_name (template) (2).zip

在拜託回復了

Andy Hsieh · November 2022

@王景瀚

Hi 景瀚,

1.看到錯誤訊息，您可以往準備 dataset 還有 configs/yolox/yolox_s_8x8_300e_coco_img_norm.py 設定的方向去尋找錯誤原因。

可參考：

https://github.com/open-mmlab/mmdetection/issues/8543

2.與前一個問題類似，您可以參考: https://github.com/open-mmlab/mmdetection/issues/3559

3.只要是您訓練的 model 轉出的 .onnx 是屬於符合 dongle KL720 或 KL520 的 opertaors 就可以使用，但您可能需要自己做前後處理部屬模型。

您可參考 support operators:

https://doc.kneron.com/docs/#toolchain/manual/ (2.3 Supported operators, Table 1.1)

4.不知道您的打包執行 APP 的辨識模組是在哪裡取得的，您使用 https://github.com/kneron/kneron-mmdetection/blob/main/docs_kneron/yolox_step_by_step.md 此連結內的 model 為 yolox_s 您執行的範例應該參考的是 yolox_plus_demo.zip (Step 7-3: Download YoloX example code) (firmware: v1.3.0) 下載連結: https://www.kneron.com/tw/support/education-center/?folder=OpenMMLab%20Kneron%20Edition/kneron-mmdetection/YoloX/&download=61 或是 Kneron Plus 2.0.1 (firmware: v2.0.1) 內的 [kneron_plus_v2.0.1]\kneron_plus\python\example_model_zoo\KL720KnModelZooGenericDataInferenceMMDetYoloX.py 範例。

王景瀚 · November 2022

@Andy Hsieh

Hi Andy,

關於第四點的模型來源我是使用我上述所附的連結步驟中，快速嘗試流程步驟的成果

https://github.com/kneron/Model_Zoo/raw/main/mmdetection/yolox_s/latest.zip

是以上這個連結的檔案，透過流程步驟最終產出的nef模型檔案，我已有嘗試放入您所說的yolox_plus_demo.zip中以及Kneron Plus 2.0.1執行過

我使用的方式是採取將其的模型檔更改成我所產出的模型檔，執行過後皆會出現錯誤，若是執行會開啟鏡頭的執行py檔，則會出現上述我所貼的有關於

Cannot reshape array of size 512000 into shape (1,80,80,3,24)

的錯誤訊息

Andy Hsieh · November 2022

@王景瀚

您會出現 Cannot reshape array of size 512000 into shape (1,80,80,3,24) 這個問題應該是 scripts 中 post process 與您最終產出的 nef model 對接出了問題，如果您希望有開啟鏡頭執行 py 檔，您可以使用下面兩個 .py 檔為基礎自行修改。

使用 yolox_plus_demo.zip 裡的 KL720DemoGenericInferenceYoloX_BypassHwPreProc.py 這個 demo，您也記得將您的 dongle KL720 的 firmware 版本更新成 (1.3.0) 並且安裝 kneron_plus_v1.3.0 內執行前說需要的 .whl 檔

參考連結 :

https://github.com/kneron/kneron-mmdetection/blob/main/docs_kneron/yolox_step_by_step.md (Step 7-1: Download and Install PLUS python library(.whl) ~ Step 7-3: Test enviroment is ready (require KL720 USB accelerator))

使用 Kneron Plus 2.0.1 執行的話，您要執行的是 KL720KnModelZooGenericDataInferenceMMDetYoloX.py，記得將您的 dongle KL720 的 firmware 更新成 (2.0.1) 並且安裝 kneron_plus_v2.0.1 內執行前說需要的 .whl 檔 [kneron_plus_v2.0.1]\kneron_plus\python\package\{platform}\KneronPLUS-2.0.1-py3-none-any.whl

參考連結:

https://doc.kneron.com/docs/#plus_python/getting_start/ (3. Install Kneron PLUS Python Package)

https://doc.kneron.com/docs/#plus_python/introduction/upgrade_ai_device_to_kdp2/#3-install-driver-for-windows (5. [KL720] Update Firmware to Flash Memory)