2024-06-05
耐能推出最新款邊緣 AI 伺服器和首款搭載邊緣 GPT AI 晶片的嵌入式 AI PC
- 耐能的邊緣 AI 伺服器 KNEO 330 為中小企業帶來 30-40% 的成本節省，同兼顧隱私和安全性。
- 耐能的邊緣 GPT AI 晶片 KL830 可完全應用於 AI PC、USB AI加速棒和邊緣伺服器,與領先的 GPU 配合使用時，可將其能耗降低 30%。
2024年6月5日，總部位於美國聖地亚哥的人工智慧公司耐能今天於COMPUTEX2024上宣佈推出最新的邊緣AI伺服器及一款內置耐能AI晶片的PC設備。
KNEO 330是耐能最新且第二款端側GPT伺服器。首款產品KNEO 300於2023年推出，已經在製造業、金融服務和大學教育領域擁有企業客戶，包括斯坦福大學和加州大學洛杉磯分校。
KNEO 330擁有48 TOPS的AI計算能力，最多可支持8個併發連接，支持LLM和Stable Diffusion。在較低的硬體條件下，其RAG精度與雲端解決方案相當。KNEO 330大幅降低了小型企業的整體AI成本，降幅可達30%-40%。與大多數雲解決方案相比，KNEO 330實現了更簡單的集成和分層許可權管理，極大地提高了隱私和安全性。其全面的功能包括多模態GPT的離線版本。
耐能智慧股份有限公司創辦人兼執行長劉峻誠表示：「AI近期蓬勃發展，強大的AI模型的發展速度超出了許多專家的預期。平衡AI的道德倫理與盈利驅動是AI真正的挑戰。諸如訓練AI模型所需的電力和數據以及AI幻覺的潛在問題等擔憂都是現實問題。我們相信我們的產品是解決當前GPT ESG和能耗問題的關鍵。」
除了 KNEO 330，耐能還推出搭載第三代 NPU 晶片 KL830的PC設備。AI PC 的時代已經來臨，根據 IDC 報告，銷量預計將從2024年的5000萬臺增長到2027年的超過1.67億臺，占整體個人電腦市場的60%以上。同時，Gartner機構預測，2024年全球AI個人電腦和AI智慧手機的出貨量將達到2.95億臺，比2023年的2900萬臺增長十倍多。
KL830強大的功能和低廉的成本使得低成本 AI PC 成為可能，將為更廣泛的消費者群體帶來AI的普及和應用。KL830 提供高達 10eTOPS@8bit 的綜合計算能力(CCP)，峰值功耗僅為 2W。這款NPU 將使個性化GPT成為現實。
當耐能的NPU與領先的GPU配合使用時，可將能耗降低 30%，有效延長產品使用壽命。這展示了NPU在高性能但價格親民的電競PC領域的未來潛力。
該款晶片已經準備用於 AIoT 設備，KL830 晶片使得定點能保持與浮點精度一致。KL830 也可通過 USB AI加速棒使用，使得任何設備，無論是寬頻路由器、物聯網攝像頭還是傳統電腦，都可以成為邊緣 AI 設備。它提供了10eTOPS的計算能力，並支持許多相對低參數的大型語言模型。
專為開發者設計的 KNEO 平臺是一個易於使用的 Edge GPT 開放平臺。耐能通過其編譯器和「Hugging Face」鏈接，為用戶提供了友好的 AI 生成內容模型部署方式，用戶可根據需求切換不同的 Edge GPT。
耐能的 Edge GPT 服務（EGaaS）由開發平臺、管理平臺和 Edge GPT 庫組成。Edge GPT即服務（EGaaS）使設備能夠在本地處理數據，實現即時決策，無需依賴互聯網或雲伺服器。這種方法有效提高了速度，同時支持多模態功能，並增強了隱私和安全性。耐能全面的企業級邊緣GPT解決方案可以根據每個企業的需求進行定制，為各種定制化場景訓練和部署大型語言模型（LLM）。
在COMPUTEX2024展會的主題演講中，耐能還重點分享了以下內容:
●KNEO 330 是 Kneron 最新推出的第二款私有 Edge GPT 伺服器，為中小企業帶來 30-40% 的成本節省,同時優先考慮隱私和安全性。
●KL830 是耐能的邊緣 GPT AI 晶片，可完全應用於 AI PC、USB Dongle和邊緣伺服器，當與領先的 GPU 配合使用時，NPU 可將設備能耗降低 30%。
●此外，耐能還在現場宣佈了自研第四代 NPU晶片KL1140的規劃，可用於邊緣和雲端 AI 應用，並將於 2025 年推出。
耐能已從維港投資、高通、紅杉資本、富士康、臺達電子、Vivotek等投資方處獲得了近2億美元投資。提供端到端的集成硬體和軟體解決方案，實現設備上的邊緣AI推理。擁有高通、Toyota、Kenwood、Garmin、松下、廣達電腦、仁寶電腦、Unimicro、神通資訊、韓華、Spark、Naver、撼訊科技和格力電器等諸多全球客戶。
- 耐能的邊緣 GPT AI 晶片 KL830 可完全應用於 AI PC、USB AI加速棒和邊緣伺服器,與領先的 GPU 配合使用時，可將其能耗降低 30%。
2024年6月5日，總部位於美國聖地亚哥的人工智慧公司耐能今天於COMPUTEX2024上宣佈推出最新的邊緣AI伺服器及一款內置耐能AI晶片的PC設備。
KNEO 330是耐能最新且第二款端側GPT伺服器。首款產品KNEO 300於2023年推出，已經在製造業、金融服務和大學教育領域擁有企業客戶，包括斯坦福大學和加州大學洛杉磯分校。
KNEO 330擁有48 TOPS的AI計算能力，最多可支持8個併發連接，支持LLM和Stable Diffusion。在較低的硬體條件下，其RAG精度與雲端解決方案相當。KNEO 330大幅降低了小型企業的整體AI成本，降幅可達30%-40%。與大多數雲解決方案相比，KNEO 330實現了更簡單的集成和分層許可權管理，極大地提高了隱私和安全性。其全面的功能包括多模態GPT的離線版本。
耐能智慧股份有限公司創辦人兼執行長劉峻誠表示：「AI近期蓬勃發展，強大的AI模型的發展速度超出了許多專家的預期。平衡AI的道德倫理與盈利驅動是AI真正的挑戰。諸如訓練AI模型所需的電力和數據以及AI幻覺的潛在問題等擔憂都是現實問題。我們相信我們的產品是解決當前GPT ESG和能耗問題的關鍵。」
除了 KNEO 330，耐能還推出搭載第三代 NPU 晶片 KL830的PC設備。AI PC 的時代已經來臨，根據 IDC 報告，銷量預計將從2024年的5000萬臺增長到2027年的超過1.67億臺，占整體個人電腦市場的60%以上。同時，Gartner機構預測，2024年全球AI個人電腦和AI智慧手機的出貨量將達到2.95億臺，比2023年的2900萬臺增長十倍多。
KL830強大的功能和低廉的成本使得低成本 AI PC 成為可能，將為更廣泛的消費者群體帶來AI的普及和應用。KL830 提供高達 10eTOPS@8bit 的綜合計算能力(CCP)，峰值功耗僅為 2W。這款NPU 將使個性化GPT成為現實。
當耐能的NPU與領先的GPU配合使用時，可將能耗降低 30%，有效延長產品使用壽命。這展示了NPU在高性能但價格親民的電競PC領域的未來潛力。
該款晶片已經準備用於 AIoT 設備，KL830 晶片使得定點能保持與浮點精度一致。KL830 也可通過 USB AI加速棒使用，使得任何設備，無論是寬頻路由器、物聯網攝像頭還是傳統電腦，都可以成為邊緣 AI 設備。它提供了10eTOPS的計算能力，並支持許多相對低參數的大型語言模型。
專為開發者設計的 KNEO 平臺是一個易於使用的 Edge GPT 開放平臺。耐能通過其編譯器和「Hugging Face」鏈接，為用戶提供了友好的 AI 生成內容模型部署方式，用戶可根據需求切換不同的 Edge GPT。
耐能的 Edge GPT 服務（EGaaS）由開發平臺、管理平臺和 Edge GPT 庫組成。Edge GPT即服務（EGaaS）使設備能夠在本地處理數據，實現即時決策，無需依賴互聯網或雲伺服器。這種方法有效提高了速度，同時支持多模態功能，並增強了隱私和安全性。耐能全面的企業級邊緣GPT解決方案可以根據每個企業的需求進行定制，為各種定制化場景訓練和部署大型語言模型（LLM）。
在COMPUTEX2024展會的主題演講中，耐能還重點分享了以下內容:
●KNEO 330 是 Kneron 最新推出的第二款私有 Edge GPT 伺服器，為中小企業帶來 30-40% 的成本節省,同時優先考慮隱私和安全性。
●KL830 是耐能的邊緣 GPT AI 晶片，可完全應用於 AI PC、USB Dongle和邊緣伺服器，當與領先的 GPU 配合使用時，NPU 可將設備能耗降低 30%。
●此外，耐能還在現場宣佈了自研第四代 NPU晶片KL1140的規劃，可用於邊緣和雲端 AI 應用，並將於 2025 年推出。
耐能已從維港投資、高通、紅杉資本、富士康、臺達電子、Vivotek等投資方處獲得了近2億美元投資。提供端到端的集成硬體和軟體解決方案，實現設備上的邊緣AI推理。擁有高通、Toyota、Kenwood、Garmin、松下、廣達電腦、仁寶電腦、Unimicro、神通資訊、韓華、Spark、Naver、撼訊科技和格力電器等諸多全球客戶。
