目前,無論是需要超強硬件支撐的AI迭代與訓練,還是運行要求相對較低、需求相對分散的AI推理,均在超算中心內進行,采用云生成然后發送到端的形式運作。
但隨著AIGC內容愈加豐富,從文本發展到圖像、視頻等多模態內容,上述模式引發了一系列的問題,例如網絡帶寬成本高昂、時延較為嚴重等,進而影響到AI大模型的商業化進程與用戶使用體驗。
而作為算力體系的重要一環,邊緣算力具有低時延、安全性高等優勢。因此,智能模組的重要性開始凸顯。
智能模組則為邊緣算力的最佳載體,有機構稱其為AI的“毛細血管”。智能模組是指融入了算力或通用處理芯片的通訊模組,已經應用于車機、消費等多個領域。目前,已有廠商嘗試相關方案:
3月2日,高通中國公眾號發布了全球首個運行于安卓手機上的Stable Diffusion終端側演示。此前,Stable Diffusion只能在云端計算集群內運行。
3月23日,華為推出“智能搜圖”功能,基于多模態大模型技術,在手機端側對模型進行小型化處理。
華為與高通一定程度上驗證了高性能邊緣AI的可行性,通過模型壓縮疊加聯網智能的方式有望在邊緣端實現AI大模型的體驗。在兩者的示范效應下,智能物聯網模組相關企業有望獲得發展。