2024年世界人工智能大會(以下簡稱:WAIC 2024)依然是一場“百模大戰”,不過有一些很明顯的變化是:新推出的AI大模型更加注重用戶體驗;邊側和端側承載AI大模型的方案越來越多。也就是說,AI大模型不僅完成了從“能用”到“好用”的蛻變,也從高高在上的云端,走到更靠近應用場景的邊側和端側,這給作為方案核心的推理芯片提出了非常高的要求。

在愛芯元智于WAIC 2024舉辦的“芯領未來丨智能芯片及多模態大模型論壇”上,愛芯元智創始人、董事長仇肖莘在主旨演講中表示,大模型真正大規模落地需要云邊端三級緊密結合,而邊側和端側結合的關鍵在于高能效的邊端AI芯片。

愛芯元智創始人、董事長仇肖莘仇肖莘指出,目前基于愛芯元智AI芯片已經完成非常多款AI大模型的適配,能夠支持的參數規模覆蓋0.3B-7B。“搭載AI處理器的高效推理芯片將是大模型落地更合理的選擇,這也是推進普惠AI的關鍵所在。”

愛芯智眸AI-ISP和愛芯通元NPU

在AI芯片的研發上,愛芯元智打造了廣受業界認可的愛芯智眸AI-ISP和愛芯通元混合精度NPU兩大自研核心技術。其中,愛芯智眸AI-ISP是將深度學習算法與傳統的ISP處理單元相結合,利用像素級AI處理技術,在各種復雜應用場景中,全面提升成像效果,為后期智能處理提供高質量的圖像、視頻素材,作為萬物智能的“眼睛”感知更多信息,特別是暗光全彩的剛需。

愛芯通元混合精度NPU是以算子為原子指令集的AI計算處理器,采用多線程異構多核設計,實現算子、網絡微結構、數據流和內存訪問優化,高效支持混合精度算法設計,原生支持Transformer網絡結構,為大模型在邊緣側、端側的應用提供良好的基礎。

仇肖莘談到,愛芯元智現階段奉行以“AIoT+ADAS”為主的一體兩翼戰略路線,在AI大模型進入邊側和端側的過程中,智慧城市和智能汽車都是非常具有代表性的應用場景。“目前端側大模型落地依然在前期探索階段,我認為智能汽車、AI手機和AIPC將會是第一批落地的場景,智能駕駛之所以需要端側大模型原因在于汽車對實時性的要求更高。”

愛芯智眸AI-ISP作為AI芯片的子系統,為解決很多端側場景圖像問題提供了強力支持。比如在智能駕駛場景中,愛芯智眸AI-ISP提供AI星光全彩、AI HDR成像、AI多光譜融合、AI防抖、AI場景增強、AI多傳感器融合六大技術亮點,能夠幫助智能汽車在大雨、大霧、夜間和隧道等惡劣的駕駛環境中獲取清晰的圖像。

當然,AI技術的發展也在推動AI-ISP的創新。以愛芯智眸AI-ISP來說,目前AI算法已經取代了降噪模塊、防抖模塊。仇肖莘認為,后續AI-ISP發展一個值得探索的方向是,AI-ISP是不是也能夠成為一個“黑盒式”的AI大模型,用AI算法取代更多ISP中的功能單元,使得AI-ISP能夠利用CMOS圖像傳感器的信號直接成像,讓用戶不必再去考慮ISP工作的中間環節。

在AI芯片的打造上,愛芯通元混合精度NPU的優點不只是原生支持Transformer網絡結構,還包括通過可編程數據流DSA架構,能夠覆蓋目前用戶需要的基本算子,成本、效能和運算效率都非常高。仇肖莘說,“AI算法發展至今已經非常成熟,進入一個較為穩定的狀態,因此用戶對于算子的需求不再有日新月異的變化,這是愛芯元智能夠打造通用AI處理器的關鍵。”

根據愛芯元智聯合創始人、副總裁劉建偉的介紹,此次論壇上正式發布的愛芯通元AI處理器在高中低三檔算力中已完成布局,并在智慧城市和輔助駕駛兩個領域實現了規模化量產,能效比較GPGPU芯片提升了一個數量級,而在以文搜圖、通用檢測、以圖生文、AI Agent等通用大模型應用中,愛芯通元AI處理器也可以讓AI開發者以更低的成本進行高效開發。

愛芯元智聯合創始人、副總裁劉建偉

讓端側更好地承載AI大模型

根據《2024年中國AI大模型產業發展報告》,截至2024年3月,國內部署大模型的企業數量超243家,以通用大模型為主。不過,我們都知道AI大模型成功的關鍵在于行業大模型、端側、端云結合等多種模式并行。

端側大模型的部署所面臨的挑戰和云端是完全不同的,需要克服能耗的限制,還需要在足夠小的參數下,做到大部分日常工作。在WAIC 2024上,愛芯元智在自己的展臺上也展示了其AI芯片在部署端側大模型方面的能力。

案例一是基于愛芯元智端側小芯片AX630C部署語言大模型——阿里云通義千問Qwen2.0。AX630C提供3.2T的算力,通過運載通義千問Qwen2.0,可以流暢地實現人機對話,查詢信息、日常交流等任務。AX630C運載通義千問Qwen2.0每秒能處理超過10個信息單元,但功耗只有1.5瓦。

案例二是愛芯元智端AX650N結合CLIP模型可以實現以文搜圖的功能,只需要一個詞、一句話或一段文字,系統就能迅速準確地從海量圖片中找到匹配項。

案例三是基于愛芯元智端AX650N運轉多模態多維感知大模型OWL-ViT大模型,精準完成對未知目標檢測,實現圖像自動標簽化。

正如上文提到的,愛芯通元AI處理器提供完備的算子集合,因此對于市面上的大模型能夠提供非常好的支持,并且適配的速度是非常快的。比如,今年4月份,meta發布了meta Llama 3系列語言模型(LLM),具體包括一個8B模型和一個70B模型。隨后不久,愛芯元智就宣布,愛芯通元AI處理器完成Llama 3和Phi-3大模型適配。在Llama 3模型的適配上,愛芯元智AX650N芯片適配了Llama 3 8B Int8版本,若采用Int4量化,每秒token數還能再翻一倍,能滿足正常的人機交流。仇肖莘強調,愛芯元智的AI芯片對INT2、INT4、INT8、INT16混合精度算力都可以支持。

AI大模型的發展已經進入一個新階段,行業大模型以及云邊端結合的大模型是下一步發展重點。在端側運轉大模型有不一樣的挑戰,能耗和參數規模都會受到限制,但用戶體驗不能打折。愛芯通元AI處理器以及愛芯元智AX650N等AI芯片展示出了非常好的端側大模型支持能力,在普惠AI的道路上邁出了堅實一步。

（來源：轉自互聯網，轉載是出于傳遞更多信息之目的，如對稿件內容有疑義，請及時與我們聯系，侵刪）