英特爾開源 NPU 加速庫，方便使開發人員優化其 AI 應用

IT 之家 3 月 3 日消息，@Tony Mongkolsmai 發現，英特爾已經在 GitHub 上開源了其 NPU 加速庫，支持 Windows 和 Linux。

開發人員可以按照相應文檔對其軟件進行優化，從而适配新一代 AI 模型，包括   TinyLlama 和 Gemma-2b-it。

根據官方描述：英特爾 NPU 加速庫是一個 Python 庫，旨在利用英特爾神經處理單元 ( NPU ) 的強大性能在兼容硬件上執行高速計算，從而提高應用的效率。

英特爾還表示其 NPU 加速庫目前不斷開發中，後續将推出各種能顯著提高性能的功能，截至 IT 之家發稿已經實現了 8bit 量化、Float16 支持、torch.compile 支持等，後續還将支持 NPU / GPU 異構計算等功能。