Meta發布全新Megabyte模型，解決算力損耗硬傷

品玩 5 月 30 日訊，據新智元報道， Meta 近日發布了一種全新的模型架構，可以有效減少算力損耗。

據報道，Meta 的這個模型架構被稱爲   Megabyte，是一種多尺度解碼器架構，可以對超過一百萬字節的序列進行端到端可微分建模。Megabyte 能跨多種格式生成超過 100 萬個 token，并超越 GPT-4 等模型背後的現有 Transformer 架構的功能。