港中文賈佳亞團隊聯合MIT發布全球首個70B長文本大語言模型

36 氪獲悉，10 月 9 日，港中文賈佳亞團隊宣布聯合 MIT 發布超長文本擴展技術 LongLoRA，據介紹，兩行代碼、一台 8 卡 A100 機器，可以将 7B 模型的文本長度拓展到 100k tokens，70B 模型的文本長度拓展到 32k tokens。同時，該研究團隊還基于 LongLoRA 技術，發布全球首個擁有 70B 參數量的長文本對話大語言模型 LongAlpaca。目前，LongLoRA 技術和 LongAlpaca 已開源。