大模型廠商爭相突破長文本能力

大模型正以驚人的速度不斷提升其處理長文本的能力。目前,國內外已有多家頂級大模型技術公司和研究機構將擴展上下文長度作爲升級重點。

從4000 token到40萬token,大模型的文本處理長度在短時間內實現了百倍增長。OpenAI經過多次升級,將GPT-4的上下文輸入長度提升至3.2萬token。Anthropic一舉將其模型Claude的上下文長度擴展到10萬token。國內的月之暗面發布的Kimi Chat更是支持輸入相當於40萬token的20萬漢字。

長文本處理能力的提升不僅意味着模型可以閱讀更長的文本,還將推動大模型在金融、法律、科研等專業領域的應用落地。例如,長文檔的摘要總結、閱讀理解、問答等能力都將得到顯著增強。

然而,文本長度並非越長越好。研究表明,模型支持的上下文長度與其效果並不存在直接的因果關係。更重要的是模型如何有效利用上下文內容。

目前,長文本技術面臨着文本長度、注意力和算力的"不可能三角"困境。隨着文本長度增加,模型難以聚焦關鍵信息;而保持充分注意力又需要消耗大量算力。

爲突破這一困境,研究人員提出了多種解決方案:

1. 利用外部工具輔助處理長文本,如將長文本切分爲多個短文本。

2. 優化自注意力機制的計算方式,如LongLoRA技術。

3. 對模型本身進行優化,如LongLLaMA通過微調實現更長序列的外推。

盡管長文本技術仍面臨挑戰,但它無疑是推動大模型進一步落地應用的關鍵。未來,大模型廠商需要在文本長度、注意力和算力之間尋找最佳平衡點,以實現長文本處理能力的突破。