长文本能力成为大模型新"标配"，40万token或只是开始

大模型正以惊人的速度提升其长文本处理能力，从4000 token到40万token，这一能力似乎已成为衡量大模型公司技术实力的新标准。

国际上，OpenAI通过多次升级将GPT-3.5的上下文输入长度从4千提升至1.6万token，GPT-4则从8千增至3.2万token。Anthropic更是一举将上下文长度扩展到10万token。LongLLaMA甚至将这一数字推至25.6万token以上。

国内方面，初创公司月之暗面推出的Kimi Chat支持输入20万汉字，约合40万token。港中文和MIT合作开发的LongLoRA技术可将7B模型的文本长度拓展到10万token，70B模型则达到3.2万token。

目前，包括OpenAI、Anthropic、Meta和月之暗面在内的众多顶级大模型公司和研究机构都将拓展上下文长度作为技术升级的重点方向。

这些公司无一例外都是资本市场的宠儿。OpenAI获得近120亿美元投资，Anthropic估值有望达300亿美元，而成立仅半年的月之暗面已完成两轮共计近20亿元融资。

长文本技术的突破意味着模型的阅读理解能力大幅提升。从最初难以读完一篇公众号文章，到现在可以轻松阅读一本长篇小说，甚至处理复杂的专业文献。这项技术也正推动大模型在金融、司法、科研等领域的应用落地。

然而，文本长度并非越长越好。研究表明，模型对上下文内容的有效利用比单纯增加长度更为关键。尽管如此，当前的探索似乎还远未触及"临界点"，40万token可能仅仅是一个开始。

长文本技术不仅解决了大模型早期面临的一些问题，还增强了其功能，成为推动产业应用的关键技术之一。这标志着大模型进入了从LLM到Long LLM的新阶段。

长文本技术的应用已体现在多个方面:快速分析长文章、提取财报关键信息、实现文字到代码的直接转换、复杂的角色扮演对话等。这些功能显示出大模型正朝着专业化、个性化和深度化的方向发展。

然而，长文本技术也面临"不可能三角"困境：文本长度、注意力和算力之间的权衡。文本越长，越难聚焦关键信息；注意力有限时，短文本又难以完整传达复杂信息；处理长文本又需要大量算力，提高了成本。

目前主要有三种解决方案：借助外部工具辅助处理、优化自注意力机制计算、利用模型优化方法。这些方法各有优缺点，旨在找到文本长度、注意力和算力之间的最佳平衡点。

尽管长文本技术仍面临诸多挑战，但它无疑是大模型发展的重要方向之一。随着技术的不断进步，我们有理由期待更强大、更智能的长文本处理能力的出现。