丰色 发自 凹非寺

量子位 | 公众号 QbitAI

堪称“寰球首个高下文长度达32k的开源可商用大模子”来了。

名字“简便张惶”，就叫“长颈鹿”（Giraffe），基于130亿限度的Llama-2打造。

如作家所言，原始的Llama-2和Llama-1都只好4k高下文，很难信得过在企业鸿沟被商用。

而当今这个是其8倍的“Giraffe”，径直改动这一花样：

大略一次解决更大文档、督察更万古分对话、实施更复杂检索且成果出错更少……在开源大模子界中，可谓信得过的贸易/企业友好。

网友纷纷暗示：“太有用了”、“马上就要试试”。

是以，长颈鹿是若何从羊驼“进化”而来的？

长颈鹿的作家来自Abacus.AI。

这是一家搞AI数据科学平台的初创企业，设立于2019年，已完成5000万元C轮融资。

为了推广开源模子的高下文长度，他们将刻下最凸起的已有门径整理在一都，并进行绝对测试详情出最有用的门径。

在此之上，他们也建议了一些新念念路，其中一种称为“截断（truncation）”，它进展出了不小的后劲。

具体来看：

最初团队发现，刻下已有的长下文外排闼径大批都是通过修改珍看法机制中使用的位置编码系统，熏陶token和activation在输入序列中的位置而完成。

包括线性缩放/位置插值、xPos、有时化位置编码等等。

在此，他们建议了两种新门径。

一个叫Power Scaling，主如果对原始的RoPE编码进行了如下变换：

这使得基础的高频（短距离）元素比低频（长距离）元素受到的影响更小，让模子不得不合低频元素进行不那么复杂的外推，从而让举座得到擢升。

另一个门径叫Truncated Basis（也就是上头所说的“截断”），主如果对原始RoPE编码进行了如下变换：

其中ρ是一个相对较小的固定值，a和b是收受的适度值。

作家在这里的方针是，保留basis的高频重量，但将低频重量设立为恒定值（比如0）。

而通过贤慧地聘请适度值a，模子就可以在微调技艺（由于正弦函数和正弦函数的周期性）资历高下文长度中的通盘basis值，从而更好地外推到更大的高下文长度。

接下来，即是对以上这些门径进行绝对测试。

在此，作家合计，许多东谈主只用困惑度来推测模子的长下文才智是远远不够的，因为它的细粒度不够。

为此，除了困惑度，他们还加了三个新的评估任务（都已公开辟布到HuggingFace之上）：

FreeFormQA、AlteredNumericQA和LongChat Lines，其中前两个是一类，为问答任务，第三个为关节值检索任务。

通过使用这两种类型的任务，咱们大略强制条目模子愈加祥和完整的高下文，从而获取高精度的测试成果。

那么成果若何？

径直上论断：

最初，线性插值是最佳的高下文长度外排闼径。

其次，通盘高下文长度外排闼径都跟着长度的加多，在职务准确性上出现了着落。

第三，通过在评估阶段使用比微调时更高的比例因子，可以进一步加多高下文长度，但比例因子似乎最多只可提高2倍。

以下是这些门径在三个评估数据集上的具体进展（精度为1.0暗示性能竣工，0.0暗示每次评估都是演叨的）：

△LongChat Lines

△AlteredNumericQA和FreeFormQA

可以看到，除了佐证上头的论断，作家们新建议的Truncated Basis门径进展照实可以，有一定的远景。

而基于以上相干，团队也在LLaMA2-13B基础模子上发布了长颈鹿大模子，天然，用的是性能最优的线性插值法。

阐发高下文长度不同，长劲鹿眷属最终一共有三个版块：4k、16k和32k，感风趣的一又友就可以去HuggingFace高下载了。

天然Abacus.AI堪称长颈鹿是寰球首个高下文可达32k的开源LLM，但Together.AI其实更为抢先一步：

他们已在本月初发布了32k的Llama-2-7B大模子（已有近1万7千次下载），以及在上周五发布了llama-2-7b-32k-instruct。

大家的高下文长度相似，唯独的大分别是Together.AI的参数限度要小些。

当今，大伙也趣味能弗成出一个对比，望望究竟谁更胜一筹。

论文地址：

— 完 —

量子位 QbitAI · 中新号签约