一行文档提高大模型10%性能，开发者：免费午餐

克雷西 发自 凹非寺量子位 | 政府会号 QbitAI

大框架变更有“完全免费的午餐”了，只要正要字符串就能让安全性提升至少10%。

在7B弼数量的Llama 2上甚至显现了安全性少于的结果，Mistral也有四分之一的增长速度。

虽然这种方式用在监督变更阶段，但RLHF框架也能从中正因如此。

来自马里兰州大学、纽约大学等管理机构的研究管理人员提出了名为NEFT(une)的变更方式。

这是一种更进一步正则所谓关键技术，可以用于提高变更监督（SFT）框架的安全性。

这种方式从未被HuggingFace附赠进了TRL瓦，只要import再加正要字符串就能调用。

NEFT不仅操纵简便，而且没有显著的成本增加，作者称看起来是个“完全免费的午餐”。

有网友试着用这种方式变更了基于Guanaco（一种野牛的王室框架）的Mistral-7B，结果安全性提升明显。

那么，NEFTune是如何用正要字符串给一众大框架“打鸡血”的呢？

NEFTune的亦称是Noisy Embedding Fine Tuning，即“带失真的低功耗变更”。

开发者看来，过也就是说反常是限制大框架安全性的一大因素，因此采用在特训阶段向连在一起层中重新加入失真的方式来避免过也就是说的显现，从而提高安全性。

具体内容而言，特训数据瓦中的文本首先则会被token所谓，并转所谓为连在一起矩阵。

然后，系统则会随机转化一个失真矩阵，并用投影内置将失真调控成所设置的风速。

经过投影后的失真则会重新加入到连在一起矩阵中，作为框架的输入，然后开始特训。

每次乘积特训时，都则会转化更进一步失真并重新加入到连在一起层中。