在深度学习模型日益庞大的背景下，传统的微调方法（如全参数微调）面临着计算资源消耗大、训练成本高、部署困难等问题。为了解决这些问题，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术应运而生。PEFT旨在通过仅调整模型中的一小部分参数，从而在保持高性能的同时显著降低训练和推理成本。其中，LoRA（Low-Rank Adaptation）和Adapter是目前应用最广泛的两种轻量化调优方法。

LoRA：低秩适应技术

LoRA是一种基于矩阵低秩分解的参数高效微调方法。其核心思想是在预训练模型的权重矩阵中引入一个低秩矩阵，通过训练这个低秩矩阵来实现对模型行为的调整，而原始模型参数保持冻结状态。

具体来说，假设原始模型中的某个权重矩阵为 $ W \in \mathbb{R}^{d \times d} $，LoRA引入一个低秩矩阵 $ A \in \mathbb{R}^{d \times r} $ 和 $ B \in \mathbb{R}^{r \times d} $，其中 $ r \ll d $，从而构造出新的权重矩阵：

$$ W' = W + B \cdot A $$

这样，模型的参数更新仅限于 $ A $ 和 $ B $，而原始参数 $ W $ 保持不变。由于 $ r $ 远小于 $ d $，因此可训练参数的数量大大减少，显著降低了计算和存储开销。

LoRA的优势在于其结构简单、易于实现，并且对原始模型结构的改动极小。此外，由于低秩矩阵的引入不会影响原始模型的前向计算结构，因此可以无缝集成到现有的深度学习框架中。LoRA已被广泛应用于自然语言处理、计算机视觉等多个领域，并在多个基准任务中表现出与全参数微调相当甚至更优的性能。

Adapter：轻量级模块嵌入法

Adapter是一种在模型层之间插入小型神经网络模块的方法，仅训练这些模块而冻结主干网络参数。其基本思想是在Transformer等模型的各个层之间插入小型的全连接层或残差结构，从而实现对模型输出的微调。

以Transformer为例，通常在自注意力层或前馈神经网络（FFN）之后插入一个Adapter模块。该模块通常由一个小型的两层全连接网络组成，包含一个瓶颈层以进一步压缩参数规模。整个主干网络的参数保持不变，只有Adapter模块中的参数在训练过程中被更新。

Adapter的优势在于其对原始模型结构的侵入性极低，同时参数量非常少（通常仅占原始模型参数的0.1%~1%）。这种特性使得Adapter在资源受限的场景下尤为适用，例如边缘设备部署或大规模模型的多任务学习。

然而，Adapter也存在一定的局限性。例如，插入的模块可能会略微增加推理延迟，且其性能在某些任务上略逊于其他PEFT方法。因此，近年来研究者也提出了多种改进版本，如Compacter、Parallel Adapter等，以提升性能和效率。

其他PEFT方法简介

除了LoRA和Adapter之外，还有一些其他参数高效微调方法也值得关注：

• Prefix-Tuning：通过在输入序列前添加可训练的prefix向量来影响模型的行为，类似于提示学习（Prompt Learning）。
• Prompt Tuning：在输入中添加可学习的prompt向量，引导模型生成特定任务的输出。
• IA³（Infused Adapter by Inhibition and Amplification）：通过缩放输入特征的方式来调整模型，仅训练缩放因子，结构简单且高效。
• BitFit：仅微调模型中的偏置项（bias），在某些任务中也能取得不错的效果。

这些方法各有优劣，适用于不同的应用场景。例如，Prompt Tuning和Prefix-Tuning更适合基于Transformer的生成式模型，而BitFit则适用于资源极度受限的环境。

应用与前景

随着大模型的普及，参数高效微调技术在实际应用中越来越受到重视。它们不仅降低了模型训练和部署的成本，还为模型的个性化定制、多任务学习、持续学习等提供了新的思路。

在工业界，PEFT技术已被广泛应用于大型语言模型的定制化训练，例如在客服对话系统、内容生成、知识问答等领域。在学术研究中，PEFT也为模型压缩、迁移学习、联邦学习等方向提供了新的研究视角。

未来，随着硬件资源的进一步优化和算法的持续演进，参数高效微调技术有望在更多场景中发挥作用。同时，如何在保证性能的前提下进一步降低可训练参数的数量、提升训练效率，将是该领域的重要研究方向。

总结

参数高效微调技术（PEFT）作为大模型时代的重要工具，为模型的轻量化调优提供了切实可行的解决方案。LoRA和Adapter作为其中的代表方法，各具特色，分别在结构改动、训练效率、性能表现等方面展现出优势。随着研究的不断深入，越来越多的PEFT方法被提出，为模型的高效训练和部署开辟了新的路径。在AI模型不断扩大的趋势下，PEFT无疑将成为推动人工智能落地的重要力量。