在计算机视觉（CV）领域，深度学习模型的应用已经变得无处不在。其中，迁移学习作为一种高效的学习策略，能够显著提升小规模数据集上的模型性能。本文将围绕当前主流的两种网络结构——ResNet 和 Vision Transformer（ViT），探讨如何通过迁移学习技术，在实际项目中进行图像分类任务的优化。

一、迁移学习的基本概念

迁移学习（Transfer Learning）是指将在大规模数据集上预训练好的模型迁移到目标数据集上，利用其已有的特征提取能力，减少训练时间和样本需求。尤其在CV任务中，ImageNet 上预训练的模型已成为众多项目的起点。相比从头开始训练（scratch training），迁移学习可以显著提高准确率并加快收敛速度。

迁移学习通常有两种方式：

1. 冻结底层参数：保留预训练模型的前几层，仅训练顶层新增的全连接层。
2. 微调（Fine-tuning）：对整个模型或部分层进行参数更新，以适应新任务的数据分布。

二、ResNet 模型的迁移学习实战

ResNet（Residual Network）是一种经典的卷积神经网络架构，其核心创新是残差块（residual block），解决了深层网络中的梯度消失问题。ResNet50、ResNet101 等版本广泛应用于各种图像识别任务中。

数据准备与预处理

我们假设目标是一个多类图像分类任务，如识别不同种类的花卉。首先需要整理数据集，按照类别划分文件夹，并使用 PyTorch 的 torchvision.datasets.ImageFolder 加载图像。

from torchvision import transforms, datasets

transform = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])

train_data = datasets.ImageFolder(root='data/train', transform=transform)
val_data = datasets.ImageFolder(root='data/val', transform=transform)

模型加载与修改输出层

接下来，使用预训练的 ResNet50 模型，并根据目标数据集的类别数调整输出层。

import torchvision.models as models

model = models.resnet50(pretrained=True)

# 冻结所有参数
for param in model.parameters():
    param.requires_grad = False

# 修改最后的全连接层
num_ftrs = model.fc.in_features
model.fc = nn.Linear(num_ftrs, num_classes)  # num_classes为你的类别数量

训练流程

使用 Adam 优化器和交叉熵损失函数进行训练，同时可加入学习率调度器以提升效果。

import torch.optim as optim
from torch.utils.data import DataLoader

criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.fc.parameters(), lr=0.001)
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=7, gamma=0.1)

train_loader = DataLoader(train_data, batch_size=32, shuffle=True)
val_loader = DataLoader(val_data, batch_size=32)

# 开始训练循环...

三、Vision Transformer (ViT) 的迁移学习实践

近年来，Transformer 架构在自然语言处理领域大放异彩，并逐渐被引入到计算机视觉中。Google 提出的 Vision Transformer（ViT）便是这一趋势下的代表性成果。

ViT 将图像划分为多个 patch，然后将其展平并通过位置编码输入 Transformer 编码器。虽然 ViT 在大数据集上表现优异，但在小数据集上容易过拟合，因此迁移学习显得尤为重要。

使用 Hugging Face Transformers 库

Hugging Face 提供了丰富的 ViT 预训练模型接口，方便快速构建图像分类任务。

pip install transformers

from transformers import ViTFeatureExtractor, ViTForImageClassification
from PIL import Image
import requests

feature_extractor = ViTFeatureExtractor.from_pretrained('google/vit-base-patch16-224')
model = ViTForImageClassification.from_pretrained('google/vit-base-patch16-224')

# 修改分类头
model.classifier = nn.Linear(768, num_classes)

数据增强与训练设置

ViT 对图像尺寸有严格要求（如 224x224），需在预处理时统一尺寸。此外，建议使用更强的数据增强手段来缓解过拟合问题。

transform_train = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=feature_extractor.image_mean, std=feature_extractor.image_std),
])

train_dataset = datasets.ImageFolder(root='data/train', transform=transform_train)

训练过程与 ResNet 类似，但需要注意 ViT 对硬件资源的要求较高，推荐使用 GPU 进行训练。

四、ResNet 与 ViT 的对比分析

选择哪种模型取决于具体任务的需求。如果追求精度且不考虑推理延迟，ViT 是一个不错的选择；而如果部署环境有限，则 ResNet 更加实用。

五、总结与展望

迁移学习作为现代 CV 工程的核心技术之一，极大降低了模型开发的门槛。无论是经典的 ResNet 还是新兴的 ViT，都可以通过迁移学习迅速适配新的图像分类任务。

未来，随着自监督学习和轻量化模型的发展，迁移学习的效果将进一步提升。同时，跨模态迁移（如图文联合训练）也将成为研究热点。对于从业者而言，掌握迁移学习的实战技巧，将有助于在各类 CV 项目中取得更好的成果。