LoRA(Low-Rank Adaptation)是一种高效的大模型微调方法,通过低秩分解来适配预训练模型,大幅减少训练参数。
安装必要库:pip install transformers peft accelerate