互联网/IT行业面试题更新 2026-08-05
请解释LoRA(低秩适配)中初始化参数的设定方式,以及这种初始化对模型微调的影响。
字节跳动人工智能互联网/IT技术原理方案权衡
考察说明
考察对LoRA机制中初始化和参数设定的理解
回答思路
- 说明LoRA分解的低秩矩阵A和B的初始化策略
- 解释为何通常将B初始化为零而A随机初始化
- 分析这种初始化对训练稳定性和收敛的影响
- 讨论在微调中的实际意义
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。