对于一个BERT模型，假设序列长度为n、隐藏维度为d、层数为l，如何计算其总参数量？请给出估算公式。

Question

Accepted Answer

考察点：考察对Transformer/BERT模型结构的理解及参数量估算能力。回答思路：能区分embedding、注意力、前馈网络、层归一化等模块 正确计算每个模块的参数量并求和 考虑位置编码和token类型embedding 能给出简化公式并说明近似条件

考察说明