请描述 hierarchical softmax 的工作原理，并说明其相较于标准 softmax 的主要优势在哪里？

回答思路

1. 【回答框架 1】hierarchical softmax 是一种高效计算 softmax 概率的方法，常用于 word2vec 等模型。它利用哈夫曼树将词汇表编码为叶子节点，每个叶子节点对应一个单词，内部节点则带有可学习的向量。
2. 【回答框架 2】在训练过程中，给定中心词和上下文，模型通过从根节点到目标叶子节点的路径，将原本需要计算整个词汇表归一化概率的 softmax 转化为计算路径上各节点的二分类概率乘积。每个内部节点使用 sigmoid 函数输出走向左或右子树的概率。
3. 【回答框架 3】具体计算时，设路径长度为 L，目标词 w 的预测概率为路径上各节点二分类概率的乘积。词向量和内部节点向量通过梯度下降更新。由于路径长度约为 vocab_size 的对数，所以计算复杂度从 O(V) 降至 O(log V)，极大提升训练速度。
4. 【回答框架 4】优点主要包括计算复杂度降低，适合大规模词汇表；由于树结构隐含了词频信息，频繁词有更短路径，进一步加速；同时保持输出的概率分布性质，且不需要为每个训练样本计算所有词的概率。
5. 【关键点 1】利用哈夫曼树编码词汇，路径长度对数级，复杂度 O(logV)。
6. 【关键点 2】通过二分类概率乘积替代全词汇 softmax，减少计算量。
7. 【关键点 3】词频较高的词路径更短，训练更快。
8. 【易错点 1】hierarchical softmax 不改变模型输出的语义表示，只是加速计算。
9. 【易错点 2】树结构构建依赖词频，若语料变化需重新构建，且梯度计算较复杂。
10. 【易错点 3】不能直接用于测试阶段获取精确概率，因为概率是近似归一化。