腾讯面试题更新 2026-08-05
为什么现在大模型能处理动辄一两万 token 的长序列信息？
腾讯人工智能互联网/IT问题拆解技术原理方案权衡
考察说明
考察对 Transformer 架构核心机制及其长序列处理能力演进的理解
回答思路
- 能解释注意力机制的并行计算特性使长序列可行
- 能说明位置编码和相对位置编码对长度泛化的作用
- 能提到 RoPE、FlashAttention、稀疏注意力、滑动窗口等优化技术
- 能区分训练时长度与推理时外推能力的差异
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
