新浪&微博面试题更新 2026-08-05
AI Agent项目中如何优化模型推理服务的响应延迟？
新浪&微博后端开发性能优化系统设计方案权衡AI Agent
考察说明
考察对推理链路延迟优化手段的系统性理解与实际落地能力
回答思路
- 识别推理延迟的来源（模型计算、网络、排队、上下文处理）
- 提出并解释模型相关优化（量化、蒸馏、批处理）
- 提出并解释工程化优化（缓存、并行、流式输出）
- 说明如何权衡延迟与效果、成本，并给出监控验证方法
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
