在数据分析流程中，通常采用哪些技术手段来评估和挑选合适的模型？请列举并说明这些方法的核心思想与适用场景。

回答思路

1. 【回答框架 1】模型评估与选择的核心是泛化误差的估计。常用的评估方法包括留出法、交叉验证法（k折交叉验证、留一法）和自助法。留出法直接将数据划分为训练集和测试集，适用于数据量大的情况；k折交叉验证将数据分成k份，轮流作为验证集，能更充分利用数据，但计算开销较大；自助法通过有放回抽样生成训练集，适合小样本场景。
2. 【回答框架 2】性能度量是评估模型优劣的指标。分类问题常用准确率、精确率、召回率、F1值、ROC曲线和AUC值，其中AUC值对类别不平衡不敏感；回归问题常用均方误差MSE、均方根误差RMSE、平均绝对误差MAE和R平方。选择哪个指标取决于业务目标，例如在疾病筛查中更关注召回率。
3. 【回答框架 3】模型选择方法包括基于验证集的参数调优和比较。常见技术有网格搜索、随机搜索和贝叶斯优化，结合交叉验证来估计不同参数配置下的泛化性能。此外，可通过嵌套交叉验证来无偏估计模型选择过程本身的性能。
4. 【回答框架 4】可靠性关注欠拟合与过拟合。欠拟合表现为训练误差和验证误差都高，需增加模型复杂度或特征；过拟合表现为验证误差远高于训练误差，可采取正则化、增加数据量、早停或集成学习等方法缓解。
5. 【关键点 1】评估方法主要有留出法、交叉验证和自助法，交叉验证最常用。
6. 【关键点 2】分类任务的典型指标包括准确率、精确率、召回率、F1和AUC，回归任务常用MSE，选择指标需与业务目标对齐。
7. 【关键点 3】调参方法如网格搜索等需配合交叉验证以估计泛化性能。
8. 【关键点 4】过拟合和欠拟合是模型选择中必须权衡的风险。
9. 【关键点 5】对于类别不平衡问题，准确率可能具有误导性，应关注查准率与查全率的平衡。
10. 【易错点 1】不要仅用准确率评估不平衡数据集上的分类模型，可能掩盖实际表现。
11. 【易错点 2】交叉验证的折数选择需考虑数据规模和计算资源，盲目使用留一法可能导致高方差。
12. 【易错点 3】调参时若在测试集上重复使用，会导致信息泄漏，需保持测试集独立性。