Feature Engineering（特征工程）

特征工程是机器学习流水线中连接原始数据与模型训练的关键桥梁。

• 原始数据往往包含噪声、缺失值、量纲差异，无法直接喂给模型
• 特征工程通过清洗、转换、构造，让数据携带更多可学习的信息
• 在传统 ML（如 XGBoost、随机森林）中，特征质量直接决定模型天花板
• 即便在深度学习时代，表格/结构化数据场景下人工特征工程仍是核心竞争力
• 数据科学竞赛（如 Kaggle）中，顶尖方案通常在特征工程上投入最多精力

特征工程涵盖多类经典技术，各有适用场景。

• 特征提取：从文本、图像、时序等非结构化数据中抽取数值表示（如 TF-IDF、SIFT）
• 特征转换：归一化（Min-Max Scaling）、标准化（Z-Score）、对数变换用于处理偏态分布
• 特征编码：One-Hot Encoding 处理名义类别，Label Encoding 处理有序类别，Target Encoding 利用目标变量信息
• 特征选择：相关性分析、互信息、L1 正则化（Lasso）剔除冗余特征
• 特征构造：交叉特征（如用户×商品）、多项式特征、时间滑窗统计等手工组合

特征工程可按自动化程度和数据类型进行分类。

• 手工特征工程：依赖领域知识，由数据科学家手动设计；精度高但耗时
• 自动化特征工程（AutoFE）：工具如 Featuretools（基于 Deep Feature Synthesis）、AutoFeat，自动枚举并筛选特征组合
• 表格数据特征工程：交叉特征、聚合统计、分箱（Binning）是主流手段
• 时序特征工程：滑动窗口统计、趋势提取、季节性分解
• 文本特征工程：词袋（BoW）、TF-IDF、n-gram，以及预训练嵌入（Embedding）
• 图像特征工程：传统 HOG、SIFT；深度学习下由 CNN 自动完成

特征工程广泛应用于各类 AI 落地场景。

• 推荐系统：用户历史行为交叉特征、商品属性 Embedding 是点击率预估的核心
• 金融风控：贷款申请人的收入/负债比、近期交易频次等构造特征显著提升欺诈检测能力
• 医疗诊断：从电子病历中提取症状组合特征、检验指标趋势
• 自然语言处理：在 BERT 出现前，TF-IDF + 人工特征长期主导文本分类任务
• 工业预测性维护：设备传感器数据的滑窗统计特征用于故障预测

深度学习和 AutoML 改变了特征工程的边界，但并未使其消失。

• 深度学习通过多层非线性变换自动学习特征表示，在图像/语音/文本上减少了人工特征需求
• 结构化数据场景中，深度学习并未全面超越 XGBoost + 精心设计的特征工程
• AutoML（如 H2O AutoML、Google AutoML Tables）集成自动特征工程，但领域知识驱动的特征仍有优势
• 特征存储（Feature Store）（如 Feast、Tecton）是 MLOps 时代对特征工程产物的标准化管理方式
• 两者互补：深度学习处理非结构化感知数据，特征工程在业务结构化数据上仍不可替代

特征工程中存在若干常见陷阱，需要特别警惕。

• 数据泄露（Data Leakage）：使用了未来信息构造特征，导致离线指标虚高但线上效果差
• 过拟合风险：过度构造特征（特别是高基数交叉特征）会使模型在训练集上过拟合
• 维度灾难：One-Hot Encoding 高基数类别会产生极稀疏的高维特征空间
• 忽略特征分布：不做归一化直接使用量纲差异大的特征，会影响梯度下降类模型收敛
• 误以为特征越多越好：冗余特征会增加噪声、降低模型可解释性，应结合特征重要性做筛选

特征工程随机器学习范式演进经历了多个阶段。

• 1990s：统计学习时代，特征工程主要依赖统计方法（相关性分析、PCA 降维）
• 2000s：SVM、集成方法兴起，特征交叉与核函数设计成为竞赛关键手段
• 2012：AlexNet 证明深度学习可自动学习图像特征，开始冲击手工视觉特征（HOG、SIFT）
• 2015：Deep Feature Synthesis（Featuretools 前身）发布，开启自动化特征工程新纪元
• 2017-2019：Kaggle 竞赛进一步推动特征工程工程化，Target Encoding 等技术广泛传播
• 2020s：Feature Store 成为 MLOps 基础设施标配；LLM 时代提示工程（Prompt Engineering）可视为面向语言模型的广义特征工程