文章摘要
让机器理解和生成人类语言。从词嵌入、文本分类到 BERT 微调,理解 ChatGPT 背后 20 年的技术演进。
0为什么学 NLP?
ChatGPT、Claude、文心一言——这些产品的核心技术都来自 NLP。
但 NLP 不只是聊天机器人。它还包括:
- 情感分析(这条评论是好评还是差评?)
- 命名实体识别(这段话里提到了哪些公司、人名?)
- 机器翻译(中英文互译)
- 文本摘要(把长文压缩成三句话)
架构图示 1
架构图示 2
🎯 相关面试题
巩固本篇知识点,备战 AI 岗位面试。
- 中级概念高频查看详解 →
BERT 和 GPT 的架构与适用场景有何不同?
BERT 是 Encoder-only 双向理解模型,适合分类/NER;GPT 是 Decoder-only 自回归生成模型,适合文本生成与对话。
- 中级概念查看详解 →
Word2Vec 的 CBOW 与 Skip-gram 有什么区别?
CBOW 用上下文预测中心词、训练快、在大语料/高频词上更稳;Skip-gram 用中心词预测上下文、对低频/罕见词和小语料更好,常配负采样加速。
- 初级概念查看详解 →
什么是词嵌入(Word Embedding)?有哪些常见方法?
词嵌入把离散词映射成低维稠密实数向量,使语义相近的词在向量空间中接近,从而克服 one-hot 维度高、稀疏且无语义的缺陷。
- 中级概念查看详解 →
BERT 如何处理不常见或罕见词(OOV)?
BERT 用 WordPiece 子词分词,把罕见词拆成已知子词(如 playing→play+##ing),未登录词可一路拆到字符,因此几乎没有传统意义的 OOV;子词共享表示让模型也能组合理解未见过的词。