定义:自然语言处理是让计算机理解处理生成 和使用人类语言的一类人工智能技术.

常见任务:机器翻译,情感分析,信息抽取,文本生成

发展历程:

1.规则:用规则穷举语言

2.统计概率:

3.embedding:

分布假说:词义来自它经常出现的上下文

4.RNN:句子不是词向量的无序集合

循环神经网络为序列循环设计.

5.LSTM和GRU:让rnn具有更强的记忆选择能力

6.encoder-decoder:seq2seq

编码器负责读入原句,解码器负责生成译文

7.attention:生成每个词时,都能回头看看原句最相关的部分

输入序列不再必须被压成一个固定向量,每个位置都可以重新被访问

transformer的自注意力同一句子内部每个词彼此看,直接建模全局关系

8.transformer:完全依靠注意力建模语言

transfomer所有位置可以同时参与计算,更适合gpu和tpu并行训练

9.预训练时代:先读大量文本,再学习具体任务

预训练+微调成为nlp的主流范式

10.gpt:decoder-only transformer

给定前面的文本,预测下一个token

表面上只是补齐了一句话,背后却迫使模型学习语法,语义,事实,风格和常见推理模式

总结