chatGPT案例實(shí)踐

Day1上午
Transformer
1、你需要的僅僅是“注意力”
2、Transformer中的block
3、自注意力機(jī)制
4、多頭注意力
5、位置編碼（拋棄RNN）
6、Batch Norm與layer Norm
7、解碼器的構(gòu)造

初代GPT
“獨(dú)角獸”的威力
GPT的內(nèi)部架構(gòu)
基于Transformer的改造
自注意力機(jī)制的改進(jìn)

Day1下午
GPT的演進(jìn)
1、GPT2
2、GPT3
3、InstructGPT

chatGPT的原理實(shí)踐
1、指示學(xué)習(xí)（Instruct Learning）
2、相關(guān)數(shù)據(jù)集
3、有監(jiān)督微調(diào)（SFT）
4、從人類反饋中RL的思路
5、獎(jiǎng)勵(lì)建模（RM）
6、PPO
7、chatGPT的應(yīng)用領(lǐng)域
8、chatGPT引發(fā)的討論

chatGPT的國(guó)內(nèi)替代品
1、問東風(fēng)AI
2、其他替代品

chatGPT案例實(shí)踐