- 主题:attenion 里的Q,K,V参数是怎么训练出来的
查了半天都没说这几个参数咋训练的，语料是怎么准备的，需要怎么标注等等
--
FROM 223.72.208.*
Q K V 是三类矩阵，它们的参数都属于神经网络的范畴，因此训练神经网络的时候，所有参数都有会发生变化，包括三类矩阵的参数。
--
FROM 114.246.111.*
是监督训练么，需要人工标注么
【 在 dreamr 的大作中提到: 】
:
: Q K V 是三类矩阵，它们的参数都属于神经网络的范畴，因此训练神经网络的时候，所有参数都有会发生变化，包括三类矩阵的参数。
: --
: 如果开始回忆过去，说明你正在变老
:
发自「今日水木 on V2178A」
--
FROM 221.223.194.*
先理解embedding, Q，K都算embedding?
【 在 juda 的大作中提到: 】
: 查了半天都没说这几个参数咋训练的，语料是怎么准备的，需要怎么标注等等
--
FROM 119.123.197.*
预训练阶段不需要人工标注，基础模型训练出来之后还要精调，这时才需要用到人工标注的数据
【 在 juda 的大作中提到: 】
: 是监督训练么，需要人工标注么
: 发自「今日水木 on V2178A」
--
FROM 114.246.111.*
你可以参考karpathy的教学项目llm.c
【 在 juda 的大作中提到: 】
: 查了半天都没说这几个参数咋训练的，语料是怎么准备的，需要怎么标注等等
--
FROM 125.38.176.*