水木社区手机版
首页
|版面-人工智能(AI)|
新版wap站已上线
返回
1/1
|
转到
主题:Ai几十年发展史兜了一大圈,又回到仿生的路子上了
17楼
|
liaotianxia
|
2025-03-10 09:31:21
|
展开
embedding算啥革命性想法,感觉我都想到过。就是把词映射到一个合理的向量空间里,这不是本来就应该做的事情吗。 transformer算是各种技术发展到一定程度,水到渠成的事情。
【 在 booble 的大作中提到: 】
: 改正:attention也不是transformer模型原创。
: 我觉得embedding才是革命性的想法,transformer不过解决了并行训练的问题。
:
--
FROM 1.202.170.*
19楼
|
liaotianxia
|
2025-03-10 10:45:35
|
展开
20多年前搞基于内容的搜索,第一步可不就是先做特征向量的提取,提取的越接近于文本、图片本来的空间分布,搜索效果越好。这真不算啥创新型的想法。
【 在 booble 的大作中提到: 】
: 那你厉害,我原来对文字的理解就是一个符号,用什么样的方式表示都可以,只要能区分开不同的字符就行。但实际上文字不是单独存在的,文字之间有各种各样的关联关系,embedding里面存储了这些信息,所以大模型才能对自然语言有更深入的理解。
:
--
FROM 1.202.170.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版