- 主题:巨无霸大模型的神秘涌现能力,将重塑地球
据说阿里巴巴和腾讯均在日本成立了算力中心,规避英伟达禁止出口中国高端GPU
【 在 Barbarossa 的大作中提到: 】
: 拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
: 不过我国算力中心GPU卡都太少,涌现能力强的可能在国外。比如马斯克的巨兽算力中心,正在野蛮扩张,H100达百万量级。目前我国算力都还仰人鼻息,缺算力卡将长期存在。
: 字节跳动:约36-40万张(国内),含H100/H200/H20/A100,训练占比高;海外约60万张,合计约100万张,为国内最大英伟达卡持有方。阿里巴巴:约25万张,以A100/H20/H200为主,支撑阿里云与通义大模型,推理占比高。
: ...................
--
FROM 114.244.127.*
你说的这个是类似量变引起质变
【 在 Barbarossa 的大作中提到: 】
: 拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
: 不过我国算力中心GPU卡都太少,涌现能力强的可能在国外。比如马斯克的巨兽算力中心,正在野蛮扩张,H100达百万量级。目前我国算力都还仰人鼻息,缺算力卡将长期存在。
: 字节跳动:约36-40万张(国内),含H100/H200/H20/A100,训练占比高;海外约60万张,合计约100万张,为国内最大英伟达卡持有方。阿里巴巴:约25万张,以A100/H20/H200为主,支撑阿里云与通义大模型,推理占比高。
: ...................
--
FROM 114.244.127.*
没有办法,否则就落后米国了
【 在 Barbarossa 的大作中提到: 】
: 那得好几十亿美元
:
--
FROM 114.244.127.*
非常看好马斯克的人形机器人与特斯拉车的合二为一,马斯克这一路径无人能复制
【 在 Barbarossa 的大作中提到: 】
: 拥有数万亿参数的大模型,其涌现能力无与伦比。大模型的涌现能力(Emergent Abilities),是指模型参数规模、训练数据量或训练步数突破某个临界阈值后,突然展现出小规模模型中不存在或极微弱的高阶复杂能力,性能呈非线性“跃迁”而非线性提升,类似物理学中的“相变”。
: 不过我国算力中心GPU卡都太少,涌现能力强的可能在国外。比如马斯克的巨兽算力中心,正在野蛮扩张,H100达百万量级。目前我国算力都还仰人鼻息,缺算力卡将长期存在。
: 字节跳动:约36-40万张(国内),含H100/H200/H20/A100,训练占比高;海外约60万张,合计约100万张,为国内最大英伟达卡持有方。阿里巴巴:约25万张,以A100/H20/H200为主,支撑阿里云与通义大模型,推理占比高。
: ...................
--
修改:kixunkao FROM 114.244.127.*
FROM 114.244.127.*
每一辆特斯拉汽车就是一个用四个轮子代替双脚的机器人,几百万辆的特斯拉汽车平时规避各种路况的训练,就是给人形机器人训练行走避碍,一举两得
【 在 liangf 的大作中提到: 】
: 变形金刚?
: 发自「今日水木 on iPhone 13 Pro」
--
修改:kixunkao FROM 114.244.127.*
FROM 114.244.127.*
对每个机器人征税,然后把这些税用于失业民众的基本生活费
【 在 huipj 的大作中提到: 】
: 海量机器人不是资本家的吗?资本家为什么要养我们~
--
FROM 114.244.127.*