- 主题:折腾了小半年，发现垂直领域模型是个坑
所以现在各位大佬在公司里面落地的方式是训练私有大模型的多，还是用RAG+基座模型的多？
--
FROM 223.74.153.*
你是预训练还是后训练？
垂类领域模型的关键是，数据都是私有的，大模型不可能见过、学过
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学，以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型，以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛，花费大量的精力训出来的模型
: ...................
--
FROM 222.129.2.*
有没有可能是你们水平不行
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学，以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型，以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛，花费大量的精力训出来的模型
: 其效果和RAG+基座模型相比并没有实质性改善
: --
:
发自「今日水木 on IN2020」
--
FROM 120.245.98.*
【 在 reaphone 的大作中提到: 】
: 你们的领域知识是确定的（初始态、约束、目标都可以用数学建模），还是概率的？
: 概率的话，是用自然语言可以描述的么？
: 如果是概率性的（比如中医辩证），而且是用自然语言描述的（病历、医书），那我感觉垂直领域模型应该有搞头。
: ...................
现在的病历，绝大部分结构化了...
--
FROM 106.7.251.*
可能有几个方面的问题：
一、数据量和算力不足，导致训练效果不够
二、或许需要针对性地改进大模型算法，以提升效果和效率
三、训练方法不对
排除了这些之后，才能给出断言
不过每一点验证，都需要大量的投入，不容易
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学，以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型，以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛，花费大量的精力训出来的模型
: ...................
--
FROM 124.77.122.*
是不是人群不行？这东西得顶尖智慧人群去做。
--
FROM 111.197.232.*
好多人大模型和大语言模型都混在一起。现在的所谓垂直大模型，其实都是垂直领域的语言大模型，不是 alpgago, alphafoler，气象这种专门模式. 效果大部分靠吹. 教育部今年要发布10个领域大模型，且看他一地鸡毛吧。
--
修改:Zshadow FROM 110.87.65.*
FROM 110.87.65.*
人家按指标一个个查啊 为啥要懂...
【 在 juda 的大作中提到: 】
: 这种没事得，审计得人也不懂。。。。
--
FROM 59.175.49.*
炼丹炼丹，原料火候风水丹炉都看一看。
【 在 scramjet 的大作中提到: 】
: 分别和某头部大学，以及北京某研究所合作
: 搞海洋测绘数据的垂直大模型，以及某化工过程的行业大模型
: 最后的结果都是一地鸡毛，花费大量的精力训出来的模型
: ...................
--
FROM 111.192.246.*
都是造概念圈钱~~~~
--
FROM 114.248.122.*