可以参考下猎兔搜索创始人罗刚老师写的书？
罗刚老师当年还在清华的FIT楼做过讲座。

【 在 fzplove 的大作中提到: 】
: 没用过猎兔搜索。
: 但是现在都是预训练模型，对话数据不会直接进入模型权重。无论是rag ，skill ，等技术，都是依靠上下文。
: 当然，现在模型也能够处理比较长的上下文，deepseekV4上下文长度可以达到百万token。未来可能会更长。
: ...................
--
FROM 117.151.246.*

上下文有长度限制。我觉得这是目前的AI架构比较严重且很难解决的一个问题。
虽然模型可以通过大量数据进行训练，通过垂域数据进行微调，还可以加上RAG的辅助，但是输出主要还是来自于Prompt，因此受到上下文长度的限制。

这个限制，再加上Transformer以概率为核心标准的本质，使得现在的LLM只能进行模仿，而且是比较简单的模仿。LLM回答的准确性和专业性依赖于这种模仿，可是模仿是与创造性动作相抵触的，创造性的动作常常就是一种非标的思路或表达。

这导致AI还很难从事艺术性的工作，甚至也很难灵活的处理现实世界中的具体问题，如果再考虑到当前的算力总体还不富裕，问题就更严重一些。

比如我使用一个国产的AI编程工具，试图下载并编译一个开源项目A，而A依赖另一个工具B。我发现AI工具思路像模像样（它知道下载A的代码、查找关于A的说明文件，并按照说明文件寻找B），但是由于既有的网络资料中只提到了B的三个版本，AI就拼命的在网络上寻找这三个版本，而从未尝试更换其他版本进行尝试。最终因为这三个B的版本都已经不易寻找，编译A的任务也失败了。


【 在 FuZu 的大作中提到: 】
: 发信人: FuZu (富足), 信区: NewExpress
: 标  题: 今天给豆包喂了47本书，结果只记得最后2本！
: 发信站: 水木社区 (Tue Oct  7 10:44:46 2025), 站内
: ...................
--
FROM 211.99.13.*