- 主题:想搞个机器玩ai
建议是不要搞。直接买token就行了。
即使你能稳定的，24x7的，以上百万token的规模消耗。也依然没有买token划算。
【 在 upndown 的大作中提到: 】
: 有什么建议？
--
FROM 222.68.51.*
32g的模型，买个jetson xavier只要2k出头，满载功耗30w，跑32B一秒都能有3个token呢。
用自己机器跑这个毫无意义
【 在 adhere 的大作中提到: 】
: 当然可以啊，我现在的配置就是4060TI+32G内存，跑32B的慢点，但是我可以忍受，大概是1秒2个字
: 8B的模型，一秒100字
:
--
FROM 222.68.51.*
挖坟可耻。我这台xavier已经落灰了...
现在整双3090跑qwen3.5 27b
【 在 selenita 的大作中提到: 】
: 多大内存的xavier?
:
--
FROM 116.233.45.*