- 1一块二手RTX 3090售价850–1,050美元，提供24GB VRAM——仍是获得这么多显存最便宜的方式。
- 2租用同款GPU在Vast.ai上每小时0.12美元，在RunPod Community上每小时0.22美元，8家供应商的中位数为每小时0.15美元。
- 3扣除约每小时0.08美元的电费后，购买要在约12,300个GPU小时之后才能相对中位数租金胜出——按每天8小时计算约需四年。
- 4这张卡在2026年变贵了，而不是变便宜：春季售价600–800美元。这使回本点更远，与大多数购买指南的假设相反。
- 5为隐私、离线工作、常驻代理和持续微调而购买；为突发需求、实验以及原本会闲置不用的场景而租用。
- 6转售价值是支持购买的最有力论据：一块两年后仍能卖出数百美元的3090，能把购买行为的大部分变成一笔押金，而不是纯粹的支出。
30秒做决定
两条路径给你的都是同一块GPU和同样的24GB VRAM。真正的问题只有一个：你实际会用多少小时，以及数据是否能离开你的网络。
📍 简单一句话
如果未来两年内你每天使用二手RTX 3090超过约四小时，或者数据无法上传，购买它值得；否则以每小时0.12–0.22美元租用同款卡更划算。
💬 简单来说
拥有这张卡就像买车；租用就像打车。打车更便宜，直到你每天都要用车——而这张卡与车不同，它保值能力足够强,转售时能拿回很大一部分钱。
购买二手RTX 3090，还是租一块？
以下情况使用本地LLM：
- •你会持续地每天使用超过约4小时
- •数据不能离开你的场所——医疗、法律、客户或受监管业务
- •你想要常驻代理、家庭助手或夜间批处理任务
- •你会定期而非偶尔进行微调或嵌入操作
- •你已经有机箱、750W以上电源和散热排放条件
以下情况使用云端模型：
- •你还在判断本地推理是否适合你
- •你的使用是突发式的——一个忙碌的周末，然后是两周的平静
- •你想在不买两块卡的情况下测试70B级模型
- •你不想拥有会贬值的硬件
- •下个月你需要的GPU可能和今天不同
快速决策：
- →每天少于2小时→租用，六个月后重新评估
- →每天4小时以上，天天如此→购买，这张卡能回本
- →任何不能上传的数据→购买，成本不是决定因素
快速要点
- VRAM：24GB GDDR6X——足以在4-bit量化下运行27B级模型,并为上下文留出空间。
- 显存带宽：936GB/s,在受显存带宽限制的负载中,这实际决定了token生成速度。
- 功耗：显卡本身TDP为350W；推理负载下,整机墙上功耗预算约450W。
- 二手价格：通常850–1,050美元,eBay均价接近1,000美元——较2026年春季的600–800美元上涨。
- 云端租用：从每小时0.12美元（Vast.ai）到每小时0.50美元（RunPod Secure）；8家供应商中位数为每小时0.15美元。
- 电费：按2026年美国住宅电价均值0.18美元/kWh计算,运行成本约每小时0.08美元。
RTX 3090真正提供了什么
RTX 3090重要的原因只有一个：以任何人能给出的最低价格提供24GB VRAM。 到2026年,这张卡的其他方面都不算突出——它是2020年的设计,功耗350W,当前一代显卡在每项能效指标上都能超过它。但这些都改变不了一个事实：模型权重要么能装进显存,要么装不进。
VRAM是一道悬崖,不是斜坡。能装下的模型以全速运行；哪怕只超出1GB,模型也会溢出到系统内存,速度骤降到原来的一小部分。这使得24GB成为一个能力门槛,而非性能数字,而3090是跨过这道门槛最便宜的卡。
第二个重要数字是显存带宽。量化模型的token生成受显存带宽限制,而非算力限制,所以936GB/s比任何CUDA核心数都更能预测体感速度。这也是为什么面对算力更强但显存位宽更窄的新款中端显卡,3090依然保持竞争力的原因。
实际效果是：4-bit量化的27B级模型有充裕余量,长上下文的7B–14B模型推理速度快,而加上第二块卡后,还能在无需offload的情况下将70B级模型完整放入显存。
24GB实际能跑什么：模型规模与量化
"能装进24GB"和"交互使用体验流畅"是两个不同的说法,混淆两者的购买指南会给出错误的预期。 一个模型技术上可以加载,却可能没有留下任何上下文空间,这意味着它对单条短提示词有效,但对话一旦变长就会崩溃。下表区分了这两种说法。
让模型在这些列之间移动的变量是上下文长度：每一条对话历史token和每一个生成的token,除了权重本身之外,都需要在KV缓存中占用空间。一个使用4K上下文的4-bit量化27B模型能舒适地装下；把同一个模型的上下文推到32K,则可能吃掉量化省下的那部分余量。
模型规模 | 能否装进24GB（4-bit） | 交互式使用 |
|---|---|---|
| 7B–8B | 可以，还有余量 | 快，长上下文也舒适 |
| 13B–14B | 可以 | 快，上下文充裕 |
| 27B–34B | 可以 | 舒适／长上下文需留意KV缓存 |
| 70B（4-bit，单卡） | 技术上可行，需CPU offload | 慢——被offload的层拖慢生成 |
| 70B（4-bit，双卡） | 可以，合计48GB | 舒适，无需offload |
📌注: 一个4-bit量化的70B级模型,仅权重就大约需要40–45GB VRAM,还不算上下文。单张24GB显卡要达到这一点,只能靠把部分模型offload到系统内存,这就是上表中单卡那一行被标注为"技术上可行"而非"舒适"的原因。
RTX 3090搭配Ollama和LM Studio
RTX 3090的24GB对Ollama和LM Studio尤为重要,因为在模型能装下时,两者默认都会将其完整加载到GPU显存中,装不下时则回退到更慢的CPU/GPU offload。 有了24GB可用空间,两款工具都能把27B级模型完整放在显卡上运行,而不必拆分。
实际的每秒token数取决于具体模型、量化级别、上下文长度、所用的后端构建版本（两者底层都是llama.cpp）、提示词中还有多少需要处理与已经缓存的比例,以及同一台机器上还在运行什么。这两款工具都没有发布官方的RTX 3090基准测试,所以你在别处看到的任何单一"每秒X个token"数字,都只是某个人的具体配置,不是对你设置的保证。
实际操作：安装其中一款工具,加载一个4-bit量化的27B级模型,并在运行时通过nvidia-smi（或工具自身的显示）检查显存占用——如果占用舒适地低于24GB,说明模型完全在显卡上,你获得的是RTX 3090的全部显存带宽。
购买二手：付款前该检查什么
如果要买,就买二手——已经没有人在卖全新的RTX 3090了,价格优势就在二手市场。 850–1,050美元的价格使它成为可买到的最便宜的24GB显卡,并且转售价值保持得不错,这实质上降低了真实持有成本。
一个诚实的提醒：这些是已有五年历史的显卡,很多来自矿卡或游戏卡,由个人卖家在无保修的情况下出售。故障模式是已知且可检查的,因此风险是可控的——但风险确实存在,这也是为什么应该向接受退货的卖家购买,而不是找最便宜的那条listing。
- 要求提供负载测试中的照片,能看到温度——负载下显存结点温度高于约100°C，说明散热垫可能已经干裂。
- 这张卡的GDDR6X按设计运行温度本来就高；已经更换过散热垫的卖家是个好信号,不是警示信号。
- 确认这确实是24GB的RTX 3090,而不是RTX 3080——listing标题不是证据,要求提供GPU-Z截图。
- 优先选择有买家保护和退货政策的平台。在不可退货listing上省下的50美元,不值得为一张五年历史的显卡承担风险。
- 确认物理尺寸能装下：大多数设计中3090占用三个插槽,需要750W及以上电源。
📌注: PromptQuorum未加入任何联盟营销计划。以下链接不带联盟标签,也不产生佣金——它们只是普通的参考链接,方便你自行核对当前价格。
选卡：散热、尺寸和电源接口
每一块RTX 3090都拥有相同的24GB VRAM,所以选定"RTX 3090"的那一刻,模型能否装下的问题就已经确定了。真正在各卡之间不同的,是拥有它的舒适程度。 没有哪一家厂商的散热设计在所有listing中客观上最优——二手市场的成色差异比设计本身更大——但以下是购买前值得检查的因素。
散热设计
- 需要检查的内容:
- 开放式三风扇散热器在持续负载下比涡轮式安静；询问空闲和推理状态下的噪音水平。
物理尺寸
- 需要检查的内容:
- 大多数RTX 3090占三个插槽、长度超过30厘米——购买前先量好机箱,而不是事后再量。
电源接口
- 需要检查的内容:
- 大多数型号使用标准8针PCIe（两个或三个）；在依赖转接头之前,先确认电源有足够的原生接口。
保修
- 需要检查的内容:
- 这一代显卡的原厂保修大多已过期——除非卖家另有说明,否则应将任何二手3090视为"概不保修"出售。
使用状态
- 需要检查的内容:
- 曾用于挖矿本身不是排除理由（见上文购买清单）；散热不佳下的重度超频才是更大的风险信号。
价格与风险
- 需要检查的内容:
- 如果不支持退货,最便宜的listing未必是最划算的——对于一张五年历史的显卡,为买家保护多付50–100美元通常是值得的。
为什么租用比想象中更常是更好的选择
支持租用的理由不是它总是更便宜——而是一块闲置的GPU和一块繁忙的GPU花费相同。 一张只在周末使用的桌面显卡,已经付出了全部购买成本。租用的GPU在会话之间不产生任何费用。
租用的理由是具体的,而非哲学性的：没有前期支出,没有五年历史显卡的贬值风险,没有电源、机箱或散热的限制,风扇故障也不会毁掉一个周末。你还可以租用一块你永远不会购买的显卡——用两块租来的GPU测试70B级模型一个下午只需几美元,而买一对二手卡大约需要1,700美元。
诚实的反对意见是,租用确实存在实际摩擦。你要把数据上传到别人的机器上,要等待实例可用,而在市场型平台上有时会遇到工作到一半就消失的主机。这些都不是否定租用的理由——而是这个决定应该取决于你的工作负载,而不仅仅是小时费率的理由。
租用RTX 3090：费用与渠道
Vast.ai是租用RTX 3090最便宜的方式,约每小时0.12美元,而RunPod在其Community层级上以每小时0.22美元提供更可靠的选择。 这一差异概括了全部权衡：Vast.ai是私人拥有GPU的市场,因此价格更低,但主机质量参差不齐；RunPod运营自有算力,因此价格更高,但表现更可预测。
对于第一次尝试,便宜的层级完全够用——一次实验中失败的实例,损失的只是重启的时间。对于有截止日期的任务,或者超过几个小时的任何工作,每小时多付的十美分买到的正是你真正想要的：当你回来时,任务仍在运行。
- 设置复杂度：Vast.ai及类似市场需要你自己选择主机和模板；RunPod等托管供应商提供预装Ollama或Web UI的一键模板。
- 持久性：在大多数供应商处,已停止的实例仍会为附加的存储计费；在跨会话缓存大模型之前,先确认GPU暂停期间供应商是否仍对存储收费。
- 最短租期：市场型listing通常按分钟计费,没有最低要求；部分托管算力层级要求最低时长区块——在确定任务之前,请查看具体供应商的定价页面。
- 地理可用性：市场型GPU位于其所有者所在的地方,因此不保证特定区域；托管供应商公布固定的数据中心区域,这在有数据驻留要求时很重要。
供应商 | 价格/小时 | 最适合 |
|---|---|---|
| Vast.ai | 0.12美元 | 最低小时费率；实验和突发需求 |
| RunPod Community | 0.22美元 | 以适度溢价换取可预测的算力 |
| RunPod Secure | 0.50美元 | 企业级可靠性与支持 |
| 8家供应商中位数 | 0.15美元 | 用于你自己回本计算的数字 |
📌注: 价格已于2026年9月1日对照多供应商价格表及RunPod自身的机型页面核实。云端GPU价格每周都会变动——确定之前请核实当前价格。
回本点计算
相对每小时0.15美元的中位数租金,一张850美元的显卡大约需要12,300个GPU小时才能回本——按每天8小时计算约需四年,按每天2小时计算约需十七年。 这是大多数购买指南跳过的数字,也是应该用来决定购买与否的数字。
这个计算扣除了运行这张卡的成本。以墙上功耗450W和2026年美国平均电价0.18美元/kWh计算,本地推理的电费约为每小时0.08美元,所以你比较的不是850美元对0.15美元/小时,而是850美元对你实际节省的约0.07美元/小时。
前提假设：850美元的显卡、系统功耗450W、电价0.18美元/kWh。请代入你自己的电价——它比表中任何其他因素都更能左右结果,在电价高于0.30美元/kWh的市场,购买的理由基本上就消失了。
使用量 | 对比0.12美元/h | 对比0.15美元/h | 对比0.22美元/h |
|---|---|---|---|
| 每天2小时 | 约30年 | 约17年 | 约8年 |
| 每天4小时 | 约15年 | 约8年 | 约4年 |
| 每天8小时 | 约7.5年 | 约4年 | 约2年 |
| 全天候运行（24/7） | 约2.5年 | 约1.4年 | 约8个月 |
⚠️警告: 这张表在一个具体方面让购买显得比实际更差：它忽略了转售。一块二手RTX 3090五年来一直保值,所以如果你之后转售,购买价格中的很大一部分会回来,上面所有数字都会大幅缩短。
你属于哪一类
周末爱好者
- 结论:
- 租用
- 原因:
- 每周几小时的使用相对850美元的支出,离回本点还差几十年。先租一年,如果发现自己天天在租,那时再买——你也会清楚自己到底需要哪张卡。
每日重度用户
- 结论:
- 购买
- 原因:
- 每天四小时以上,这张卡几年内就能回本,转售还能收回剩余成本中的大部分。更大的收益是行为层面的：自有的GPU没有计时器在跑,你就不再需要节制实验。
小团队或初创公司
- 结论:
- 先租后买
- 原因:
- 在工作负载形态仍在变化时先租用——你还不知道自己需要24GB还是80GB。等使用变得稳定、可预测到足以做预算时再购买,那通常也是每月账单开始让人心疼的时刻。
受隐私或合规约束
- 结论:
- 购买
- 原因:
- 成本不是决定因素。如果客户数据、医疗记录或受监管资料不能上传到第三方主机,无论价格多少,租用选项都不存在,而3090是满足这一要求最便宜的方式。
在这些情况下应跳过RTX 3090
如果你的模型能装进16GB,就跳过它。 如果你运行的是4-bit的7B和14B模型,从不触碰更大的模型,一张更便宜的当代16GB显卡更安静、功耗低得多,还带保修。为你永远用不到的余量支付24GB的溢价,是这笔购买中最常见的错误。
如果你是为训练而非推理购买,也应跳过。在单张24GB显卡上进行实质性微调意味着激进的量化和漫长的等待；租用几小时更大的显卡,既更快也更便宜。
如果你的电价昂贵,也应跳过。在0.30美元/kWh及以上,仅运行成本就接近更便宜的云端费率,拥有这张卡的理由基本消失。
我们的结论
如果未来两年内你每天使用超过约四小时,或者数据不能离开你的场所,就购买一块二手RTX 3090——它仍是拥有24GB VRAM最便宜的方式。如果你的使用是偶尔的、突发式的,或者你还在判断本地推理是否适合你的工作负载,就选择租用。如果不确定,先租用。
对于频繁的本地LLM使用和隐私需求：购买。对于偶尔的实验：租用。对于不确定或变化中的使用：先租用,等六个月后了解了实际使用时长再重新评估。对于专门寻求便宜24GB VRAM的人来说,一块状态良好的二手RTX 3090在2026年依然有吸引力——内存短缺导致的价格上涨并没有改变这一点,只是把回本点推得更远。如果是新购买,而效率、保修和当代功能比初始价格更重要,可以改为对比当代显卡。
总结：RTX 3090的优势是以二手市场价格获得24GB VRAM。它的成本是使用年限、高功耗、发热、噪音以及没有保修。这场权衡的两端在2026年都没有改变——唯一变化的是购买价格,而且是朝着不利于购买的方向变化的。
常见问题
2026年RTX 3090还值得购买吗？
对于持续的本地推理来说,值得——它仍是最便宜的24GB二手显卡,售价850–1,050美元。对于轻度或偶尔使用来说,不值得：以每小时0.12–0.22美元租用同款GPU,多年内都更便宜。决定因素是每周实际使用的小时数,而不是规格本身。
RTX 3090适合用于Ollama吗？
适合。当模型能装下时,Ollama会将其完整加载到GPU显存中,而24GB足以让4-bit量化的27B级模型完全运行在显卡上,而不必拆分到CPU和GPU之间。加载模型时,可以用nvidia-smi确认模型完全驻留在GPU上。
RTX 3090适合用于LM Studio吗？
适合,原因与Ollama相同——两者都基于llama.cpp后端运行,同样能从24GB VRAM中获益。LM Studio直接在界面中显示GPU显存占用,便于确认模型是完全加载还是部分offload。
本地LLM该选RTX 3090还是RTX 4090？
两者都有24GB,因此能运行相同的模型。4090明显更快、能效也高得多,但二手价格大约是3090的两倍。如果你运行的模型本来就能装下,3090能以更低的花费提供相同的能力；如果生成速度是限制你工作的因素,4090则物有所值。
RTX 3090每秒能生成多少token？
这取决于模型大小和量化程度,任何单一数字都可能有误导性。有用的经验法则是：量化模型的token生成受显存带宽限制,因此3090的936GB/s是预测速度的关键数字——模型越小、量化越激进,每秒生成的token就越多。
两块RTX 3090能运行70B模型吗？
可以。两张卡合计提供48GB VRAM,足以在不offload到系统内存的情况下容纳一个4-bit量化的70B级模型。请准备1,000W及以上的电源,以及带有两个合适插槽的主板——在花费约1,700美元之前,建议先租用一个双GPU云实例试用一个下午,确认这套配置能满足你的需求。
为什么2026年二手RTX 3090价格上涨了？
2026年内存短缺普遍推高了GPU价格,而对24GB显卡的需求在本地跑模型的人群中的增长,超过了游戏玩家群体。这张卡春季售价600–800美元,到9月已涨至850–1,050美元。它是少数几款变贵的五年历史产品之一。
购买二手矿卡安全吗？
经过检查通常是安全的。矿卡在恒定的中等负载下运行,比游戏的热循环更温和,但往往需要更换新的散热垫。要求提供显示显存结点温度的负载测试照片,向提供退货的卖家购买,并将同时缺少这两项的listing视为无法验证的显卡。
RTX 3090需要多大功率的电源？
NVIDIA为单卡系统规定的是750W,这是正确的最低标准。显卡本身消耗350W,还有远高于此的短暂瞬时功耗峰值,因此即使计算上看起来没问题,功率不足或质量较差的电源在负载下也会关机。
租用GPU是否意味着我的数据会离开我的设备？
是的——这是根本性的权衡。你在租用的GPU上处理的任何内容,都会上传到你不掌控的硬件上,而在市场型平台上,这些硬件属于私人所有。对于受监管、机密或客户数据而言,无论成本如何,这都排除了租用这一选项,这也是为什么支持购买的隐私理由完全不取决于回本点计算。