DeepSeek 70B 凡是运转正在开源的 Linux 系统上,深度进修框架如 PyTorch 和 GPU 驱动如 CUDA 也是免费的。若利用 Ol 等开源东西简化摆设,可无需额外费用。若需礼聘工程师进行模子量化或并行计较等优化,假设 1 名工程师 1 个月薪资 2 万元,软件开辟成本约 25 万元(视开辟需求而定)。以 4 张 RTX 4090 为例,每张满载约 450W,每天运转 24 小时耗电约 50 度。以工业用电 0。8 元 / 度计,每月电费约 1200 元。散热方面,若利用机房空调,每月额外约 500 元。包罗硬件毛病排查、软件更新等。若礼聘一名运维工程师,年薪约 15-20 万元。综上所述,方案初度投入约为 7。5(硬件)+2(软件)=9。5 万元,年运营成本约为 2。04(电力)+15(运维)=17。04 万元,首年总成本约为 26。54 万元。数据核心方案初度投入约为 23。7(硬件)+5(软件)=28。7 万元,年运营成本约为 2。04(电力)+20(运维)=22。04 万元,首年总成本约为 50。74 万元。