SF Compute CEO Evan Conrad 谈可编程数据中心与算力交易市场
The Programmable Data Center — Evan Conrad, SF Compute
Latent Space 在 AIE NYC 上采访 SF Compute CEO Evan Conrad,讨论其算力交易市场的进展:公司已从转租集群发展为具备完整云运营能力,以期货市场借来的物理交割模式交付可用的 GPU 算力,目前已成交数亿美元规模。
本期录制于 AIE NYC 全新的 Compute Trading 赛道现场。下次欢迎来 AIE CODE 见我们,这是我们为全球顶尖智能体工程师举办的最后一场旗舰大会。
在云计算的早期,往期嘉宾 Martin Casado 打造了一个颠覆性如此之强的东西,以至于 Cisco 感到威胁,愿意出 6 亿美元收购它,而 VMware 则以 13 亿美元竞购胜出:
这个概念就是软件定义网络,它通过将控制平面与数据平面分离,实现了路由网络的虚拟化。如今,这场革命正在向 GPU 领域进发——过去运营自己的超算集群需要预付 5000 万至 1 亿美元才能获得承诺,并打通从硬件到固件再到内核的整个技术栈,而 SF Compute 现在不仅让你能买卖当下和未来的 GPU 小时,还能以编程方式控制从网络到内存的一切。
我们上次与 Evan 聊的是算力的商品化。在 AI Engineer New York 大会上,我们进行了更深入的探讨:交付一份 GPU 合同在物理上需要什么?在算力市场变得具有流动性之前,哪些条件必须成立?
Evan 用酒店的比喻描述了 SF Compute 的扩张过程。客户想要一个房间,接着要求清洁、客房服务和安保。最终你会发现,交付一个房间就意味着经营一家酒店。SF Compute 最初只是想转租一个集群;而如今,公司已经构建了云服务商的大部分运营能力,以交付其市场上交易的算力。
这项工作就是实物交割:买家得到的是可用的算力,而不仅仅是基于指数的现金结算。它把集群的物理约束带进了市场本身:工作负载能否被中断?从存储中恢复的速度有多快?需要哪种 GPU 世代、网络和软件配置?这些细节既影响合同,也影响价格。
SF Compute 并没有等待所有 GPU 集群变得可互换,而是根据不同的约束条件来撮合订单。Evan 认为,这使得在技术仍在变化的同时进行交易成为可能,代价是流动性分散到更多变体之中。我们还讨论了现货与远期定价、批量推理与实时推理,以及为什么指数可能脱离实际购买算力的成本。
独立性是 Evan 主张建立市场运营商的核心论据。他认为,拥有庞大硬件或推理业务的公司存在利益动机,使其难以运营一个中立的交易所。我们还聊到了不那么光鲜的工程工作:实地考察场地、设计集群、运行背板,以及让基础设施可编程化。在接近尾声时,他举例说明了动态细分 InfiniBand 网络结构的能力。
嘉宾:Evan Conrad,SF Compute CEO。
0:00 — 为什么 NVIDIA 做不了这个?
0:25 — 欢迎回到 Latent Space
2:23 — 从卖一个房间到经营整家酒店
3:47 — 实物交割:真正交付算力
6:00 — 流动性与 GPU 订单簿
8:42 — 交易非标准化算力
10:00 — 中断并迁移工作负载
12:20 — 为什么硬件批次很重要
14:32 — 算力合约最远能签到多久之后?
16:19 — 批处理推理与实时推理租赁
17:58 — 算力价格的形态
20:33 — GPU 世代、规格与 SKU
23:30 — 实物交割与现金结算
27:00 — 正在兴起的算力市场生态
29:03 — 交付一个 GPU 集群需要什么
32:24 — 主权算力
33:26 — 为什么 NVIDIA 做不了这个市场
34:48 — 可编程的数据中心
自动生成的文字记录,经过轻度整理;说话人标签未经核实。
00:00 NVIDIA 显然是房间里那只 800 磅重的大猩猩。他们为什么没有做 SF Compute?我们的看法是,NVIDIA 做不了这个,但它却从其存在中获得巨大好处。他们做不了的原因在于,一旦做了,就不够独立,人们就不会在上面交易。
00:25 总之,Evan,欢迎回到 Latent Space。非常感谢——欢迎回到 AIE。其实,这是第一次来 AIE。我觉得是的,没错。这一期非常特别,因为我感觉你已经在算力交易、算力市场这个领域深耕了一段时间。现在它正赶上了风口。没错。Jump 基本上宣布要进军算力市场,这也是我兴奋于把这些人聚在一起的原因。你见过 SemiAnalysis 的 Oliver,我的理解是,他们基本上要开始覆盖算力市场这个领域了。所以大家都会关注你的演讲。
01:00 我觉得这份材料既很好地解释了你们的起源故事,也很好地解释了为什么你们需要存在,以及你们在攻克的所有难题。是的。而且方式非常简单、引人入胜。我很羡慕你的写作功底,因为你展示了你在 New Reps 上展示的那张宣传单。是的。我当时就想,真是简洁明了,很棒。是的。总之,恭喜。谢谢,我很感谢。也恭喜 AIE。看起来你们发展得很顺利。我们确实在一路向前。我刚从明年 AIE 的场地考察回来。那你有线索吗?在 Javits Center。就是他们办 Comic Con 的同一个地方。哦。哇。
01:35 哇。哇。厉害。但我认为金融这个聚焦方向真的很打动人们。是的。所以我们打算细分一下。现在我们是把所有东西都归到金融里。你的金融、他们的金融,保险也算金融,但它们其实差异巨大。是的。所以未来我们可能会做更细致的划分,因为人们想深入研究对冲基金、银行业或者个人财富管理。是的。尤其是在纽约。是的。Anthropic 就说,是的,我们现在全力押注 RIA。是的。RIA 就是注册投资顾问。没错。跟你完全不一样。
02:10 不,不,不。我知道这个。是的。好的。那么给不了解背景的听众说一下,两年前我们做过一期播客,你谈到了当时 SF Compute 的情况。嗯,今天你已经更多是在做某种实体结算了。你在谈你们的背板架构,你们叫它什么来着?呃,backplane(背板)。背板。是的。这显然需要大量硬核的工程工作。是的。那么,对于两年前最后一次在播客里听到你们的听众来说,你能给个最新进展吗,SF Compute 现在到什么阶段了?是这样的,我们刚创立时叫 Junark,当时只是想转租我们的集群。
02:45 嗯,我们就从技术栈这里起步。嗯,可以这么理解:就像你待在一家酒店里,想卖掉那间客房。然后有人问你,嘿,你会打扫我的房间吗?嗯,然后你说,哦,我猜我可能还得拿下那间客房。或者说,我需要那个清洁间。于是你去拿到清洁间的使用权,然后他们想要客房服务。于是你又拿到厨房的使用权,然后你知道,他们想要安保。于是你又拿到安保间,就这样一样一样地拿下来。到了某个时刻,你就在运营整家酒店了。嗯,而当你运营整家酒店的那一刻,你会说:哦,等等。
03:21 嗯,其实我在这个市场上的供应商,是某个更接近于一家基金,嗯,或者一家云厂商的角色,在我们的情况下,是一家能进入数据中心的云厂商。而我们要往上提升一个层级。所以过去几年我们一直在做的,就是构建一家云厂商的全部运营能力,嗯,以便能够,以便真正以可靠的水平交付算力。嗯,我们称之为“实体结算”(physical settlement)。这是一个借自期货市场、借自其他市场的术语,在那里,你知道,
03:57 石油或大豆之类的商品,实物交割意味着你真的会收到石油和大豆。对。嗯,不过,在某些市场里,比如石油,还有电力市场,石油有一个交割网络。你得有管道。如果你想让石油交割到你手上,就必须有把油送到你那里的途径。对。还有金融方面,对金融史感兴趣的人应该知道,COVID 期间石油价格变成了负数,因为,就是我付钱请你把我的油拿走,因为它就堆在港口里。而我付不起仓储费了。
04:32 对。所以我愿意付钱让你把我的油运走。对。这就是实物交割的怪异之处。其他市场里也有很多类似的怪事。比如电力市场和电网,订单表格里有某些部分,买单和卖单上的某些字段,是因为锅炉降温需要时间。你可以把锅炉停掉,然后在一段时间内重新启动。所以这些必须反映到订单簿里。嗯,计算市场里发生的正是同类问题。所以我们是同时设计实物交割和订单簿的
05:10。这意味着我们可以真正处理计算资源的真实约束,比如:我可以接受被中断,但前提是机器上有存储,能让我很快恢复。是非常类似的问题。对。大家可以去听你的演讲,你也上过几个播客了。所以我想聊得更深入一些,做 201 级别的内容,而不是 101 入门。好的。另外因为我当过衍生品交易员,所以我可以给听众讲一些你通常不会展开的细节。比如说,那么,现在的计算
05:45市场有多成熟、多深、流动性多强?嗯,还不太成熟、不太深、流动性也不强。好。我们一直在做的事情是,首先我们得先把一大批供给上线,这本身就需要时间。然后我们还得搭建整个平台来做这件事。现在我们刚刚把它跑通。所以我们现在正在把,嗯,算力转移到订单簿上,这就让它有了流动性。目前我们总容量的 5% 挂在订单簿上,而且我们在持续地把越来越多的容量挪上去。之后新增的容量也全部都会上订单簿。好消息是,也许我应该先说明,订单簿上的实际成交量很小,但是
06:21嗯,订单簿上的流动性很高。所以就那一小部分容量而言,你拥有非常集中的流动性。可以说,对使用者来说有一个标准指标:一个从我们这里购买容量的客户,花 100 美元买下这份容量,平均能通过把它转卖给别人收回 25 美元。这就是我们,或者说这是我们跟踪的指标之一,因为我们希望流动性对商业参与者是有用的,而衡量流动性有很多种方式。比如有人说,我就是想要大量的做市商之类的。
06:56 呃,你可以用比较高尚的方式来衡量它。我们尝试用类似“这是否为客户解决了问题”这样的方式来衡量。是的,明白了。那么,呃,上次我们聊天的时候,也谈到了很多关于合约标准化的话题。是的,比如和 CFTC 之类的机构谈,那些事情的进展如何?呃,我认为合约的全面标准化仍然很遥远。呃,而我们当时想做的,或者基本上过去几年我们学到的是,我们只需要
07:31 运营整个体系。否则你无法把它标准化。所以要接近可标准化的东西,你首先需要把它的所有运营方式变得一致。对。举一个可以有差异的例子:单一运营商可以提供两种不同类型的虚拟机。一种类型的虚拟机,呃,相比另一种类型可能有 40% 的性能,呃,下降。而 40% 是很大的。你说性能下降,是指类似 MFU 这种东西,还是指你经历的 burn-in 程度,还是什么?它会影响到。在这个具体的例子里,我说的是 GPU kernel launch 以及它需要多长时间才能完成。
08:07 呃,这是一个无论你在做训练还是推理时都相当频繁发生的过程。呃,最终的结果是你的 MFU 会变差,但,呃,这算是中间层面。对,算是中间层面。是。是的。所以我想说的是,对于任何做过大宗商品交易的人来说,商品有不同的等级。是的。对。比如,它不只是“油”,而是轻质低硫原油,还是与轻质低硫原油相反的那种;或者是玉米 A 级、玉米 B 级之类的东西。呃,所以人们正试图——对,你必须先建立这些对应物。没错。是的。我想知道这些是否已经建立起来了。
08:42 于是我们转而做了另一件事,呃,我们创建了一个带有多重不同约束条件的订单簿,你可以说,我想要,呃,介于这个和那个之间的东西。呃,它从这个时间运行到那个时间。呃,就像是从 X 到 Y,你可以给你的订单附加一堆不同的属性。然后我们用一个大型撮合引擎,把它与具有这些属性的卖单进行匹配。呃,我们这样做的原因是,它让我们无需事先知道这项技术能做到什么,就能生成流动性。呃,而且因为技术变化得太快,呃,我们基本上希望能够做到这一点。这种做法的代价是,你的流动性没有那么集中。
09:18 所以价格上,买价和卖价之间会有更大的价差。是的。嗯,这很糟糕。是的。但另一方面,这意味着如果你能操作得当,就有很多套利机会。所以如果你有一个能利用多种不同类型算力的产品,那你可能会非常喜欢 SF Compute,因为你将能使用多种不同类型的算力,赚更多的钱。嗯,你可以赚取价差。好。在这个网格中,哪些维度是重要的?嗯,有很多不同的因素。嗯,其中一个维度类别是:是否有
09:53 正在运行的工作负载,还是未来的算力?好吧。是当前可用的算力吗?嗯,当前的算力要出售的话,你必须中断你当前的工作负载。所以你要想清楚,你是否在意当前工作负载被中断。而一个月后才开始出售的算力,你可以随时买卖。所以你很容易就能获得流动性。嗯,当然也有担心,比如“哎呀,我下个月有算力”,但这与现在正在中断工作负载的情况非常不同。嗯,中断发生的方式也很重要。举个例子,如果你在一个集群上,而这个集群的存储没有你期望的那么好。嗯,比如,底层是否配备了 Weka 或 Vast 系统?
10:31 嗯,你是否提供这个?以及它的规模有多大?嗯,这会改变你应对被抢占或从集群中移除的方式。另外,存储的位置也很重要。所以,嗯,如果你能快速地把数据从一个集群迁移到另一个集群,那么也许你可以在多个不同集群之间分散部署。你可以在这里被中断,然后在另一边重新启动。嗯,要实现这一点,你还需要一个集群之间的高速传输通道。通常这是通过广域网(WAN)实现的,但这些集群大多没有
11:06 广域网。是的,广域网。基本上就是连接各个集群的线缆。也可以理解为一种专用互联网。呃,如今很多正在搭建的集群,它们不再像传统 CPU 集群那样因为延迟原因部署在客户旁边。GPU 集群是部署在电力旁边,嗯,你知道的,把数据中心建在电力旁边而不是客户旁边。嗯,这意味着很多东西被放在了以前人们没想到会建数据中心的地方。
11:41 所以从一个集群到另一个集群的传输通道可能就没那么好了。所以这一点开始变得重要。嗯,还有一些奇怪的情况,理论上我们支持,但实际上并没有。呃,这基本上是我们正在考虑但还没做到的事情。早期的 GB200 出过问题。早期的 H100 也出过问题。嗯,所以如果你在买 H100 或 GB200,你可能会想要某个时间点之后部署的那批,这样就不会拿到第一批有问题的机器了。
12:16 所以如果你是一个非常老练的客户,你可能愿意为此多付一些钱。嗯,所以这和它们是哪一批次生产出来的有关,而且它们会随着时间变得更好。比如,呃,最早下生产线的那批可能有一些缺陷或问题。对。所以如果你拿到了最初的那批,嗯,或者说第一批货里的最初几个,那它们确实可能有问题,嗯,或者以某种方式出故障。我猜大致的流程是:看,缺陷到处都有,就是会发生。对。完全正确。所以你从台积电(TSMC)或其他什么供应商那里收到一批新货,就跑一遍测试,然后你就能搞清楚
12:53 哪些、哪些是坏的,然后扔掉。这不就是这么运作的吗?我之前不知道这个批次化的细节,比如说 2026 年第四季度的 B300 会比 2027 年的 B300 差很多。是的。嗯,我举个例子。嗯,你说的是老化测试。对。所以当你拿到一个集群时,嗯,一家好的云厂商会做什么呢?它会在 GPU 到达客户手中之前,尝试把所有 GPU 都“弄坏”。嗯,然后坏掉的 GPU 或坏掉的节点,嗯,你会进行 RMA。你基本上就是去申请。对。你退回去换一个新的,这有一个交货周期,但是
13:30 不管怎样,你会拿回来一些。嗯,这样客户就永远不用经历这些了。嗯,我指的是,比如早期的 H100 存在一些固件 bug,甚至可能和具体的芯片无关,可能不是 NVIDIA 的问题。可能是超微(Super Micro)在你买的机箱里有个固件 bug。嗯,它影响所有机器,而且无所谓是谁的问题。比如,解决方案是你需要让他们更新固件。嗯,或者他们需要在每个新机箱里装上新东西再发货。
14:07 是的。我们拿到的 B300 就遇到过这种情况。嗯,IQ 不得不让 Devin 去修复它。对。很棒。所以像这样不同类型的问题都可能发生。有意思。好的。那我就想,好吧,和整体相比这似乎是小事。我只想让人们理解这个市场的形态。嗯,你提到了抢占,你知道的,还有,我们谈过竞价型实例,以及那个类比是怎样的。对。然后还有提前一个月预订。这些市场能走多远?对你来说,实时或者说是抢占模式更有意思,还是
14:42 更远期的?嗯,回答你的第一个问题:三到五年。嗯,哇。我们开始看到。是按月、按季度,还是怎么回事?你是问现金流怎么运作吗?比如那些合同,期货合同,对吧?再说一次,我以前是做衍生品合约的交易员。就市场本身而言,嗯,在更广义的市场上。是的。集群是以三到五年为期融资的。好吧。嗯,所以付款是完全分摊在这段时间内的。对。在我们的订单簿中,也有可以延展到任意时间的大块容量。对。我们为此的现金流还得做一些事情,
15:18 right now。我们现在做的是要求人们为一块算力完全预付款。嗯,我们不会要求他们在租赁更长期限的合同时这么做。这涉及到一件我肯定需要白板才能解释清楚的事情。嗯,不过,嗯,你刚才还有另一个问题我正要回答。我忘了。你想要实时的,还是说,你更想要,呃,哪个对你更有意思?实时还是更远的远期?我们更关心远期,因为我们正在努力建立一个有大量流动性的远期曲线。嗯,这个,嗯,这两者有点是一回事,又有点不是。嗯,所以我们做的是,自从
15:54 a,你可以买一小时后的,你可以买从现在到下一个小时的,或者买从现在到未来三年的,以及介于两者之间的任何时段。这也太疯狂了。我知道。嗯,那么,嗯,你知道,或者如果我,你在技术上,嗯,这,每个客户会有一定的差异。基本上就像如果我有一个工作负载,嗯,呃,是批处理推理,基本上随时可以被中断,我不太在乎。嗯,那么我被
16:29 切断,嗯,的可能性大概是,我需要提前一个小时知道,嗯,我要被切断了,然后就没问题了。或者甚至提前一两分钟通知我也行。嗯,但如果我有,嗯,实时推理客户,他们期望我保持在线,嗯,那你也可以中断我,但要在一个月后,也许两个月,也许三个月后。嗯,然后我可以在那段时间内适应那种容量变化。嗯,但你不能在几分钟内就中断我。嗯,所以这两种情况定价不同。它们定价不同的原因是,你愿意花多少钱
17:05 来中断你的批处理任务?这和你愿意花多少钱中断你的,嗯,实时任务是非常不同的。如果你有一个实时任务,当你宕机时,你很可能要向客户支付 SLA 赔偿。嗯,这么说能理解吗?嗯,我明白了。所以这实际上是关于违约退租的市场。这些是违约退租的市场。天哪。然后还有未来租赁的市场,或者说,嗯,关于租赁的。哦,我还以为这是转租之类的情况。这是违约退租。嗯,一种理解方式是,在电力市场中,实际上有两个市场。嗯,一个是日前市场,
17:40 还有实时市场。算力也有类似的情况,嗯,它有即将上线的容量,嗯,或者说即将交付给你的容量。嗯,还有当前正在使用的容量。这两者有不同的价格动态。哦,有意思。是现货升水还是贴水?是 backwardation 还是 contango?对。那么,嗯,算力的远期价格比现货高还是比现货低?嗯,算力远期价格,它是这样走的吗?还是那样走的?嗯,你知道,比如一年后,一年期、两年期的?
18:16 做。哦,这是一个,呃,两者在不同的时候。我觉得很有意思的是你不知道。是的。我是说,两者都有。这取决于你是谁。呃,好吧。那么,呃,我来论证一下。呃,等一下,所以你问的是现在出售的算力?同样单位的算力,今天出售。是的。呃,也许不是今天,也许是一个月后对比一年后对比两年后。这条曲线是上升还是下降?我们看到,有点像一个驼峰。我的天。好吧。那么解释一下,呃,我觉得这在直觉上说得通,基本上就是,如果我有牛奶,而且快过期了,我就会降价出售。是的。呃,我们看到的 basically 就是这种情况。
18:52 这就像是,基本上就是英伟达的发布周期,对吧?呃,我们的意思更多是,如果有一块算力,它正在临近当下,呃,它没法在过去被卖掉。所以它必须降价,才能以某个价格清仓。是的。所以一开始你会看到这样的下降,呃,现在出售的东西,任何现在在市场上的东西,呃,都是还没卖出去的。所以价格会下降。呃,然后它会上涨,呃,涨到它想要的位置。呃,然后也许未来的算力价值更低,呃,因为人们不想要——人们更喜欢现在就得到算力。所以他们某种程度上是在为更短的等待时间付钱。呃,而对于遥远的未来的算力,他们付得更少。
19:28 我认为正常健康的曲线就是这个样子。是的。而让我觉得“哦天哪,怪不得”的地方在于,呃,现在如果你拿一块 B300,尝试用它跑推理,呃,你可以每小时赚 40 美元左右,呃,把它作为推理算力出售。基本上任何模型都行。呃,那是在你 100% 使用它的情况下,也许如果你只有 50% 左右的利用率什么的,那就是每小时 25 美元。是的。所以每小时 25 美元。与此同时,你可以以每小时 5 到 6 美元的价格买到 B300。这两个数字总有一个得变。是的。这是一个巨大的套利机会。这是巨大的套利机会。这个在你的演讲里经常出现。
20:04 是的。所以,呃,很多人基本上都在关注这一点并认为,呃,如果我认为价格会上涨,我可能愿意为未来支付比我之前认为的更多的钱。呃,因为我可能会想,好吧,我现在可以以 5 美元买入,但如果之后买不到了,那么也许我愿意在未来花更多的钱买,只是为了锁定它,如果它之后才会上线的话。所以我们也看到了另一面。呃,某种程度上取决于你是谁。好的。那么,行。而且,我,我只是真的想在这点上说得非常清楚。当然。你们在意不同世代的芯片吗,还是说你们只在意总算力,然后随意分配到任何芯片上?
20:40 呃,我们之所以关心不同代的芯片,是因为……你关心。我想,我猜……你的客户关心吗?关心,对吧。哦,等等。你说不同代的芯片,是指像 B300、B300 那种吗?正是。对。或者甚至是 AMD 什么的,对吧。呃,是的,我觉得大家完全在乎芯片的代数。呃,我觉得部分原因是像显存(VRAM)这样的东西,部分原因是像更大的 NVLink 域之类的。对。所以根本没办法把这一切抽象成某种通用的算力单位,让你可以随意挪来挪去。我觉得,就像你说石油,其实石油也不是千篇一律的。石油实际上就是一堆不同种类的油。
21:16 对,比如航空燃油或者汽车燃油之类的。我觉得是一回事。呃,你会得到一堆不同种类。是啊,但你有炼油厂。对。可以有效地把它当成黑盒,把油倒进去,产出随便什么东西。但如果算力是如此异构——我猜这个词是这么用的——那你就不得不把底层的复杂性暴露给最终客户,这对你作为做市商是不利的。也许吧。你是想找出某一个瓶颈点,或者找个更好的词——就是那种聚集点,大家都同意说:好,这大概就是标准,我们都认同这个标准,然后你知道的,它
21:53 会多少有些低效。是的。呃,我们已经能把这些问题降低到一定程度,但是,对。你的工作就像降维。对。我们降低了很多维度,但尽管如此,维度仍然存在。对,它们还是会存在。你知道你有多少个 SKU 吗?呃,比如 5 乘 100 乘 5000 等于……我不知道。是这样的,我们实际上把 SKU 做成了一个概念,目标是让其他人也能创建自己的 SKU。所以如果我想买 Blackwell,我可以说我愿意
22:31 以每小时 6 美元或更低的价格买 Blackwell。然后你可以拿 GB300 来匹配我,或者拿 B300 来匹配我,我不在乎是哪种 Blackwell,只要低于每小时 6 美元就行。但你刚说你关心显存和别的东西。完全正确,但不是每个客户都在乎。有些客户,呃,用随便什么 Blackwell 都能干活。有些客户则非常非常挑剔,他们就需要某个确切的东西,并且愿意为此付更多钱,因为市场会向他们收更多钱。好的。呃,这就是我们做的事。所以,人们用你的 API 以编程方式定义他们想要什么,然后你把这个需求跟卖家那边可能、可能、可能能够满足的任意组合进行匹配。
23:08 是的。呃,有一点需要说明:命名查询是我们正在做的新东西。不过,查询系统作为概念,正是目前订单簿的运作方式。好的,有意思。呃,好。那么,你知道,我觉得这已经是相当细枝末节了。就你目前发展的算力交易市场而言,有没有什么想向人们普及的,无论对象是金融人士还是工程师?因为实际上是你们在定义这个市场。嗯,主要就是实物结算的要求。是的。呃,我们花了三年时间弄明白为什么需要
23:44 实物结算。呃,而且,我们今天的整个对话就是说,这些东西并不像你以为的那样同质化,我们会努力让它们变得同质化,那是整个行业的任务。呃,但如果没有这个,你会面临很多风险。呃,如果你在行业有时间建立起实物结算之前就过度金融化,我认为你得到的是一个很容易被操纵的市场,以及一个存在很多基差风险的市场,呃,你可能对冲的价格实际上与
24:22 你实际能购买算力的那个价格毫无关系。是的。所以,给听众们说明一下,呃,我们上次简单聊过,但,呃,人们常常惊讶地发现,比如说,信用违约掉期市场的规模是其所保险债券的 12 倍左右,呃,或者像,呃,抵押贷款再保险之类的市场比其底层实物结算规模更大。这就是为什么有实物结算与现金结算之分。是的。而现金结算基本上正是你在《大空头》里看到的那种,呃,侧投,呃,它们
24:59可能与底层事物本身有关,也可能毫无关系,而且可能被用作其他一切的代理。是的。你不希望这个失控。是的。所以要说清楚,我们认为,呃,现金结算作为一个未来的概念是个好主意。是的。呃,我们只是认为它应该从实物结算中推导出来。是的。因为正如你所说,它是一种侧投。呃,这就好比,我是说,就好比你在建立实物结算之前先做了现金期货,呃,我觉得现在人们已经在这么做了。是的,完全正确。在实物结算建立之前,人们就想着从中赚快钱。人们在很多事情上都这么做,包括
25:34 创业公司股票。是的。没错。就像你可以买卖一股虚构的 OpenAI 股票,但这和实际股票毫无关系。是的。呃,其中很多结局都很糟糕。呃,比如,如果你开始出售,呃,一种还不存在的股票的衍生品,那会很糟糕。呃,是的。嗯,我们做的一件事是,我以前是外汇交易员,对吧。是的。呃,也做利率。我们做的一件事是,由一个委员会聚在一起说,这就是伦敦银行同业拆借利率 LIBOR。是的。然后大家都一致同意,这就是每月的定盘价,我们都
26:12 交易到那个定盘价。是的。呃,三年后这还有意义吗?关键在于 LIBOR 曾经被操纵。是的。我们目前担心的。有 12 家银行?对。是的。嗯,我们担心的是存在一个非常类似的问题,就是可以操纵一个指数。嗯,我们的看法是,之所以能操纵那个指数,是因为很多指数都基于非常少的数据量,而这些数据与购买新储备合约的实际价格关联性不大。嗯,这就是我们所担心的。好的。
26:47 有意思。嗯,好吧。我觉得,我觉得这大概就是目前的大致状况了。呃,嗯,我觉得今天要聊的另一部分是,呃,你,你,你提到了一个和 Jump 的活动,而且你和 Silicon Data 是朋友。你从这些其他参与者身上学到了什么?比如,有哪些主要参与者是你想点名说他们在做有意思的事情的?哦。嗯,我们是 Silicon Data 和 Compute Exchange 的忠实粉丝。嗯,我想他们在这个领域也很早。嗯,而且我认为他们正在朝着一条我们看好的路径认真尝试,嗯,我们最终很可能与他们成为合作伙伴。
27:23 嗯,你能区分一下你们不同的路径吗?那么,嗯,简单来说,他们做的是现金结算,我们做的是实物结算。嗯,我们认为两者可以并存,而且应该并存。嗯,而且它们对彼此是相互有益的。嗯,所以完全没问题。嗯,所以我认为他们是最早进入这个领域的企业之一,而且我认为他们非常明确地在其他任何人之前就押注了。嗯,我觉得这非常值得敬佩。嗯,嗯,你提到了,呃,Jump。SemiAnalysis、Jump。这些参与者正在涌现。就像,你是我了解这个领域的第一个渠道。是啊。然后我看到这些其他人都在进场,我心想,好吧,看来这里真的有什么事情正在发生。
27:58 我对整个格局的了解没有你那么清楚。是啊。那么,嗯,我们看到的这几类参与者中,有一类在尝试制定更好的标准。所以我想 SemiAnalysis 正在努力创造更好的标准。嗯,还有人在尝试做残值保险之类的业务。嗯,这个领域有不少不同的公司,我对其中任何一家都不算特别了解,但,嗯,我知道这是一个概念,我认为这很重要。嗯,还有人在尝试做,呃,押品,嗯,借贷,比如为你的云信用风险提供垫资。围绕“如何解决算力的金融瓶颈”正在形成一个企业生态系统。
28:34 嗯,看到这些很酷。我认为在这个生态系统中,你实际上需要的是买家和卖家。你需要一位分析师。你需要,呃,我们说过的保险,或者,呃,那叫什么来着,残值。对。对。我们希望外面有一个健康的生态系统。嗯,但显然你们在负责解决实物结算这个问题,这真的非常有意思。嗯,好吧。那么,我是说,我们可以深入聊聊硬科技那一面,因为显然你们也在招聘,呃,极其顶尖的工程师。是的。描述一下你们的技术栈吧。嗯,我们把云所做的所有事情都做了,只是不
29:10 云。嗯,也就是说我们不拥有硬件。我们不拥有硬件的原因是,一旦我们拥有硬件,我们就能操纵远期市场。所以我们必须当瑞士,必须保持独立。嗯,这给公司带来了很多奇怪的特点。嗯,但要实现实物交割,你就得做实地考察。必须去数据中心。嗯,你必须,呃,你必须设计物料清单并确保,呃,你基本上得做类似供应链咨询的工作,嗯,你要和不同的 OEM 建立关系,确保设备能交付
29:46 准时交付。嗯,然后你还得,呃,做集群架构。呃,也就是你自己设计集群本身。嗯,然后你要,呃,部署机架,或者与合作伙伴一起部署机架并监督这个过程。嗯,然后你要做背板管理。也就是说你要接管,呃,PDU、交换机、DPU,还有 UFM 和 BMC,运营,嗯,你所售节点周围的整套,嗯,设施。你说的是你作为 SF compute 员工的时候。是的。哇。嗯,所以,呃,当你从一家云厂商购买节点时,有裸金属,但裸金属周围还有这一大堆东西
30:23 对。嗯,要让那个裸金属节点跑起来,你得把其他所有东西都运营好。然后我们……因为传统上数据中心的职责就是把这些东西从你身上剥离掉。对。而我们就是做这个的。好的。明白。嗯,但你们并不做数据中心业务,你们不是那种 Equinix 一样的公司。我们不算真正做数据中心业务,嗯,我们合作的方式是,我们提供超算即服务。嗯,也就是说有人来找我们说,你知道,
30:58 我有 X,X 就是,我这边有,你知道,X 兆瓦的电力。有时候他们的意思是我有一个数据中心,嗯,想把它改造成 GPU 集群。比如我的选择是,我可以卖掉这个 GPU 集群,或者把数据中心卖给谁,或者自己变成云。然后我们就对他们说,好极了。嗯,我们来把你变成云。我们负责超算部分,你负责数据中心,我们合作吧。然后我们就能卖出去、赚到钱。嗯,有时候是那些手里有可以改造成数据中心的东西的人,那种情况下我们基本上会把那个项目一直管理到那一层。
31:33 嗯,然后我们会和这些人合作,通过与合作伙伴协作,把他们手里的带电土地,嗯,或者他们拥有的其他东西,改造成数据中心。嗯,然后我们在超算部分接手。好。这要求我们内部具备某种数据中心方面的专业能力,但我们不自建。嗯,是的。所以这,呃,有点模块化,因为你们要在不同的场景下运作。对。呃,有人曾形容我们像是,呃,算力领域的 Palantir,嗯,因为每次都是一场新的牛仔竞技。
32:10 呃,呃,不过,我们,我们与各方深度合作。两边都是。是的。呃,主要是在美国,主要是在美国,但我们的业务遍布全球。是的。那么,SF Compute 会不会在某个时候变成一个名不副实的名字?呃,我们正在世界各地部署集群。是的。当我们这样做时,我们合作的对象本身也在尝试在全球各地构建云。他们看起来像是主权算力玩家。而我们的主权算力方案极具吸引力。呃,让我们帮你在自己的国家建立一朵云。我们会带来旧金山的承接需求,带来旧金山的专业知识。
32:45 我们来搭建集群。这就是我们全部的业务。啊,我们会做到的。你能否说出你主要的、最大的已公布合作伙伴?呃,没有能说出来的。真的吗?哇。呃,我们将在一两周内有一些公告,我们预计会陆续公布。是的。各方面都有吧。当然,当然。祝你好运。是啊。我的意思是,呃,我觉得对每个国家来说,尤其是那些投资主权 AI 的国家,把这件事想明白真的很有意思。呃,而且有意思的是,SF 仍然算是个金字招牌,呃,这是非常具有市场号召力的。
33:20 所以我觉得有趣的一点是深入思考这个市场。NVIDIA 显然是房间里那只举足轻重的大猩猩。为什么他们不自己做 SF Compute?当然,答案还是会归结为市场操纵。但我们不妨真正剖析一下各方的激励。是的。我们的看法是,NVIDIA 自己做不了这件事,但它的存在让 NVIDIA 获益巨大。他们做不了的原因是,那样他们就不够独立,人们就不会在这个市场上交易。如果没有人在上面交易,就没有足够的流动性,让放贷者能以远期市场为抵押提供融资。
33:55 这也是为什么 Crusoe、CoreWeave 和 Lambda,为什么超大规模云厂商做不了这件事,为什么 Base 10、Fireworks 和 Modal 做不了这件事,因为他们在那一边有太多需求。这是一件让整个行业受益的事情,因为它能降低融资成本。但没有人能做这件事,除非放弃承接所有大型推理业务和所有大型云合同的能力。你必须先杀死自己的业务才能做这件事。这就是为什么没人做。从结构上讲,他们就不是为这个而设计的。而你基本上是在降低摩擦,而摩擦恰恰是你全部的收入来源。
34:30 你已经公布了一些里程碑。实际上,我忘了在一开始提这件事。你能再重复一下它们是什么吗,顺便小小地庆祝一下?我们已经完成了数亿美元的交易量。我们有大量新集群正在建设中。而我最感到兴奋的是,我们上线了一大批新功能,让 SF Compute 对平台即服务公司来说变得非常可行。举个例子,我们允许客户对资源进行细分
35:06 他们的 InfiniBand 网络而无需向我们提出请求。很多云服务商,当你去购买时,只会给你一个 InfiniBand 网络。而如果你想重新划分那个 InfiniBand 网络的界线,你需要联系他们,然后他们才会为你做点什么。我们现在可以为客户实时做到这一点,我觉得这非常棒,因为它与市场的契合度很高——你需要能够重新划分配置,以便扩展或缩减你的集群。你会把这描述为虚拟化数据中心并使其可编程吗?是的,我们正在虚拟化数据中心并使其可编程。所有那些如果你拥有
35:43 硬件就能得到的东西,我们都在尝试将其虚拟化,我觉得这对我们来说令人兴奋。有趣的是,上一次发生这样的事情还是云计算的出现,那真的很酷。最后,我想问,你对大家的呼吁是什么?是工程师吗?还是说,把你的供应给我?到底是什么?如果你想拥有一个 GPU 集群,并想获得它的剩余价值,想把它纳入你的资产组合,我们非常乐意与你合作来构建这个 GPU 集群。我们会接管,并负责其中的超级计算部分,
36:18 确保一切顺利进行。我们承担 SLA 的责任。而如果结果证明这是个糟糕的决定,你需要退出那个集群,我们可以立即把那个集群卖给其他人,这样它就不会出现在你的资产负债表上。非常简单的提议。非常感谢你抽出时间。你正在为这个行业做出巨大贡献,我很高兴能成为你的朋友。谢谢。好的,谢谢。就到这里。
来源: Latent Space · latent.space

