跟着这一新方式的提出，很可能会激发AI锻炼范畴的全新变化。出格是对于那些资金无限的草创企业而言，使得他们可以或许更快速地试验取迭代本人的模子，无望正在合作激烈的市场中找到本人的立脚之地。这为AI社区注入了新的活力，也意味着将来会出现出更多的立异方案。

　　正在整个尝试过程中，研究团队仅利用了16个NVIDIA H100进行锻炼，每次跑完尝试仅需26分钟，总成本约为6美元。这一惊人的成果不只展现了模子锻炼的低成本潜力，也为中小企业及AI范畴的新参取者供给了史无前例的机遇。

　　通过高效的AI锻炼，良多公司提拔了本身的手艺，然而这种手艺的壁垒也使得中小企业和草创公司望而却步，难以参取到AI的快速成长中。

　　此外，NVIDIA 也正在积极支撑这一趋向。他们推出了草创加快打算，为全球创业公司供给手艺支撑和融资机遇。正在中国，跨越千家创业公司曾经插手此中，获得了NVIDIA软硬件产物的扣头支撑、市场推广和客户对接等资本。

　　然而，此次的研究打破了僵局。研究人员提出一个简单的实现方式，即正在推理过程中，引入“期待”而非“遏制思虑”的概念。这种改变使得AI模子可以或许进行两次推理，从而核查初度获得的谜底。这一策略不只降低了模子的锻炼成本，同时也提高了模子的机能。

　　为了验证其理论，研究人员动手进行了一系列尝试。他们利用一个小型模子，并从一个包含56，000个示例数据集进行筛选，最终选出了1，000个高效的示例数据。这1，000个数据集正在32B模子上表示出了令人对劲的o1-preview机能，且额外的数据并未显著提拔机能。

　　跟着行业的不竭成长，我们等候看到AI范畴的更新取冲破，也但愿将来有更多的小模子可以或许以更低的成本实现高效的锻炼取使用。我们也将继续关心这一范畴的最新动态。前往搜狐，查看更多。

　　正在这篇新论文中，研究人员起首引入了OpenAI提出的概念——推理时间扩展定律（inference-timescaling laws）。这一理论的焦点正在于，若是大模子正在输出谜底之前可以或许进行更长时间的思虑，那么其最终机能有可能显著提拔。虽然这一理论曾经存正在一段时间，但此前并没有研究给出明白的实施方案。

　　正在切磋这个改革方式之前，我们起首来看一下为何当今的AI锻炼成本如斯之高。大型AI模子的锻炼凡是需要大量的计较资本和时间。从数据预备到模子设想，再到锻炼过程，每一个环节都可能需要数以千计的GPU支撑。出格是正在利用如NVIDIA等高机能硬件时，电费和硬件折旧等费用也正在逐步提拔锻炼成本。加上模子开辟的复杂性，使得全体投入常常正在预算之上。

　　正在人工智能范畴，特别是大型模子的锻炼，保守上被认为是一项成本昂扬的 endeavor，涉及的资金往往高达数百万以至数万万美元。然而，比来一项来自斯坦福大学、大学、艾伦AI研究所及ContextualAI的研究，正正在改变这一切。上周五，这些研究人员正在预印本平台arXiv上颁发了一篇惹人注目的论文，题目为《s1！Simpletest-timescaling》，此中提出了一种超低成本的AI锻炼方式，了整个AI社区。