广州神秘顾客调查公司过热、故障就会一定比例出现

发布日期：2023-12-30 01:42    点击次数：130

广州神秘顾客调查公司

图片起原@视觉中国

全球大模子争霸赛，正股东精深产业应用诉求。但这一年矛盾最卓绝的话题却不是若何用昭彰大模子，而是企业用户对云数据中心、干事器集群，对大算力芯片的海量计较诉求莫得得到充分得志。算力供需矛盾的背后，很遑急的少量其实是算力闲置问题。

据研究机构IDC最新数据，2023年上半年加快干事器市集领域达到31亿好意思元，同比2022年上半年增长54%。其中GPU干事器依然是主导地位，占据92%的市集份额，达到30亿好意思元。同期NPU、ASIC和FPGA等非GPU加快干事器以同比17%的增速占有了8%的市集份额，达到2亿好意思元。

这里的GPU即是面向智算场景的GPGPU（General-purpose computing on graphics processing units，通用图形处理器）。其中大部分市集由英伟达占据，2022年，英伟达A100 GPU芯片供货量垂危，且价钱情随事迁，而在中国市集，在10月新的禁令之前，中国特供版A800和H800 GPU也早已断货。

大模子算力应用基本可分为“测验”和“推理”两个场景。在推理场景，尽管对算力性能条目不高，但当测验好的模子部署到履行分娩中时，会需要精深干事器进行并行网罗计较，推理老本会蓦然进步。

而测验场景所需的算力会更强，这一阶段，神经网罗需要不啻一台干事器进行大领域计较。由于模子测验未必代周期，算力满额意味着GPU卡已毕了100%资源愚弄，但测验任务比较小对算力条目不高，也得占用一张卡，基本处于闲置景色。

据联系分析称，OpenAI在GPT-4的测验中使用了约略2.15e25的FLOPS，在约略25000个A100 GPU上进行了90到100天的测验，其算力愚弄率约为32%至36%。这种算力愚弄率低的情况在业内愈加精深。

钛媒体诱骗战略了解到的情况是，中国正主导构建用于数据处理的高性能通讯网罗，以及多元异构的芯片算力（包括GPU、CPU、以及国产芯片等）的颐养和防守问题。

算力闲置的本色逻辑

昔日十年，散播式云计较构建经典的“削峰填谷”和“资源池化”，以更好地已毕云干事的弹性颐养。这种变化其实也在影响云干事的买卖模式升沉。

一位商榷机构云干事结伙东谈主曾对钛媒体示意，昔日云干事商依靠的恰是虚机忙时和闲时颐养，去得到逾额的利润陈说，也即是“超卖”，此时各家比拼的是谁的颐养本领更优秀。

而大模子场景下，算力需要大领域研究式测验，干事器也无法被切分红单个虚机，若何策划较子和算力颐养，若何得志大模子应用的高性能智算场景，这是云干事商在头疼、大模子创企或其他中小团队在反复提条目的部分。

不少领域践诺者或学术巨匠进行分析，这一挑战也体咫尺大模子平台策划的工程性问题上。

举例，如何进步大领域散播式测验的计较着力一直是大模子预测验的一个中枢问题。绝顶是在履行的AI集群环境中，会存在GPU之间的互联带宽受限或AI干事器之间的网罗互联带宽有限。

大模子参数目强大，意味着对显存的占用也大。昔日小模子的结构不易有用进行计较和通讯，但大模子领域已在TB级别，GPU显存大小基本在80G（以英伟达A100为例），单个GPU无法竣工容纳总共模子测验，选定散播式测验是例必。这也同期导致了GPU通讯问题，由于卡与卡之间存在的通讯支拨，增多一倍卡并不成带来线性的性能加快。

此外，卡数目增多后，过热、故障就会一定比例出现，这每每会导致测验中断、梯度爆炸、算法重跑一遍等，模子测验老本也会居高不下。

钛媒体审视到，业内出现了诸多特地为大领域并行计较策划的高性能散播式测验框架，并随同大模子本领的真切而缓缓翻新。

有人所共知的大数据开辟引擎Spark，专为深度学习开辟的PyTorch，咫尺Pytorch官方也一样开辟了散播式测验框架Accelerate供AI东谈主士使用。而UC Berkeley RISELa开源的Ray（据称亦然ChatGPT背后在使用的框架）和云托管产物AnyScale，微软开源的深度学习库DeepSpeed也备受接待。在从业者看来，尽管散播式测验框架额外多，但主流决策如故PyTorch+Megatron-LM+DeepSpeed。

咫尺在国内也有雷同的散播式测验框架，举例潞晨科技的ColossalAI、一流科技的OneFlow，而关于国内在真金不怕火大模子的头部互联网厂商，神秘顾客技术如阿里的EPL（原名Whale）、华为的MindSpore、腾讯的AngelPTM等，市面上已有的框架并不成竣工得志其诉求，也会策划相应的软件栈用于自己基础法子、硬件法子进行进一步定制和开辟。

提高资源愚弄，散播式还能若何翻新？

基于GPU已毕并行处理是常见技能。大模子测验中存在几种经典的散播式并行范式，分别为活水线并行（Pipeline Parallelism），数据并行（Data Parallelism）和张量并行（Tensor Parallesim）。微软开源的散播式测验框架FastSpeed就分解了这三种并行范式。

波涛信息东谈主工智能软件研发总监吴韶华的倡导是，比拟于经典的三维并用（张量并行+活水线并行+数据并行）表率，源2.0在三维并行策略的基础上提议了非均匀活水并行+优化器参数并行（ZeRO）+数据并行+损左计较分块的散播式计较表率。

这种计较阵势能有用缩小大模子测验经由中关于节点内AI芯片间通讯带宽的需求，有更广的适宜性。对带宽的需求更小，同期也能得到额外高的性能施展。同期诱骗优化器参数并行，进一步缩小内存需求，从而缩小活水澄澈数，最大按捺地合理愚弄计较资源，已毕有储和计较的总体最好性能。

他解说称，传统阵势的内存散播在各个阶段额外不平衡，每每在第一阶段，其内存还是达到GPU上限，模子测验需要更多的计较成就和更长的活水并行，性能也不高。而非均匀活水表率，即是在分歧活水时不再选定均匀分歧阵势，而是凭证内存需务已毕比较均匀的分拨，以得志在有限硬件成就的模子测验。这种阵势可有用缓解活水线头部与尾部的内存瓶颈，让模子在活水并行各阶段的内存占用量散播更平衡。

2023年，波涛信息AI团队接踵研发了OGAI大模子智算软件栈、源2.0大模子，从软硬协同层面去合手续进步基础大模子的智商，同期通过绽开算力发展生态去探索可能陡立的场景。经过考证，源2.0大模子算力集群的线性彭胀着力远高于同类千亿参数大模子。诱骗践诺数据，波涛信息协助客户将大模子测验的GPU峰值着力从30%进步至54%。

抢购算力，还没议论若何用

参照GenAI的举座走向，不管是提高模子参数目，如故提高数据质料领域，算力依旧是支合手大模子智能水平的中枢驱力。要用富余大的算力，去支合手起富余精确的模子泛化。但摩尔定律放缓在阐述某些现实问题：大模子测验所需算力，还是远超硬件加快器的处理速率，同期带来的动力问题、数据中心的能耗问题，还浮于冰面之下。

而中国市集，相较于好意思国举座上如故会有一些差距，主流的算力芯片和加快智商基底本自于英伟达，客户对国产芯片动作备选决策的需求仍然不及。

某辘集底层硬件研发的AI从业者在探讨中对钛媒体指出，“适配王人存在一定的难度，也即是说思要作念这件事就必须有非凡的参加。国产GPU厂商也会议论几点身分：一是用户对国产芯片这件事情的必要性，二是业务想法是否能达成；三是性能是否会有比较大的进步。”

这其实就带来个问题，若是采用适配国产GPU会作念软件适配或更表层的模子智商，例必需要一定的时代，有些企业仍和会过诸多合规渠谈购买芯片。或者，某些使用领域不大的实验室也会选定英伟达的奢侈级产物RTX 4090，这种阵势性价比高，主要用于推理。

不外，这位从业者还审视到，“有些企业囤了许多先进的高性能芯片，但环球订购的第一思法其实并莫得议论到若何使用，或者说关于若何用好这个逻辑上几许存在些问题。”

在新一轮超等周期中，GenAI无疑是企业竞争的要点。企业仍需加大硬实力参加，算力资源优化的同期，也正时刻温柔算法、数据带给模子增强的陡立。

现如今预测验大模子的算法框架依然是基于Transformer经典架构，Transformer上风在于防守了原有轮回神经网罗无法贯通高下文的问题，但Transformer一样存在局限性或者可优化的空间。

正如某AI大模子早期从业者曾对钛媒体强调，“从某些具体落地性上，算法比算力可能更为遑急，咱们会针对场景作念许多算法上的翻新，而这些问题每每是算力防守不了的。在莫得更好算法的时候，你其实是不知谈1000个GPU能带来多大的后果。”

算力，是最大的襄理，也成为最大的挑战。

（作家 | 杨丽）广州神秘顾客调查公司

• 调查公司
• 神秘
• 顾客
• 广州
• 过热