妖精漫画免费登录入口官网,妖精动漫漫画登录页面在线观看免费下载,艳妇臀荡警察乳欲伦交换,艳妇乳肉豪妇荡乳AV无码福利,言言慌的视频 | IVK,亚洲中文字幕在线观看

確定性網(wǎng)絡為AI大模型發(fā)展提供重要支撐

尊敬的各位來賓，大家好！我跟大家分享的題目是“確定性網(wǎng)絡為AI大模型發(fā)展提供重要支撐”。

??? 大家知道，網(wǎng)絡在消費領域取得很大成功以后，現(xiàn)在面臨著一個新的挑戰(zhàn)性機會。這個機會就是互聯(lián)網(wǎng)從消費領域開始進入實體經(jīng)濟，進入AI時代，這樣一個網(wǎng)絡的變革怎樣適應新的需求？這就是一個非?，F(xiàn)實的、非常嚴峻的挑戰(zhàn)。

??? 首先，我們看一看在制造業(yè)、工業(yè)界的需求。IEC圍繞整個產(chǎn)業(yè)界的發(fā)展、人工智能的發(fā)展提出了一些新的確定性標準，包括PLC云化、遠程控制。

??? 能源領域也有一些新的需求，我國電力行業(yè)的二氧化碳排放量占整個能源系統(tǒng)的大概40%，碳中和、碳達峰戰(zhàn)略指標怎樣實現(xiàn)，面臨非常大的挑戰(zhàn)。美國能源部為滿足電力行業(yè)的控制制定確定性的標準，推動研究安全可靠的確定性電力及工業(yè)控制網(wǎng)絡，包括IEC在能源確定性的領域制定和發(fā)布相關的白皮書，這些都說明確定性是下一代網(wǎng)絡必須面對和解決的問題。

??? 剛才我們只是說在消費領域進入實體經(jīng)濟，進入AI人工智能領域需要確定性的網(wǎng)絡，現(xiàn)在發(fā)現(xiàn)在消費領域也需要確定性的網(wǎng)絡。蘋果推出的可穿戴電子設備產(chǎn)品——Apple Vision Pro，有12個攝像頭，5個傳感器，6個麥克風，可以在12毫秒內(nèi)把一幅非常高清的圖像展現(xiàn)在面前，（戴著這種設備）自己在一個屋子里可以看到滿天的星星，12毫秒內(nèi)就會變成挨著大海。這就是確定性網(wǎng)絡在消費領域的典型應用場景，將來尤其是AR和VR這些領域都會提出這樣新的需求。

??? 大模型對算力的需求也有提出更迫切的要求，2012年到2023年，整個算力需求增加了數(shù)十萬倍，而且最近五年就GPU的算力增加了90倍，但整個網(wǎng)絡的帶寬才增加了10倍，這個差距現(xiàn)在預示著將來對整個網(wǎng)絡帶寬的能力、通訊能力提出更高的要求，因為缺口會越來越大。

??? 大家知道，數(shù)據(jù)要素的確權已經(jīng)成為了一個很重要的應用領域，怎么把數(shù)據(jù)要素利用好、管理好，把安全性保護好是非常具有挑戰(zhàn)性的問題。沒有數(shù)據(jù)要素，中國可能在AI方面也會遇到很大的障礙。韓國因為數(shù)據(jù)要素沒有注意保護好，把半導體的設備和制造工藝通過AI的方式流失到國外，通過大模型把很多關鍵數(shù)據(jù)泄露的事故不斷地發(fā)生，所以在數(shù)據(jù)要素的隱私保護方面如果做不好，這些數(shù)據(jù)要素就沒法共享，就沒法流通，所以AI的發(fā)展就會遇到障礙。

??? 算力的發(fā)展是分布在各個地方，不可能集中在一個地方來做算力，電力的問題就解決不了。我們國家東數(shù)西算的布局，怎樣能夠把這種算力布局服務到全國各個行業(yè)、各個大模型？網(wǎng)絡問題怎么解決？這就面臨一個很大的挑戰(zhàn)。遠距離的傳輸最大的技術挑戰(zhàn)，怎樣實現(xiàn)遠距離無損的傳輸？RDMA是一種非常關鍵的技術，微軟的算力中心70%都是用這樣無損的協(xié)議進行互聯(lián)，華為的試驗數(shù)據(jù)顯示，100GE環(huán)境下，8節(jié)點的VGG16模型訓練RDMA性能是TCP的8倍多。

??? 說到新的RDMA協(xié)議，美國2008年就在做一個實驗，就是從東海岸到西海岸，鋪設一條10G光纜，美國橡樹林實驗室就在做這項實驗。實驗結(jié)果顯示丟包率大于1%的時候，傳輸效率下降50%，如果丟包率大于2%，效率下降到0，等于是100GB的帶寬有1%的丟包就變成50GB，如果是20%的丟包就會變成零，數(shù)據(jù)根本傳不過去。為什么？遠距離無損傳輸是一項必須攻克的技術。

??? 因為AI高端芯片對中國的封鎖，中國單點算力的差距跟美國會越來越大。H100的性能我們現(xiàn)在還沒有趕上，GB200又出來了，在網(wǎng)絡方面的能力，GB200相較于H100又有了成千上百被的提升，說明什么問題？每個芯片在互聯(lián)網(wǎng)能力方面大大提升，所以GPU算力跟網(wǎng)絡帶寬的需求量增長的速度，通過NVIDIA的芯片就可以看出，將來對網(wǎng)絡帶寬的需求量是很大的。

??? 美國能源科研網(wǎng)ESnet，2022年10月發(fā)布的ESnet6，第六代的網(wǎng)絡開通。每年業(yè)務量增長55%，大概140個科研網(wǎng)提供服務，而且這個網(wǎng)絡號稱全球最快的互聯(lián)網(wǎng)。主要的功能就是為國家實驗室提供數(shù)據(jù)，包括能源，110億的風電站數(shù)據(jù)節(jié)點通過整個超算中心并行進行計算，包括對新能源的控制和調(diào)度，開展這樣的服務，同時也進行遠距離的協(xié)同訓練，邊緣的算力和本地的算力效率提高30倍，就是協(xié)同的訓練需要1個月，自己單獨訓練需要300個月，都有非常好的結(jié)果。

??? 2022年10月發(fā)布第六代的ESnet6，2023年就要做ESnet7，為什么？發(fā)現(xiàn)了一些新的需求，本來ESnet開通以后運行三五年再啟動下一代網(wǎng)絡，現(xiàn)在啟動以后馬上發(fā)現(xiàn)新的功能的需求。第一個需求就是端到端的確定性，所以對算力網(wǎng)絡來講，確定性是一個非常重要的基礎，可以為海量數(shù)據(jù)遠距離無損傳輸提供關鍵技術支撐。

??? 下面介紹一下確定性技術的研究情況：首先就是網(wǎng)絡架構(gòu)的變革，因為要解決AI的需求，解決實體經(jīng)濟的需求，不是一個單一的技術就能夠解決的，整個網(wǎng)絡的架構(gòu)都要系統(tǒng)性地設計才能解決，但我們的架構(gòu)是服務定制網(wǎng)絡，主導思想就是要解決原來是盡力而為的架構(gòu)，變成一個確保所需的架構(gòu)。原來互聯(lián)網(wǎng)最大的成功就是經(jīng)濟、實惠、方便、靈活，但是盡力而為的。實體經(jīng)濟和AI領域是不確保你的需要，這些工作是沒法進行的。

??? 互聯(lián)網(wǎng)需要大腦，原來互聯(lián)網(wǎng)沒有大腦，只有在設備里面有一個小腦，小腦的功能主要是轉(zhuǎn)發(fā)。原來我們的大腦還是采用統(tǒng)計分析的思路，現(xiàn)在我們要做的是生成式的大腦，就是大腦不斷地通過網(wǎng)絡的數(shù)據(jù)、網(wǎng)絡的大模型提高自己的智能，這是整個網(wǎng)絡最核心的一項技術。

??? 確定性的技術也是在不斷演進，需要整個網(wǎng)絡底層跟光通訊進行融合，因為將來大模型的訓練需要400GB、800GB，甚至將來1.6TB更高的速率。AI大模型有各種維度的需求，有的是大模型，有的是中模型，有的是企業(yè)，有的是個人，都需要算力，各種維度的需求能不能量身定做，滿足每個用戶的需要？數(shù)據(jù)要素也好、大模型訓練也好、推理模型也好，需要不同的帶寬、不同的網(wǎng)絡，自己可以隨時定制，這些是未來AI發(fā)展必須提供的一個功能。

??? 無損傳輸還需要一些相關的技術，400GB無損的網(wǎng)卡，包括整個控制的協(xié)議。通過RDMA技術傳輸效率提高到96%，就是100GB可以達到96GB的帶寬，這些效率對整個AI的算力來講都是非常重要的指標。當然，云原生的算網(wǎng)操作系統(tǒng)，將來的調(diào)度不光是算力，算力要跟網(wǎng)絡的能力匹配起來，一些算力需要網(wǎng)絡更高的質(zhì)量，一些算力就要求比較低，靈活的網(wǎng)絡和算力適配起來進行調(diào)度，這些技術我們都要有所突破。

??? 網(wǎng)絡安全包括很多方面，我就講預防攻擊，如果發(fā)生意外情況，通過DDOS供給網(wǎng)絡，尤其是俄烏沖突以后，這是非常值得關注的領域，我們已經(jīng)突破了10GB以上的防護能力。

??? 下面介紹幾個確定性網(wǎng)絡在數(shù)字經(jīng)濟中的應用案例。

??? 東數(shù)西算采用CENI建設安全新總線，因為三大運營商通過互聯(lián)網(wǎng)提供服務，我們通過安全新總線提供服務，它的傳輸效率和普通互聯(lián)網(wǎng)的效率相比可以提高10-20倍。

??? 西部的算力中心怎么和東部大模型的所在地以及使用西部算力的用戶和企業(yè)提供更好的服務？就像剛才講的需要400GB、100GB、10GB、1GB，能不能提供安全保證、方便、經(jīng)濟、實惠的網(wǎng)絡服務？我們提供這樣的能力，尤其是數(shù)據(jù)要素怎么承載、怎么交流、怎么共享？如果沒有網(wǎng)絡的保證，數(shù)據(jù)不敢上網(wǎng)傳輸和共享，因為搞不好很快就會被國外拿走，尤其是行業(yè)的數(shù)據(jù)，如果沒有可靠的網(wǎng)絡保證，很快就會被拿走，我們在提供這樣的實驗和能力。

??? 我們在長三角的13個地市采用確定性網(wǎng)絡開展服務，山東16個地市也用確定性網(wǎng)絡提供新的、不一樣的服務能力，這些服務能力都有支持當?shù)氐陌l(fā)展。

??? 臨工集團作為龍頭企業(yè)，把上下游的上千個企業(yè)串聯(lián)起來，因為原來企業(yè)只關心自己的智能化改造、網(wǎng)絡化改造，現(xiàn)在整個上下游的產(chǎn)業(yè)價值鏈如果不連通起來就會受到制約，所以在人工智能時代，行業(yè)大模型的發(fā)展就顯得尤為重要。

??? 能源行業(yè)專網(wǎng)也是把新能源和傳統(tǒng)能源形成互補，電力系統(tǒng)和新能源系統(tǒng)，將來如何進行互補，解決他們遇到的問題，現(xiàn)在各個方面都做了很多成功的案例，就是通過確定性的網(wǎng)絡實現(xiàn)。

??? 我認為中國的出路在于行業(yè)大模型，因為通過通用大模型，盡管是一項技術，必須要做，但搞不好通用大模型的差距越來越大，因為AI高端芯片差距越來越大。行業(yè)的數(shù)據(jù)還沒有完全在網(wǎng)上流通，因為在中國行業(yè)數(shù)據(jù)的完整性、系統(tǒng)性是最好的，尤其是在制造業(yè)，如果把這些行業(yè)數(shù)據(jù)利用好，通過行業(yè)大模型產(chǎn)生價值，這是中國發(fā)展新質(zhì)生產(chǎn)力的一個非常好的途徑。

??? 我覺得中國在這方面大有可為，但必須把行業(yè)專網(wǎng)提供出來，否則這些數(shù)據(jù)不可能通過專線，因為成本實在太高了。南京正在開展高速公路提供行業(yè)專網(wǎng)，通過網(wǎng)絡大科學裝置提供切片，提供行業(yè)專網(wǎng)，因為我們的確定性網(wǎng)絡是可以提供成千上萬個專網(wǎng)的公網(wǎng)，像專網(wǎng)一樣的質(zhì)量，公網(wǎng)一樣的方便，靈活和經(jīng)濟性，所以這種網(wǎng)絡的能力可以給行業(yè)專網(wǎng)提供敢流通、敢共享，能夠做到確權，就是支持整個行業(yè)的發(fā)展。

??? AI的機會是任何行業(yè)都沒法回避的領域，盡管有些不同的見解，但AI的大趨勢，我們要做好這一準備。作為未來網(wǎng)絡團隊，我們在網(wǎng)絡方面會不斷地給大家一起提供知識和服務。

AI賦能能源轉(zhuǎn)型 AI推動能源革命

各位專家、各位企業(yè)家，我站在上面腿肚子都在打抖，因為陳升同志邀請我來的時候，我是很膽怯的，我沒有資格來講，因為我不是這方面的專家。今天我是來匯報我學習的體會，里面有很多外行話，請大家批評指正。

??? 抓住能源轉(zhuǎn)型機遇，用好能源轉(zhuǎn)型工具。我學習互聯(lián)網(wǎng)大數(shù)據(jù)AI，這些會變成我的語言。ChatGPT剛出來，通過學習，我就寫了這樣幾句話：ChatGPT是朋友、是助手、是老師、是新人類。因為ChatGPT吃的是全世界的糧食，喝的是全世界的奶水，匯聚的是全人類的文明，集中的是全人類的文化，ChatGPT要干什么？創(chuàng)造新文明，創(chuàng)造新人類。

??? 大家都知道GPT4來了，語氣、語調(diào)、語速、語音、語義宛如自然生成，眼耳鼻舌身，儼然一活人，與你一起笑，與你一起哭，人力人體在線同步，進入網(wǎng)絡新時代。

??? AI是新時代的必修課，AI是新時代的基本功，不懂得AI就是新時代文盲，不學AI就要被時代淘汰。AI正在賦能能源轉(zhuǎn)型，AI必將推動能源革命。

??? 人類在第二次走出非洲，SORA是人類走出非洲的一聲禮炮。歷史的天空，興旺誰人定，盛衰豈無憑，一頁風云散，變幻了時空。

??? Altman說，我們欠自己和未來的人們一個更好的世界，OpenAI的團隊要干什么？他們在實現(xiàn)我們共產(chǎn)主義的理想，他們是共產(chǎn)主義的實踐者，需要人類富裕、世界美麗。Transformer是人類思想的一次大爆炸，抓住人工智能就抓住了未來。

??? 人工智能就是第四次工業(yè)革命，第四次工業(yè)革命滾滾而來。中國怎么辦？是擦肩而過還是被拋棄？以數(shù)字化培育新動能，用新動能推動新發(fā)展，以新發(fā)展開創(chuàng)新輝煌。我到處在呼吁，能源行業(yè)要強化利用人工智能。人工智能就是算力+能源，東數(shù)西算工程也是大數(shù)據(jù)+能源。世界進入清潔能源新工業(yè)時代，我們要做地球的好兒女，當合格的生態(tài)人。

??? 聯(lián)合國2030年可持續(xù)發(fā)展議程第七個指標是能源，可負擔、可靠、可持續(xù)。烏克蘭戰(zhàn)爭以后，我加了一句話：可及。地球很危險，人類沒有出路。如果不終結(jié)化石燃料時代，人類將付出自己生命的代價，這是COP28下的結(jié)論。聯(lián)合國秘書長講過，人類已經(jīng)打開了通往地獄的大門，高雯正在產(chǎn)生可怕的影響。

??? 人類發(fā)展的進步取決于兩個問題：科技創(chuàng)新和發(fā)明、能源的控制和利用，推動人類的文明合理進步?？v觀人類歷史，人類文明的每一次重大進步都伴隨著能源的改進和更替，這次能源的更替必定將把我們帶入社會主義生態(tài)文明新時代。

??? 高質(zhì)量發(fā)展是中國式現(xiàn)代化的本質(zhì)要求，綠色化是高質(zhì)量發(fā)展的底色。綠色化謀生存，數(shù)字化圖發(fā)展。綠色化和數(shù)字化是人類可持續(xù)發(fā)展的必由之路，是建設現(xiàn)代化國家的必由之路，是現(xiàn)代化國家的重要標志。綠色化是高質(zhì)量發(fā)展的內(nèi)在動力，數(shù)字化是高質(zhì)量發(fā)展的新型動能。未來能源是什么？現(xiàn)代化能源要現(xiàn)代化能源人。兩化怎樣融合？瓦特實現(xiàn)數(shù)字化，能源實現(xiàn)比特化，瓦特比特一體化，比特加持瓦特行。

??? 科學無盡的前沿，視野無盡的擴展，人類無盡的進化，認知無盡的未來，認知的停頓就是人的死亡。問題來源于對手，靈感來源于對手，認識來源于對手，創(chuàng)新來源于對手。

??? 看未來，看現(xiàn)在、看生態(tài)、看安全。科技決定能源未來，科技創(chuàng)造現(xiàn)代能源。未來科技的發(fā)展不取決于對資源的占有，取決于能源高科技的突破。這是溫家寶總理2012年1月15日在阿布扎比第五屆國際能源大會上的講話，總理講的就是總理的。

??? 大數(shù)據(jù)時代，每一秒鐘都在重新標注世界。動蕩的時代，關鍵是不能按照原來的邏輯采取行動。新的科技帶來新的文化，新的文化帶來新的世界，新的世界帶來新的視角，新的視角帶來新的思維。

??? 我認為，互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能根本上是改變我們的思維，讓我們重新認識世界，重新認識人類，重新認識宇宙，重新認識自己。

??? 數(shù)字能源時代、高維度能時代、太空能源時代、綠色能源時代、永續(xù)能源時代。先進科技思想若無先進的通信手段支撐，很難深入人心。先進科技主張若無快速多樣的通信技術傳播，便無法有效進入生產(chǎn)生活經(jīng)濟社會各個領域。“十四五規(guī)劃”講的就是數(shù)字能源，無窮大的電力支撐AI，未來的電力系統(tǒng)是什么？碳中和是標志，分布式是基礎，數(shù)字化是經(jīng)絡，智慧化是共享。

??? 未來的電力系統(tǒng)依靠氫能、靠儲能、靠智能。

??? 數(shù)字化正在重構(gòu)人類能源，我們需要數(shù)字能源大腦、電力能源大腦，數(shù)字是能源、算力是引擎、算法是舵手、安全是保障。

??? 我們正在進入新的電能時代、新的電氣時代、新的電驅(qū)時代、新的電力系統(tǒng)、確定用戶為本、實現(xiàn)凈零排放。中央提出建設源網(wǎng)荷儲希望發(fā)展，能源革命中很重要的就是上中下游幫助別人實現(xiàn)數(shù)字化轉(zhuǎn)型，這樣能源才能轉(zhuǎn)型，才能建設能源互聯(lián)網(wǎng)。只有幫助合作伙伴取得成功，自己才能取得成功。讓別人無路可走，自己研究無路可走。

??? 當前是一場前所未有的認知革命，徹底打破人們的思維慣性。為了電力系統(tǒng)平衡，我認為要做到四句話：弄清自變量、平衡應變量、調(diào)控可變量、納什新平衡。

??? 未來電力系統(tǒng)需要做到四個永不：永不中斷的能源、永不中斷的網(wǎng)絡、永不丟失的數(shù)據(jù)、永不丟失的誠信。

??? 任何時間、任何地點、任何人、任何設備、任何網(wǎng)絡都能夠?qū)⑽覀儙У轿锢硎澜绾吞摂M世界，享受智能化的生活。未來的能源系統(tǒng)、電力系統(tǒng)可以這樣歸結(jié)：萬物互聯(lián)網(wǎng)，處處區(qū)塊鏈。萬物Token，事事新合約。設備全智能，后臺發(fā)指令。資源講平衡，生產(chǎn)講自主。消費講共享，社會講自治。數(shù)字經(jīng)濟興，貨物天下通。互聯(lián)又互通，全球一家親。我的數(shù)據(jù)我做主，自由人住聯(lián)合體，白日做夢夢成真，桃花源里可耕田。

??? 未來電力系統(tǒng)和能源系統(tǒng)將由三維度走向四維度，三要素走向四要素，源網(wǎng)荷走向源網(wǎng)荷儲，建設新的電力生態(tài)系統(tǒng)，建設新的能源時代系統(tǒng)。過去是即發(fā)即送即用，未來是即用即送即發(fā)。

??? 真正改變世界的是生態(tài)系統(tǒng)，而不是某一項技術。烏克蘭戰(zhàn)爭之后，我寫了四段話：沒有一個士兵孤軍作戰(zhàn)，沒有一臺設備單獨運行，沒有一個零件不會說話，沒有一個行業(yè)不能跨界。數(shù)字化不再是一種選擇，而是成為一種必然，它將決定未來的形態(tài)。數(shù)字素養(yǎng)是基本人權，收集數(shù)據(jù)是一種意識，使用數(shù)據(jù)是一種文化，開放數(shù)據(jù)是一種態(tài)度，挖掘數(shù)據(jù)是一種智慧。

??? 全球數(shù)字化，人類比特化，萬物互聯(lián)網(wǎng)，人人互聯(lián)網(wǎng)，生物人數(shù)字人，現(xiàn)實人虛擬人，人生人機生人，如影所隨，數(shù)字一生。對歷史不要說如果，對未來不說不可能。數(shù)字化時代真的開始了，戰(zhàn)略不是研究未來要做什么，戰(zhàn)略研究做什么才會有未來。

??? 蘇格拉底說過“我知我無知”，現(xiàn)在有領導干部牛逼得很，以為自己什么都知道，實際上不知道。我知我無知不是妄自菲薄，而是應有誠實，不是自我貶抑，而是自知之明，不是自稱美德，而是起碼教養(yǎng)。世界為何樣，誰人能知曉？盲人摸大象，冰山識一角。

??? 我們不只是繼承了父輩的地球，而是繼承了兒孫的地球。人人知道有來年，家家盡種來年谷，人人知道有來生，何不修取來生福？做地球的好兒女，當合格的生態(tài)人。能源革命的根本目標就是建設能源生態(tài)體系，促進能源生態(tài)文明，根本目的就是為中國人民謀幸福，為中華民族謀復興。黨的十九大以后，人民需要新的三高，不是高血糖高血脂高血壓，人民需要高顏值、高素質(zhì)、高品質(zhì)。讓人民過上好日子是共產(chǎn)黨人一切工作的出發(fā)點和落腳點，所以推動能源革命，實現(xiàn)能源革命，實現(xiàn)雙碳目標，就是能源人的不忘初心，牢記使命，讓人民過上好日子。

心中有信仰，腳下有力量，不忘初心，方得始終。共建人類百花園，各美其美是智慧，美人之美是胸懷，美美與共是文明，天下大同是理想。讓我們發(fā)展自己的大數(shù)據(jù)、AI、互聯(lián)網(wǎng)，為人類建設美麗的百花園！

?

（完）

高能效算力芯片的發(fā)展趨勢與思考

尊敬的各位嘉賓、各位專家，大家下午好！非常高興能夠代表我們團隊來到大會進行分享。我叫朱建峰，來自清華大學集成電路學院，是魏少軍老師領導的可重構(gòu)計算團隊。

??? 前面已經(jīng)聽了劉院士和徐教授的報告，學習了很多東西，收獲非常大。我們了解到能源和智能是未來發(fā)展非常重要的，需要考慮的因素。我們團隊主要做的是芯片設計，因此我們會從自己的設計角度考慮，我們怎樣為能源的問題提供自己的解決方案，也對現(xiàn)在高能效的算力芯片如何發(fā)展提出一些自己的思考和分析。

??? 圖中是全球總的數(shù)據(jù)量，我們生活在信息化的社會中，所有互聯(lián)網(wǎng)上獲得的信息，經(jīng)過各種攝像頭、傳感器產(chǎn)生的信息都是非常大量的，需要處理的信息。去年這些信息就已經(jīng)超過100ZB，我們一般說GB、TB、PB、EB到ZB，這就已經(jīng)是非常多的數(shù)量級，處理算力的需求也提出了更高的要求。

??? 隨著AI訓練的發(fā)展，我們對AI算力的需求也是不斷提高。圖中是通過更高更好的工藝，現(xiàn)在我們用不了7納米、5納米的工藝，工藝的發(fā)展能夠帶來多少？就是摩爾定律每兩年翻一番，但AI的需求是每兩年750倍，這已經(jīng)是不能單單依靠工藝的進步提高的事情，所以對算力的需求必要性也是非常高的。

??? 算力的需求在全球都是非常熱門的方向，美國總統(tǒng)顧問委員會提出要做一臺ZB級別的計算機，說明對算力的需求已經(jīng)達到ZB級別的水平，OpenAI提出7萬億美元的計劃，就是做算力芯片，需要達到ZB級別，超過7萬億美金才能實現(xiàn)，這可能是很宏偉、過于激進的計劃，但反映出對算力的需求是永無止境的，一些學術機構(gòu)也在追求更高算力。

??? 馬斯克提到AI計算第一年可能是芯片的短缺，但很容易發(fā)展到下一個周期，短缺的就是電力和變壓器，再到明年就沒有足夠的電力驅(qū)動所有的芯片。

??? 圖中就是對能源算力的制約，而從芯片的角度怎樣去做？這些就是我們需要討論的問題，怎樣去做高能效的算力芯片。

??? AMD總裁Lisa Su在去年集成電路的奧林匹克大會上做了一個分享，指出我們需要真正實現(xiàn)未來的高算力，需要的不是性能，而是高能效的計算芯片，考慮的就是目前算力最高的超級計算機Frontier，能量效率達到50GFlops，但未來計算需要達到2T甚至更高，大概就是20-30倍的提升。這里給出的路線有三種：工藝的進步，通過更先進的工藝實現(xiàn)工作頻率的提升。架構(gòu)的優(yōu)化，這是芯片設計需要做的事情。更新型的存儲和互聯(lián)，提高我們的數(shù)據(jù)帶寬。頻率、算力密度和數(shù)據(jù)，構(gòu)成我們提高算力最主要的三個因素。

??? 怎樣從工藝中獲得更高的能源效率？我們可以使用更高的集成電路工藝，通過集成電路和架構(gòu)技術減少關鍵路徑的延遲，提高芯片的性能。如果我們不通過架構(gòu)的改進，只是通過電路和工藝的改進，很早就已經(jīng)達到了極限。大概2000年到2010年左右就已經(jīng)達到了停滯的狀態(tài)，現(xiàn)在我們用的CPU、GPU的頻率都是2GB、3GB，已經(jīng)沒有辦法做得更高，主要是由于功耗和散熱的限制，所以通過工藝提升性能已經(jīng)達到極限。

??? 提高單個CPU的性能主要是主頻和多發(fā)射，需要進行更多的流水線，包括最開始的5級流水線到30多級流水線，為什么現(xiàn)在又回到了10多級流水線？大家發(fā)現(xiàn)我們提高性能沒有用，必須提高能量效率，而提高再多的流水線級數(shù)并不能夠帶來更多的能效提升，所以從CMOS工藝達到極限，這也是摩爾定律已經(jīng)快要結(jié)束的情況。

??? 除了工藝以外，我們在架構(gòu)上可以做哪些事情？圖中就是從各種文獻中討論的主流三種計算芯片的問題。CPU計算資源占比只有0.1%，大家可以想像就在800平米的芯片，可能只有不到8平方毫米的芯片在真正計算，其它地方的東西都是在保證能夠更快的速度計算。GPU會比CPU更好一些，因為可以做并行，但因為是指令驅(qū)動的東西，所以效率仍然是低于40%，一般的話可能只有20%的水平，利用率也是非常低的。FPGA是更加靈活，利用率只有5%左右。云端的幾類主要芯片都是受限于在硬件上的利用率，所以能量效率其實還是存在很大問題的。

??? 我們怎樣做成能源效率更高的芯片？專用芯片，能量效率非常高，但靈活性是非常差的。我們做這樣的芯片，如果不能被廣泛地使用起來，不能銷售更多的數(shù)量，成本就是沒有辦法接受的，也就是失去意義的東西。我們需要做的是表上兩個維度的均衡，希望兼顧更多的領域，同時達到更多的能量效率，能夠達到兼顧更多結(jié)構(gòu)的優(yōu)化。

??? 如何從新的架構(gòu)、新的存儲、新的封裝、新的工藝、新的互聯(lián)尋找提高能量效率？達到每秒計算1TB、10TB這樣的算力，但供給數(shù)據(jù)的部分就成為了瓶頸，綠色的線就是從存儲器里面的計算單元，帶寬和真正計算的能力已經(jīng)隔了非常大的Gap，而這個Gap就是我們需要考慮彌補的東西。

??? 我們計算的時候需要把數(shù)據(jù)搬進來，不僅是通過DRAM，也是需要通過互聯(lián)從外部搬進來，無論是外部IO還是DRAM，Gap都會是我們現(xiàn)在面臨的一個巨大的問題。我們有這種計算能力，但沒有這么多數(shù)據(jù)。一次計算的能耗其實遠遠小于搬一次數(shù)據(jù)的能耗。DRAM里面搬一次數(shù)據(jù)的能耗是把數(shù)據(jù)完成一次計算，消耗能耗的6000多倍，很多能耗根本不需要真正擔心算力沒有達到，而是計算和存儲之間不夠緊，計算和IO之間不夠緊，計算之間連接的不夠。

??? 現(xiàn)在主流的方向就是新型的存儲和封裝，把計算和存儲放得更近一些，存儲里面讀取數(shù)據(jù)的功耗降得更少。我們看到這樣的發(fā)展方向，包括現(xiàn)在最流行的GPU各個加速芯片都會用到的高速存儲，把存儲和計算的距離通過先進封裝的方式拉得更近，通過走線拉得非常短，使得功耗能夠降低。

??? 我們把計算邏輯和存儲邏輯通過封裝的方式放得更近，這也是一種方法，然后就是通過存內(nèi)計算，這是現(xiàn)在非常流行的做法，就是在存儲單元里面計算，甚至不需要把數(shù)據(jù)從存儲器芯片里面搬出來。通過在工藝上減少計算邏輯和存儲的物理距離和開銷，包括減少延遲，真正實現(xiàn)剛才提到的高能效的目標。

??? 現(xiàn)在一個比較特殊的路徑就是晶圓級別的芯片，基本思路是什么？我們需要獲取芯片的數(shù)據(jù)，需要通過網(wǎng)絡和PCIe高速互聯(lián)獲取，要是能夠更好地把更多的芯片在更小的面積集成，我們就不需要經(jīng)過大量的網(wǎng)絡和高速串口進行數(shù)據(jù)的搬運，通過這樣的方式在一顆大的晶圓把很多芯片集成上百顆，形成這樣大的系統(tǒng)，通過IO和互聯(lián)把功耗降到最低。

??? 總結(jié)一下國內(nèi)外最新的產(chǎn)品和技術路線。

??? 看一看NVIDIA的GPU架構(gòu)演化，不考慮工藝簡化，只考慮架構(gòu)提高。我們把NVIDIA的GPU分為三個時代：2016年前都是向量計算（Vector），只有二維的向量，典型產(chǎn)品就是Pascal架構(gòu)，最主要的創(chuàng)新就是通過先進封裝可以提供更大的存儲帶寬，讓計算更快地獲得數(shù)據(jù)，也就是近存計算的模式，能夠?qū)⒏叩幕ヂ?lián)帶寬實現(xiàn)算力提高，同時把功耗控制。2017年到2020年是深度學習的時代，包括CNN、RNN，各種深度神經(jīng)網(wǎng)絡的東西都出來了，所以向量計算是不夠的，增加專用量的計算單元，可以優(yōu)化神經(jīng)網(wǎng)絡中需要的矩陣和預防，通過這樣的方式為神經(jīng)網(wǎng)絡進行更多的加速。V100開始增加Tensor Core，對此進行功耗的節(jié)省，所以就增加更低精度、更結(jié)構(gòu)化的優(yōu)化。2022年開始就是生成式AI大模型時代，跟前面深度學習的時代主要在于以Transformer模型為主要基石進行加速，更加規(guī)律，規(guī)模更大，因此精度上考慮更低精度、更快速的推理，引入更多的精度，去做更快的計算，通過降低精度降低功耗，GPU架構(gòu)發(fā)展為了高能效做了很多改變。最后就是Blackwell架構(gòu)，主要在于FP6、FP4甚至更低的FP2，超低精度的方式來做大模型，通過這種方式降低功耗，消耗更少的能源。

??? 可以看到B200沒有很大的性能提升，相比H100提升非常不明顯，就是通過B200兩顆芯片封裝，單顆性能提升已經(jīng)達到非常大的極限，功率上會有光罩大小的極限，工藝發(fā)展已經(jīng)達到4納米以下，成本很高，獲得的收益也很小。解決方案就是多個芯片、多個管線的封裝，通過更多的管線封裝在一起提高性能，B200就是B100性能的2倍。其它的有存儲數(shù)據(jù)、NV-Link都是按照幾倍的速度發(fā)展，但NVSwitch今年提出500多個GPU，提供這樣一個大的集群，目的也是為我們應用的大模型考慮。

??? 最開始的FP64、原來的Vector、再到BF16、TF32、DPX這些非常專用的，面向基因和其它高性能計算的指令集，加上FP6和FP4都是可以通過架構(gòu)更新實現(xiàn)能效的提升。

??? 除了GPU之外，現(xiàn)在的初創(chuàng)公司還有一個非常多的路線就是專用AI芯片，2015年開始Google推出TPU v1版本，用的不是GPU SMT單指令多數(shù)據(jù)的方式，而是二維的，好處就是更加專用化，能夠通過在架構(gòu)上的優(yōu)化達到更高的能量效率。Google提出做這樣的架構(gòu)能夠比GPU能效提高數(shù)倍，用更少的能量做到一樣的性能。

??? 2019年，晶圓級別的加速引擎出現(xiàn)，就是在單個晶圓集成多個芯片，減少IO功耗提升整個集群的算力和能效。美國獨角獸公司的思路是可重構(gòu)計算，通過改變GPU架構(gòu)實現(xiàn)計算量效的提升?？梢钥吹皆诩軜?gòu)上有更多的專用，可以做到更有力的特性。

??? 我們總結(jié)了幾家初創(chuàng)公司在架構(gòu)、存儲和工藝上的特點，剛才已經(jīng)提到了一些，體系架構(gòu)基本上都是擯棄GPU的方式，主要采用的都是Data Flow數(shù)據(jù)流的方式。

??? 以上就是我的報告的全部內(nèi)容，謝謝大家！

?

?

算力+數(shù)據(jù)——AI原生世界的基石

非常感謝各位領導、各位嘉賓、各位朋友蒞臨本次會議，也非常高興有機會和大家分享矩陣起源和世紀互聯(lián)在AIDC方面的合作和進展。

??? 矩陣起源2021年開始創(chuàng)業(yè)，從創(chuàng)立到現(xiàn)在所有事情都是圍繞數(shù)據(jù)來做的，但這一年發(fā)生了很大的變化。

??? AI原生自2023年10月ChatGPT3.5發(fā)布以后又爆發(fā)了一個新的Hype，核心標志是人機交互界面的全面優(yōu)化。我還記得發(fā)布的時候，我的整個朋友圈都爆了，因為這完全是用自然語言實現(xiàn)人和機器的交互。時間來到十幾個月以后的現(xiàn)在，我們看到當時的想象力是遠遠不夠的。大模型和之前幾波AI浪潮結(jié)合起來的應用、創(chuàng)新，包括數(shù)字人、數(shù)字孿生、AR和VR、生物醫(yī)藥結(jié)合起來以后，爆發(fā)出了比當時剛發(fā)布的時候還要大出百倍的力量，影響到了整個行業(yè)。

??? 原來我在騰訊云負責大數(shù)據(jù)和人工智能，在上一波浪潮的時候，我們經(jīng)常說AI的瓶頸是什么決定？是由數(shù)據(jù)、算法和應用場景再加上算力，因此，需要用合適的算力搭載合適的數(shù)據(jù)，用優(yōu)秀的算法做出一個模型，最后找到合適的場景落地，這些是我們當時經(jīng)常強調(diào)的。

??? 今天我們發(fā)現(xiàn)一個很有意思的問題，數(shù)據(jù)、算法、應用場景、算力以外又多了一個電力。現(xiàn)在Microsoft、OpenAI和Meta用電量已經(jīng)接近甚至趕超了一個歐洲小國，而且還在持續(xù)加速。這里就有一個很有意思的問題，如果說2016年，我們的軟件和AI應用只需要考慮怎么用，但現(xiàn)在得再往上走，想一想電力怎么調(diào)度。

大家都知道 GPT就是Generative Pre-trained Model，Transformer加上Scaling Law激發(fā)了這一波浪潮，但這對算力產(chǎn)生的影響是什么？以前都叫做摩爾定律，GPT出來以后不再是每18個月，每幾個月就會翻1倍，而會變成每18個月可能會翻10倍，因此算力需求的增長遠超以往。舉個例子，GPT3.5當時是用H100，1萬張芯片實現(xiàn)的，大家就已經(jīng)很驚嘆了；而GPT4是用3萬多張芯片。為什么OpenAI要搞7萬億美元的融資？據(jù)說GPT5需要10萬張H100。大家都在這個行業(yè)，知道3萬張H100意味著每天的消耗量和成本是1個億，需要6-8周訓練1個模型。可以想像一下，40-60億元人民幣才能迭代出一個新的模型，算力瓶頸如果持續(xù)存在，可以看到一個會嚴重制約AI發(fā)展的因素：要是每兩個月才能迭代新模型，可能回到二三十年前的開發(fā)模式，現(xiàn)在敏捷開發(fā)都是按天迭代，但是AI大模型退回兩個月迭代一次，其實這非常限制AI在各行各業(yè)的落地。

??? 為什么這一波AI浪潮比上一波更加吸引人，更加有機會？因為上一波深度學習以后，大家都在找場景，找到合適的，能夠使用AI的場景。現(xiàn)在大家都知道安防，大模型剛誕生的時候就已經(jīng)有場景了，換句話說就已經(jīng)能夠賺錢了，但依然還有很大的問題。我們都知道大模型繼承于深度學習，所以有一個問題，就是一個黑盒子，這些賺錢的場景能不能擴大？每個賺錢的場景里面能不能賺得更多？需要知道哪個大模型更好，哪個大模型更有優(yōu)化空間，也需要知道大模型怎么使用。雖然大模型應用已經(jīng)百花齊放，但還有更多的空間需要更多的機會發(fā)掘，這也是前面陳升董事長提到的：我們還是處于Pre-AI時代。

??? 矩陣起源和世紀互聯(lián)的合作是強強聯(lián)合，本質(zhì)上是形成了一個共識。軟件創(chuàng)造價值一般都是降本增效創(chuàng)新，以前AI時代之前，降本增效創(chuàng)新鏈路主要是人，本質(zhì)是怎么節(jié)約人力、流程、時間、增加效率。IDC領域正在發(fā)生變化，因為70%的價值已經(jīng)在算力上了。去年一年全世界AI領域的融資是800多億，80%拿去購買NVIDIA的卡，軟件如果要創(chuàng)造價值，從矩陣起源的角度就必須找到最有機會創(chuàng)造價值的領域。我和陳升董事長是有這種共識的，一定要軟硬一體，軟件也要向價值鏈條的上游和下游延展和傳遞。我們本來是以數(shù)據(jù)為核心的公司，因為當前場景發(fā)生了變化，我們就必須要考慮怎樣把軟件技術能力放在價值鏈最大的環(huán)節(jié)，所以就一拍即合。

??? Neolink.AI是在世紀互聯(lián)這么多年的行業(yè)積累，及現(xiàn)存的算力上全新搭建的軟件系統(tǒng)，是由矩陣起源開發(fā)的MatrixOS，包含幾個組件：

??? MatrixDC是算力調(diào)度和納管平臺，以前有個詞叫做Software defined Data Center，現(xiàn)在是Software defined AI Data Center，可以針對性地滿足客戶的需求。

??? 我們內(nèi)部把專注于高性價比、能夠快速完成大模型迭代的GPU集群，稱之為Large GPU Cluster，幫助100B大模型訓練時間縮短到6周以內(nèi)?？蛻羧绻釉谝馄胶?，想要國產(chǎn)芯片或推理芯片、訓練芯片結(jié)合降低成本，世紀互聯(lián)可以和我們提供GPU Cluster，滿足用戶端到端網(wǎng)絡傳輸?shù)捏w驗，同時具備足夠好的地理位置，讓用戶可以訪問和加載數(shù)據(jù)。

??? Flexible GPU Cluster主要作用是幫助客戶用最低時延、最好方式進行大模型推理。

??? MatrixOne是我們過去幾年致力于開發(fā)的軟件，大家都知道1ZB是10萬億億Byte，但GPT訓練的時候數(shù)據(jù)量是幾十TB。GPT的訓練數(shù)據(jù)是要從160EB的數(shù)據(jù)中寨選出來，清洗和標注成幾十TB再拿去訓練，所以數(shù)據(jù)的挑戰(zhàn)也是非常大的，比如：怎么管理海量數(shù)據(jù)，海量數(shù)據(jù)到有價值的知識數(shù)據(jù)沉淀的過程成本能不能降下來等。

??? 基于矩陣起源部署在世紀互聯(lián)數(shù)據(jù)中心的算力調(diào)度平臺，我們把MatrixOne加載在上面，讓我們對客戶的服務可以更進一步，也讓客戶從互聯(lián)網(wǎng)數(shù)據(jù)到物聯(lián)網(wǎng)數(shù)據(jù)以及企業(yè)軟件數(shù)據(jù)都能夠在一個平臺上實現(xiàn)自動化管理，同時還能夠更加高性價比地使用，不管是企業(yè)交易還是分析或是AI。

??? 但這些夠不夠呢？我們認為不夠，我們還需要幫助客戶打造更加全鏈路的解決方案，所以開發(fā)一個新的產(chǎn)品叫做MatrixGenesis。我們已經(jīng)有了算力平臺MatrixDC、數(shù)據(jù)平臺MatrixOne，具備了一個很好的地基，但是對很多客戶只有一個好的地基還不夠，他希望有更好的交鑰匙工程。通過MatrixGenesis可以實現(xiàn)推理服務，把大模型評測、診斷、優(yōu)化、Finetune的能力全部內(nèi)置在平臺，通過MatrixGenesis可以大幅度縮減開發(fā)AI應用的時間，降低落地的成本。

??? MatrixOS是矩陣起源開發(fā)的開源軟件，它和世紀互聯(lián)合作的平臺叫做NeoLink.AI，也是秉持開放的理念。NeoLink.AI未來不僅連接世紀互聯(lián)自有的AI算力，目標是未來三年能夠滿足世紀互聯(lián)規(guī)劃的10萬卡算力。世紀互聯(lián)和矩陣起源會把平臺開放出來，希望和所有合作伙伴，不管是算力的提供者還是數(shù)據(jù)的提供者，或者是算法模型的提供者，最后的應用開發(fā)者，我們都能夠聚集在這樣的平臺。

??? 大家都知道單卡算力其實已經(jīng)是被限制了，需要有更多的人去網(wǎng)絡化提供算力，所以NeoLink.AI也會開放出來各種各樣的接口，讓算力合作伙伴、各種合作伙伴都能夠把他們的能力在NeoLink.AI體現(xiàn)出來。

??? 非常感謝大家，希望開源社區(qū)合作伙伴都加入到NeoLink.AI這樣的AI Native的創(chuàng)新社區(qū)。

超大規(guī)模智算集群設計與實踐

各位領導、各位嘉賓，大家下午好！我是基流科技的創(chuàng)始人胡效赫?；魇侨ツ陱膶W?？萍汲晒D(zhuǎn)化出來的一家快速發(fā)展的創(chuàng)業(yè)公司，現(xiàn)在成立大概一年多一點，專注在做中大型的計算集群建設和運維，包括高速的網(wǎng)絡互聯(lián)通信、算力的調(diào)度和優(yōu)化。目前已經(jīng)實現(xiàn)百卡、千卡到萬卡的互聯(lián)，也正在做10萬卡互聯(lián)的解決方案。去年我們累計到現(xiàn)在是在清華校友，累計做了10個左右的集群，目前大概是1.7萬張卡，今年Pipeline可以做到3萬卡以上的規(guī)模。

??? 下面我從三個方面分享在超大規(guī)模智算集群方面的演進：算力網(wǎng)絡演進趨勢、實踐經(jīng)驗、廣域網(wǎng)訓練方面的進展。

??? 大模型時代從去年到現(xiàn)在已經(jīng)一年左右的時間，未來基礎設施就是算力和網(wǎng)絡直接構(gòu)成的，每一臺GPU是每一臺的算力，把網(wǎng)絡加上以后會變成集群?；ヂ?lián)網(wǎng)到算力網(wǎng)，無論是帶寬、時延還是擁塞程度，業(yè)務流量會發(fā)生非常大的變化，在這種情況下就是和原來互聯(lián)網(wǎng)相比采用更高速的協(xié)議發(fā)展邏輯，通過RDMA機制替換TCP。超算到云計算十年的發(fā)展時間，我們陸續(xù)支持在通用的以太網(wǎng)上實現(xiàn)高速、遠程內(nèi)存訪問的機制，帶寬、協(xié)議到機制。

??? 整個大模型基礎設施的變化會更加復雜，這也是整個大模型基礎設施的演進全流程圖，包括硬件站和軟件站。我們可以看到除了GPU以外，涉及到的東西還是非常多和非常復雜。這里引用OpenAI基礎設施負責人的一段話：“我們只拿到1000張卡和1萬張卡沒有辦法把集群調(diào)試完整，需要經(jīng)過大量的系統(tǒng)優(yōu)化和設計?！?/p>

??? 去年開始，大模型的計算特性和前十年的云計算計算特性是完全反著的。云計算是講微服務，大模型是宏服務。云計算是把一個任務切分到不同的CPU，就是一趨多，大模型是多趨一。一個任務放在上百臺機器，多臺機器在一個任務上的穩(wěn)定性是梯次降低的，穩(wěn)定性能夠掉到50%甚至50%以下。

??? 怎么去做軟件站和硬件站所有的配置和優(yōu)化，包括并行框架，通信層、協(xié)議層和硬件層的配置?？赡苡?個參數(shù)沒有配對，整個性能會掉30%-50%，在這種情況下可靠性很低，復雜性很高。我們的時間很短，一兩年很難有非常成熟的工具和生態(tài)解決這個問題，所以在這個過程中也是需要有大量的實踐經(jīng)驗和以前非常堅實的分布式系統(tǒng)支持才能把這件事情做好。

??? 去年最開始就講這三件事情，講到今年和明年也還是這三件事情，就是穩(wěn)定性、高效性和開放。所謂的穩(wěn)定就是一個任務跑在多個節(jié)點，可靠性是非常低的，在這種情況下怎么進行異步加速、容錯和定位，變得尤為重要。我們的任務能夠跑起來才能跑得好，然后就是進一步通過優(yōu)化計算、優(yōu)化通信，提高GPU的利用率，軟硬件的聯(lián)合優(yōu)化提升能力，然后就是在大的背景下去做異構(gòu)和國產(chǎn)化，包括自有的生態(tài)其實也是長期發(fā)展的主題。

??? 目前我們專注于大模型的智算平臺，2022年之前也有AI，因為人臉識別有些特效，其實也用了很久，因為當時沒有分布式的需求，但2023年以后開始做AI基礎設施，分布式需求開始變得越來越明顯，越來越重要。我們是從三個層面提供大模型的智算平臺底層能力：硬件層面提供高速RDMA互聯(lián)的硬件，交換機、光模塊、組網(wǎng)方面都有持續(xù)的解決方案提升，底層分布式計算引擎怎樣去做并行策略、負載均衡、異步容錯，包括集群上怎么去做任務的調(diào)度、故障的容錯、管控和運維提升穩(wěn)定性，這些是我們持續(xù)在做的大模型智算平臺的系統(tǒng)方案。

??? 看一看去年典型案例中的實踐，我們做AI基礎設施和算力集群分為三個部分：機架內(nèi)的互聯(lián)也在快速演進，今天主要是講后面的部分，就是數(shù)據(jù)中心互聯(lián)、跨數(shù)據(jù)中心的互聯(lián)。去年開始，大家認為這件事情比較神秘，但到今年怎么去做百卡、千卡、萬卡的互聯(lián)，其實已經(jīng)是業(yè)界的Common Sense，我們設計基于高速網(wǎng)絡、多軌道、多平面的設計，就像幾何拓普一樣，可以比較容易地從1000卡到4000卡，萬卡到10萬卡進行Scale。

??? 去年我們進行256臺機器經(jīng)典設計，包括高速的網(wǎng)絡，25.6TB的設備，通過8個多軌道的方式連接NVIDIA最新的GPU集群，每個GPU里面會配備存儲的邏輯，上面是接入整個管控系統(tǒng)。麻雀雖小，五臟俱全。集群搭建的過程中，我們慢慢積累下來算法和系統(tǒng)的能力，剛開始這個事情比較新，出來以后大家沒有業(yè)界的規(guī)范，原來超算用什么我們就用什么。但我們慢慢發(fā)現(xiàn)，超算的業(yè)務、HPC業(yè)務和AI業(yè)務邏輯是不一樣的。HPC應用是時延敏感性，但AI應用不是時延敏感性，而是帶寬敏感性，我們用以太網(wǎng)的方案是可以做到相同的帶寬，要是網(wǎng)絡設備堆在那里做以太網(wǎng)的方案，穩(wěn)定性、性能是沒有辦法保證的。

??? RDMA以太網(wǎng)的協(xié)議是一個底子，但是真正跑在AI的場景中，需要完成的是一套GPU的方案，需要在通信層、RDMA協(xié)議層去做端網(wǎng)融合、算法優(yōu)化、系統(tǒng)優(yōu)化，才能保證和超算集群一樣的穩(wěn)定性和帶寬的效率。在這種情況下，因為我們是開放和通用的方案，千卡到萬卡集群，供貨的周期、性價比上差異其實是可以到上億的量級。

??? 在此過程中，我們也有積累起自己的產(chǎn)品能力，通過Venus自動化的集群管控運維調(diào)優(yōu)的軟件，數(shù)千卡的環(huán)境中支持組件的一鍵部署，狀態(tài)監(jiān)測、端網(wǎng)一體化的優(yōu)化，進一步增強GPU的集群通信能力，保證端到端訓練的可擴展性和穩(wěn)定性。

??? Mercury提供基礎硬件，我們灌輸自己的軟件系統(tǒng)，支持一些國產(chǎn)化的設備提供，通過國產(chǎn)化的方案在未來保持一個行業(yè)更開放的邏輯。我們繼續(xù)推進怎么去做長距離、分布式的智算集群，長距離上跑的是訓練而不是存儲。

??? 大的背景已經(jīng)說得比較多了，這里引用最近一兩個月Twitter里面的討論。微軟現(xiàn)在正在和OpenAI訓練GPT6，他們就在聊，其實已經(jīng)在多數(shù)據(jù)中心之間拉超高帶寬的方案，因為如果把所有的卡放到一個集群里面跑10萬卡甚至更大集群，可能會把整個州的電力Crush，所以在尋求分布式計算方案。

??? 微軟2022年已經(jīng)在數(shù)據(jù)中心完成計算和存儲的廣域網(wǎng)互聯(lián)，我們剛才在做數(shù)據(jù)中心內(nèi)部的互聯(lián)和訓練，能不能做跨數(shù)據(jù)中心的互聯(lián)和訓練？其實這些是去年最開始的CyberNext實驗，把2臺A800跨10公里去做長距離的訓練，當時跑的是LAMA的數(shù)據(jù)，可以通過一些調(diào)度的策略做到等效算力基本不變。

??? 今年3月到4月在上海開展實驗，我們找了4臺A800，拉了20公里的帶寬，單次迭代的TFlops基本一樣，可以做到20公里，訓練的效率基本不變，進一步拉長到50公里，也是通過一些設計的邏輯可以做到訓練效率和放在一起相比，等效算力可以做到99%左右。

??? 我們在架構(gòu)層面做了算存協(xié)同的廣域網(wǎng)組網(wǎng)調(diào)度方案，物理層面打破傳統(tǒng)光傳輸高投入的方案，采用分離式軟件定義的方式降低成本，網(wǎng)絡層面長距離的RDMA協(xié)議有些突破，訓練層面是做了更多的拓普感知和并行策略。

??? 通過軟件定義的方式，我們把整個光傳輸?shù)某杀窘档?，可以在城市?nèi)幾十公里到上百公里的方案里面拉到T級別的帶寬，物理實驗做到毫秒級別的時延，存儲需要互聯(lián)、計算需要互聯(lián)，整體上就是基本設計方案。

??? 從數(shù)據(jù)中心內(nèi)部到數(shù)據(jù)中心間對比較復雜的參數(shù)調(diào)優(yōu)，包括負載均衡的能力去做一些拓普感知、擁塞控制的調(diào)配，可以把整個帶寬做到限速的邏輯。

??? 為什么說AI計算是帶寬敏感性而不是時延敏感性？因為真正去跑AI計算的話，尤其是千億參數(shù)模型，每次迭代時間大概是5-10秒鐘的量級，真正在廣域網(wǎng)互聯(lián)的話，一個城市內(nèi)到百公里單次RTT也就是1毫秒的量級，只要保證數(shù)據(jù)傳輸量是最小的，不是單次迭代的多次數(shù)據(jù)傳輸，可以把跨廣域網(wǎng)傳輸?shù)腛verhead負擔拉下來。

??? 真正的3D并行策略怎樣去做流水線并行和數(shù)據(jù)并行，我們其實是有些切分的邏輯，未來可能會有專家并行、Context Parallel，需要分析每個計算領域?qū)挼男枨蟆νㄐ蓬l次的需求，找到真正影響最低的通信方式，跨廣域網(wǎng)進行互聯(lián)，整體效率就可以做到100%的等效帶寬或者99%左右的等效帶寬。

??? 目前我們已經(jīng)在上海搭建512卡國產(chǎn)環(huán)境，5.2TB跨數(shù)據(jù)中心帶寬，6月會做千卡H800集群，也是30公里帶寬，做到12.8TB，差不多在數(shù)據(jù)中心內(nèi)部1：1，數(shù)據(jù)中心之間是1：16，也是爭取通過各種優(yōu)化層面做到99%左右的等效帶寬，就是讓整個城市內(nèi)部所有分布式算力等效成為集中大的算力池，進行整體的訓推一體的方案。

《開源中國：開源x AI的狂飆》

大家好，我的名字特別吉利，叫馬越，意味著大家見到我，馬上就會越來越好。因緣際會，對的人，對的事情只有在對的時間才能對上。我是做軟件的，也是人生中第一次被邀請參加算力大會。任何一個演講者，最難銷售的就是聽眾，算力硬件上對大家沒有幫助，怎么能夠讓大家有效地通過他山之石可以攻玉，通過我們這一路的思考和實踐，這些軟件從業(yè)者、互聯(lián)網(wǎng)平臺的從業(yè)者，對這個時代采取了什么樣的思考？希望給大家一些我們自己的心得體會，有助于硬件越做越軟，軟件越做越硬。

??? 開源中國不是一個初生的公司，也是經(jīng)過了十六個年頭，到今天迭代了四個版本出來：2008年，我們剛成立的時候做的就是開源內(nèi)容的普及，直到今天有人還在問我們，你們跟CSDN有什么區(qū)別？2008年，我們剛做的時候其實是CSDN的分支，為天下開發(fā)者提供了所有的技術內(nèi)容，而開源中國只提供了開源的相關內(nèi)容。

??? 由于開源精神上的利他主義、技術上的徹底分享，人人為我，我為人人的社會化協(xié)作方法論，導致今天偉大的技術好像無一不是開源。

我們IT從業(yè)者多會造名詞？互聯(lián)網(wǎng)是我們造出來的名詞，移動互聯(lián)網(wǎng)是我們造出來的名詞，云計算是我們造出來的，大數(shù)據(jù)是我們造出來的，區(qū)塊鏈是我們造出來的，物聯(lián)網(wǎng)是我們造出來的，后來又有了機器學習，之后又有了AIGC，到今天AGI，明年大概率還會造出來一個詞。在這些眼花繚亂、一年一更新的時髦名詞背后，開源一直發(fā)揮著巨大的創(chuàng)新價值。

移動互聯(lián)網(wǎng)時代，操作系統(tǒng)是Unix和Windows的天下，于是有了Linux的技術，現(xiàn)在服務器90%安裝的都是基于Linux的開源系統(tǒng)，而這是開源的。移動互聯(lián)網(wǎng)有IOS蘋果操作系統(tǒng)，但也有Android和開放鴻蒙。之后又到了云計算時代，有了OpenStack開源軟件，大數(shù)據(jù)得益于Hadoop，而機器學習也是如此，比如Tensorflow。

??? 今天大家可能會想，為什么OpenAI不開源了？開源在人工智能扮演什么角色？技術決定領先，不開源收錢的更快，商業(yè)的反射弧更短，但因為壟斷在一個大行業(yè)是不可能的，因此開源也形成了有效的制衡、商業(yè)壟斷的過程。今天以LLaMA為代表的，包括國內(nèi)的智譜、通義都選擇了開源，包括百川等等，這些是開源的力量。

??? 相信過去無論是互聯(lián)網(wǎng)時代、移動互聯(lián)網(wǎng)時代、云計算、大數(shù)據(jù)時代還是未來的人工時代，開源依然以勃勃生機激發(fā)更大的創(chuàng)造力。

??? 作為通過開源內(nèi)容起家的公司，2013年，我們和CSDN就不一樣了，看到國外有一個偉大的開源平臺叫做GitHub，于是2013年，我們迎來了公司第一次轉(zhuǎn)型，從一個內(nèi)容社區(qū)升級為工具平臺。今天我們的數(shù)據(jù)也彌足安慰，今年是我們Gitee平臺的第十一個年頭，已經(jīng)成為我們軟件工程生產(chǎn)資料庫?，F(xiàn)在我們代碼倉有2800萬個，二進制的組件超過3.5億，實際上是軟件工程生產(chǎn)資料庫，必然會吸引生產(chǎn)者，所以我們平臺已經(jīng)超過1200萬軟件工程師，這些是數(shù)字化轉(zhuǎn)型和創(chuàng)新最有力量的一組人群。

??? 到今天十一年，我們也服務了超過30萬家企業(yè)。雪球已經(jīng)滾起來了，大家可以想像過去十年，軟件工程、軟件創(chuàng)新以什么樣的加速度成長，因為到今天每天我們會新增5000個個人注冊用戶，2萬多個代碼倉，可以想像每天有2萬個新的軟件應用被做出來。

??? GitHub是全球的，Gitee長在中國，過去十年完成的使命，通過開源的力量讓中國的軟件工程在過去的十年與時俱進，讓中國1200萬開發(fā)者軟件開發(fā)能力跟美國人是并駕齊驅(qū)的。我們完全沒有落后，甚至我們的場景比美國做得更優(yōu)秀，這是過去我們已經(jīng)在踐行的時代使命。

??? 目前我們在流量只有GitHub壓我們一頭，我們是他們的75%左右，但我們這樣一個小公司，技術能力其實阿里、騰訊都可以提供，但流量在國內(nèi)是碾壓式的，所以友商在國內(nèi)的流量加在一起可能不到10%。

??? 軟件工程只有代碼管理是遠遠不夠的，因為一個軟件工程的生命周期是產(chǎn)品經(jīng)理驅(qū)動、項目經(jīng)理執(zhí)行，有需求分析師，有架構(gòu)師，才有了編程人員，之后還有配置管理員，運維工程師、測試工程師等等。我們3.0的升級版是從代碼托管平臺升級為軟件工程一體化的國產(chǎn)替代解決方案，軟件工程的所有角色都可以在平臺上提高效率，所有軟件工程數(shù)字化轉(zhuǎn)型相關的管理者都通過我們的平臺可以更有效地去做軟件工程的管理，這又是我們對軟件工程新的貢獻。

??? 說到人工智能，去年開始，我們就在想怎樣破局？大家都焦慮，覺得這個太牛了，改朝換代了，但我們每一個人怎么基于過去的福報，過去已經(jīng)有的積累，Knowhow也好、資源也好，怎么躬身入局切入進來？我們還是用過去的思路。今天很多名詞我們都在踐行，創(chuàng)新的確定性和創(chuàng)新的不確定性，這些是我剛剛的思考。創(chuàng)新是不確定的，要是確定的創(chuàng)新就不是創(chuàng)新了，但創(chuàng)新的過程和使用工具的范式某種意義上是高度收斂的，也是確定性的。在軟件時代，軟件工程是確定的，軟件應用是不確定的，無論是淘寶還是微信都是創(chuàng)新性的平臺，但背后的軟件人員、流程、角色，每天干的活是確定性的。

??? 過去十幾年，我們已經(jīng)打造了中國開源的基礎設施，是中國開源的淘寶，未來有沒有可能再打造一個中國的HugginngFace？我們用了十年讓我們成為中國的GitHub，現(xiàn)在全世界遙遙領先的模型聚合平臺就是HuggingFace。

??? HuggingFace很紅，但意識形態(tài)不同，我們需要中國的HuggingFace，我們要做一些HuggingFace還沒有做的事情，因為在這個時代，我們的算力是被卡脖子的，我們得支持異構(gòu)算力，所以過去只是開源軟件的大市場，算力跟我們沒關系，所以過去我也不會參加算力的會議，但在今天和以后，算力跟我們休戚相關。除了NVIDIA之外，我們必須支持國產(chǎn)的異構(gòu)算力，支持曙光，支持華為，支持寒武紀，支持摩爾線程，打造平臺的最底層邏輯是異構(gòu)算力市場。誰有算力？裸金屬也好、包了一層的算力平臺也好，通過我們的納管就可以上架為這個平臺的可調(diào)度或者可售賣算力，所以底層搭建算力市場。

??? 算力不是目的，目的是支持我們訓練、微調(diào)和運行模型。在算力之上，我們又搭建起開源模型和開源數(shù)據(jù)集市場，讓我們的AI工程師極大地降低自己入局的成本和門檻。模型和數(shù)據(jù)集依然不是目的，最終算力支持人工智能工程師、模型和數(shù)據(jù)集，只有人工智能工程師做出千千萬萬個應用，就像全員上了移動互聯(lián)網(wǎng)一樣，最終卷的還是應用。

??? 三層結(jié)構(gòu)，今天準備得不太充足，其實我已經(jīng)快講完了，但給大家準備了一個產(chǎn)品的DEMO。因為我們軟件行業(yè)一般不講PPT，直接給大家運行產(chǎn)品，PPT太抽象，看到產(chǎn)品大家就都懂了。你們沒見過淘寶之前想像不出來淘寶是什么樣，但跑起來淘寶，馬上就知道什么是淘寶了。很遺憾，今天的條件不允許我給大家展示具體產(chǎn)品，我會把產(chǎn)品的鏈接告訴大家，歡迎大家來玩，上面有模型、數(shù)據(jù)集、異構(gòu)算力和應用。

??? 我們要讓你在線上完成所有的部署、調(diào)優(yōu)和推理的過程，怎么計費呢？世紀互聯(lián)批發(fā)來的算力，可以按小時零售給你，運行一個應用，每小時收你多少錢，而且可以選擇GPU和CPU，要NVIDIA的卡還是要國產(chǎn)卡，這是一種計費方式。按照推理次數(shù)收錢，200萬Token的文生圖像，兩種計費方式完成繼承了云計算時代的彈性計算。通過這種方式，我們某種意義上也是把人工智能工程的門檻給千千萬萬的從業(yè)者和未來全社會的使用者降到極致。

??? 有幸站在開源偉大事業(yè)的肩膀上，過去十年我們已經(jīng)成為實至名歸的中國GitHub，用過去十幾年的時間蓋了一棟90層的高樓，其實地基已經(jīng)住了1200萬個開發(fā)者、30多萬家企業(yè)，有著基礎運行能力、運營能力、運維能力，而且看不見的地基也極其深厚。因為在中國還有一個合規(guī)的監(jiān)管，這是大家看不到的，所以今天我們的思路是別人要蓋一座100層的人工智能大樓，先得挖地基，然后先蓋90層再蓋10層，也得吸引這些用戶，來了以后還得把物業(yè)管好、把運維管好、把衛(wèi)生管好、把消防管好，我們這些全有了，只是在過去90層的基礎上再蓋10層就好了。

??? 最后的10層樓，相信是開源中國十六年如一日金字塔的塔尖，畢竟人工智能來得太快，而我們的思考又是站在開源普惠利他的核心價值觀，通過技術的降門檻，讓全員AI化，讓我們的國家、我們的開發(fā)者、我們千行百業(yè)的用戶不要錯過人工智能的潮流，早點躬身入局，變成在人工智能這一片藍海的探索者。

??? 打個廣告，歡迎來到ai.gitee.com。這是一個算力的市場、模型和應用級的市場，更是人工智能應用的市場。

??? 過去十年，開源中國的Gitee成為了中國的GitHub，讓中國的軟件工程師與時俱進，跟美國并駕齊驅(qū)。未來十年，我們要把自己從軟件工程的一體化平臺升級為人工智能工程的一體化平臺，已有的1200萬軟件工程師，他們應該是最快最容易變成人工智能工程師的，依然可以在技術上與時俱進，做出有中國特色、充滿奇思妙想、Fulfill中國場景的大量應用，也能夠讓中國人工智能工程水平繼續(xù)跟美國并駕齊驅(qū)，這也是未來的政治和經(jīng)濟環(huán)境下開源中國責無旁貸，要為我國做出的貢獻。

??? 為什么我們躬身入局、參與算力？因為Native。當年有個Cloud Native云原生，現(xiàn)在大家都在談AI Native人工智能原生。云原生和AI原生最大的區(qū)別是什么？我的體會就是在AI時代，AI Native比Cloud Native更加Native。在開源時代，大家可以把一個開源軟件下載到自己的筆記本上，都可以有自己的機房，一個X86服務器能值幾個錢？但在云計算時代，且不說GPU昂貴，但還是卡脖子，所以大量用戶真的使用人工智能會是在云平臺上面。當年我們做開源淘寶的時候可沒想到今天我們做開源人工智能可以賣算力，歡迎在座的算力合作伙伴跟我們聯(lián)系，我們就是提供龐大的流量入口，從您那里批發(fā)的算力可以零售出去，這些就是AI Native時代更加順水推舟的結(jié)果。我們也會大量推出一體機的合作，如果大家有國有的GPU芯片，部署開源的模型就可以支持企業(yè)的私有化部署。

??? 開源×AI狂飆。毛主席老人家有一首詞“狂飆為我從天落”，我特別感慨，當年他老人家寫這首詞的時候說的“我”，不是指他個人，而是指紅軍和所有堅信共產(chǎn)主義信仰的革命家。今天這個“我”也不是開源中國，也可能不是世紀互聯(lián)，是像我們這些開始信仰人工智能的這群人，又落到一個關鍵詞叫做原住民。我相信，我們都會早日成為原住民，只要我們都成為人工智能的原住民，“狂飆”就是為我們從天而落的。

??? 咱們Gitee上再見，謝謝大家！祝大家晚飯有個好胃口！