加杠杆和去杠杆,股票做t有风险吗,怎么购买别的公司股份 http://www.jf-health.com/blog Fri, 29 Dec 2023 08:42:33 +0000 zh-CN hourly 1 https://wordpress.org/?v=5.2.3 http://www.jf-health.com/blog/wp-content/uploads/2019/08/cropped-logo-32x32.png CAE云實(shí)證 Archives - 速石科技BLOG http://www.jf-health.com/blog 32 32 CAE云實(shí)證Vol.8:LS-DYNA求解效率深度測(cè)評(píng) │ 六種規(guī)模,本地VS云端5種不同硬件配置 http://www.jf-health.com/blog/ls-dyna-cae-20210428/ Wed, 28 Apr 2021 10:24:54 +0000 http://www.jf-health.com/blog/?p=1829 LS-DYNA是一個(gè)以顯式求解為主,隱式求解為輔的通用非線性動(dòng)力有限元分析程序,核心是求解器。 用戶主要是高校/科研機(jī)構(gòu)和航空航天、汽車、電子/高科技、船舶、土木工程、制造和生物工 …

The post CAE云實(shí)證Vol.8:LS-DYNA求解效率深度測(cè)評(píng) │ 六種規(guī)模,本地VS云端5種不同硬件配置 appeared first on 速石科技BLOG.]]>
LS-DYNA是一個(gè)以顯式求解為主,隱式求解為輔的通用非線性動(dòng)力有限元分析程序,核心是求解器。

用戶主要是高校/科研機(jī)構(gòu)和航空航天、汽車、電子/高科技、船舶、土木工程、制造和生物工程等行業(yè),包括汽車碰撞、爆炸反應(yīng),甚至主動(dòng)脈人工心臟瓣膜在血液泵送通過時(shí)的復(fù)雜啟閉行為。

1976年,LS-DYNA由美國Lawrence Livermore國家實(shí)驗(yàn)室的J.O.Hallquist博士主持開發(fā)。
1988年,LSTC(Livermore Software Technology Corp.)公司成立,LS-DYNA開始商業(yè)化。
1996年,LSTC與ANSYS合作推出ANSYS/LS-DYNA,結(jié)合了ANSYS的前、后處理工具和LS-DYNA求解器
2019年,Ansys收購LSTC。

  • 如何提高求解器的計(jì)算效率?
  • 本地和云上仿真并行計(jì)算是一回事嗎?
  • 什么類型的云端資源更適合跑LS-DYNA?
  • LS-DYNA大規(guī)模并行計(jì)算效率優(yōu)化明顯嗎?
  • 在云上運(yùn)行會(huì)改變用戶本地的使用習(xí)慣嗎?

今天我們通過一個(gè)實(shí)證來解答用戶在使用LS-DYNA上云過程中的這些關(guān)鍵問題。

用戶需求

某車企CAE部門建設(shè)有本地機(jī)房,日常工作使用單機(jī)計(jì)算,不僅算得慢,且由于資源未得到統(tǒng)一管理,經(jīng)常出現(xiàn)高性能機(jī)器排隊(duì)、低配機(jī)器空閑的情況,嚴(yán)重拖慢生產(chǎn)設(shè)計(jì)進(jìn)度
隨著公司業(yè)務(wù)的發(fā)展,CAE部門將在不久的將來面臨更大的業(yè)務(wù)壓力,部門負(fù)責(zé)人有意將部分LS-DYNA任務(wù)擴(kuò)展到云端,但由于沒有接觸過云,有很多疑問。 

實(shí)證目標(biāo)

1、LS-DYNA任務(wù)能否在云端有效運(yùn)行?計(jì)算效率能否優(yōu)化?
2、LS-DYNA應(yīng)用最適合的云端資源是哪種類型?
3、LS-DYNA大規(guī)模并行場(chǎng)景是否依然能保持線性?
4、fastone能否進(jìn)行資源統(tǒng)一管理,同時(shí)保持用戶本地的使用習(xí)慣?

實(shí)證參數(shù)

平臺(tái):
fastone企業(yè)版產(chǎn)品 

應(yīng)用:
LS-DYNA MPP版本 

操作系統(tǒng):
Linux CentOS 7.4

調(diào)度器:
SLURM

適用場(chǎng)景:
仿真材料在承受短時(shí)高強(qiáng)度載荷時(shí)的響應(yīng),如碰撞、跌落以及金屬成型過程中發(fā)生的情況 

云端硬件配置:
計(jì)算優(yōu)化型實(shí)例
通用型實(shí)例
內(nèi)存優(yōu)化型實(shí)例
網(wǎng)絡(luò)加強(qiáng)型實(shí)例 

技術(shù)架構(gòu)圖:

LS-DYNA仿真計(jì)算CAE仿真上云技術(shù)架構(gòu)圖

LS-DYNA支持基于Linux、Windows和UNIX的大規(guī)模集群的并行仿真計(jì)算,分為MPP(Massively Parallel Processing)版本和SMP(Symmetric Multi-Processing)版本。

SMP版本是多個(gè)CPU之間共享相同的內(nèi)存總線等資源,一般只能在單機(jī)上運(yùn)行,受單機(jī)CPU性能及CPU核數(shù)限制。MPP版本是每個(gè)CPU有獨(dú)享的內(nèi)存總線等資源,CPU之間通過網(wǎng)絡(luò)通信交換信息,可以在計(jì)算機(jī)集群上進(jìn)行計(jì)算,大幅提升計(jì)算速度。

單機(jī)和多機(jī)計(jì)算背后的詳細(xì)原理和意義EDA云實(shí)證Vol.7:揭秘20000個(gè)VCS任務(wù)背后的“搬桌子”系列故事里解釋得非常清楚。
雖然應(yīng)用不同,原理是一樣的。

和Fluent一樣,隨著計(jì)算節(jié)點(diǎn)規(guī)模地增加,LS-DYNA有很明顯的節(jié)點(diǎn)之間數(shù)據(jù)交換造成的通信開銷,造成信息延時(shí)。可以回顧一下《CAE云實(shí)證Vol.5:怎么把需要45天的突發(fā)性Fluent仿真計(jì)算縮短到4天之內(nèi)?》

下圖這張PingPong測(cè)試(顧名思義就是找一個(gè)數(shù)據(jù)包不斷地在兩個(gè)節(jié)點(diǎn)之間丟來丟去,像打乒乓球一樣。)能看出從16 cores到240 cores,隨著核數(shù)增加,信息延時(shí)顯著高出一個(gè)數(shù)量級(jí)。而隨著通信數(shù)據(jù)增加到一定程度,信息延時(shí)會(huì)出現(xiàn)爆發(fā)性增長(zhǎng)。

LS-DYNA仿真-核數(shù)增加與信息延時(shí)成正比

 為了充分解答用戶的疑惑,我們選擇了不同類型,不同代際與不同規(guī)模的云資源,分別做了以下場(chǎng)景的驗(yàn)證。

實(shí)證場(chǎng)景一:不同類型配置

本地 VS 云端計(jì)算優(yōu)化型實(shí)例 VS 云端通用型實(shí)例 VS 云端內(nèi)存優(yōu)化型實(shí)例

結(jié)論:
1、同等核數(shù)下,云端計(jì)算優(yōu)化型實(shí)例的表現(xiàn)優(yōu)于通用型實(shí)例、內(nèi)存優(yōu)化型實(shí)例和本地計(jì)算資源;
2、隨著核數(shù)的上升,由于節(jié)點(diǎn)間通信開銷指數(shù)級(jí)上升,性能的提升隨著線程數(shù)增長(zhǎng)逐漸變緩。當(dāng)核數(shù)增加到128核后,云端計(jì)算優(yōu)化型實(shí)例與本地資源運(yùn)行相同LS-DYNA所需的時(shí)間相差無幾。

實(shí)證過程:
1、本地使用64核計(jì)算資源運(yùn)算一組LS-DYNA任務(wù),耗時(shí)439分鐘;
2、云端調(diào)度64核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組LS-DYNA任務(wù),耗時(shí)375分鐘;
3、云端調(diào)度64核通用型實(shí)例運(yùn)算一組LS-DYNA任務(wù),耗時(shí)506分鐘;
4、云端調(diào)度64核內(nèi)存優(yōu)化型實(shí)例運(yùn)算一組LS-DYNA任務(wù),耗時(shí)533分鐘;

用LS-DYNA軟件仿真,不同計(jì)算資源類型的計(jì)算任務(wù)耗時(shí)

5、本地分別使用16、32、48、64、96、128核計(jì)算資源運(yùn)算同一組LS-DYNA任務(wù),耗時(shí)分別為1404、821、566、439、321、255分鐘;
6、云端分別調(diào)度16、32、48、64、96、128核計(jì)算優(yōu)化型實(shí)例運(yùn)算同一組LS-DYNA任務(wù),耗時(shí)分別為1269、662、458、375、299、252分鐘。

LS-DYNA仿真計(jì)算任務(wù),不同核數(shù)的計(jì)算耗時(shí)

可以看到當(dāng)核數(shù)較少時(shí),計(jì)算優(yōu)化型實(shí)例的耗時(shí)要明顯少于本地資源,但隨著核數(shù)的增加,兩者的耗時(shí)逐漸接近,尤其是在128核時(shí),計(jì)算優(yōu)化型實(shí)例幾乎已經(jīng)喪失了所有的優(yōu)勢(shì)。

實(shí)證場(chǎng)景二:不同代際,同樣類型配置

本地 VS 云端計(jì)算優(yōu)化型實(shí)例 VS 新一代云端計(jì)算優(yōu)化型實(shí)例

結(jié)論:
新款計(jì)算優(yōu)化型實(shí)例運(yùn)算效率相比舊款提升約15%,且價(jià)格更便宜,但同樣存在線性不足的問題。

實(shí)證過程:
1、本地分別使用16、32、48、64、96、128核計(jì)算資源運(yùn)算同一組LS-DYNA任務(wù),耗時(shí)分別為1404、821、566、439、321、255分鐘;
2、云端分別調(diào)度16、32、48、64、96、128核計(jì)算優(yōu)化型實(shí)例運(yùn)算同一組LS-DYNA任務(wù),耗時(shí)分別為1269、662、458、375、299、252分鐘;
3、云端分別調(diào)度16、32、48、64、96、128核新款計(jì)算優(yōu)化型實(shí)例運(yùn)算同一組LS-DYNA任務(wù),耗時(shí)分別為1088、569、391、320、255、216分鐘。

LS-DYNA仿真計(jì)算任務(wù),不同核數(shù)的計(jì)算耗時(shí)-2


新款計(jì)算優(yōu)化型實(shí)例無論是在低核數(shù)還是高核數(shù)下相比老款均有約15%的性能提升。

那么價(jià)格又如何呢?
我們來感受一下不同云廠商多款計(jì)算優(yōu)化型實(shí)例的價(jià)格差異:

不同云廠商多款計(jì)算優(yōu)化型實(shí)例的云計(jì)算服務(wù)價(jià)格差異

在同等規(guī)格下,新款的價(jià)格普遍要比舊款便宜,最低甚至接近六折。

當(dāng)然,并不是所有的云端新款實(shí)例都比舊款又快又便宜。
比如我們之前在運(yùn)算Amber任務(wù)時(shí),NVIDIA Tesla K80(2014年上市)的耗時(shí)是V100(2017年上市)的約5-6倍,價(jià)格卻只有后者的三分之一。

NVIDIA Tesla K80和NVIDIA Tesla V100計(jì)算集群的任務(wù)耗時(shí)差異巨大

這種時(shí)候,我們必須在時(shí)間和金錢之間做出一些取舍。詳細(xì)可以看這里生信云實(shí)證Vol.6:155個(gè)GPU!多云場(chǎng)景下的Amber自由能計(jì)算》

我們有一份六大公有云廠商云服務(wù)器資源價(jià)格全方位對(duì)比報(bào)告,幫助你對(duì)主流廠商的資源價(jià)格了如指掌:《六家云廠商價(jià)格比較:AWS/阿里云/Azure/Google Cloud/華為云/騰訊云》

同為計(jì)算優(yōu)化型實(shí)例,不管新款舊款,都沒有解決LS-DYNA任務(wù)大規(guī)模并行計(jì)算不線性問題。
這個(gè)問題的解決方案在哪里?
我們看下一個(gè)場(chǎng)景:

實(shí)證場(chǎng)景三:不同規(guī)模云端擴(kuò)展性驗(yàn)證

本地 VS 云端計(jì)算優(yōu)化型實(shí)例 VS 云端網(wǎng)絡(luò)加強(qiáng)型實(shí)例

結(jié)論:
1、在云端使用網(wǎng)絡(luò)加強(qiáng)型實(shí)例,調(diào)度128核計(jì)算資源,最多可將運(yùn)算一組LS-DYNA任務(wù)的耗時(shí)縮短到135分鐘,只有本地資源和云端計(jì)算優(yōu)化型實(shí)例耗時(shí)的約二分之一;
2、網(wǎng)絡(luò)加強(qiáng)型實(shí)例有效解決了LS-DYNA任務(wù)并行計(jì)算節(jié)點(diǎn)間通信問題,在云上展現(xiàn)了良好的線性擴(kuò)展性。

實(shí)證過程:
1、本地分別使用16、32、48、64、96、128核計(jì)算資源運(yùn)算同一組LS-DYNA任務(wù),耗時(shí)分別為1404、821、566、439、321、255分鐘;
2、云端分別調(diào)度16、32、48、64、96、128核計(jì)算優(yōu)化型實(shí)例運(yùn)算同一組LS-DYNA任務(wù),耗時(shí)分別為1269、662、458、375、299、252分鐘;
3、云端分別調(diào)度16、32、48、64、96、128核新款計(jì)算優(yōu)化型實(shí)例運(yùn)算同一組LS-DYNA任務(wù),耗時(shí)分別為1088、569、391、320、255、216分鐘;
4、云端分別調(diào)度16、32、48、64、96、128核網(wǎng)絡(luò)加強(qiáng)型實(shí)例運(yùn)算同一組LS-DYNA任務(wù),耗時(shí)分別為1202、603、404、307、209、163分鐘。

LS-DYNA仿真計(jì)算任務(wù),不同核數(shù)的網(wǎng)絡(luò)加強(qiáng)型計(jì)算實(shí)例的運(yùn)算耗時(shí)

從上表中可以明顯地觀察到,網(wǎng)絡(luò)加強(qiáng)型實(shí)例雖然在低核數(shù)下的表現(xiàn)并不起眼,但隨著核數(shù)的增加,性能提升幅度相當(dāng)大,在128核的環(huán)境下相比本地資源的性能提升將近一倍,線性表現(xiàn)堪稱完美。

在之前的Fluent實(shí)證中,我們也驗(yàn)證了這一點(diǎn)。

用戶的原有使用習(xí)慣需不需要改變呢?

在Fluent實(shí)證里,我們的切入角度是任務(wù)提交方法:
通過journal標(biāo)準(zhǔn)流程化 VS Fluent應(yīng)用圖形界面兩種模式,適配不同基礎(chǔ)的用戶類型。

fastone在線計(jì)算云平臺(tái)運(yùn)行ansys fluent的界面截圖

這次我們換一個(gè)角度——數(shù)據(jù)傳輸方法和習(xí)慣。

用戶在本地:
不論是單機(jī)模式還是使用服務(wù)器集群,用戶只需要把數(shù)據(jù)傳到本地機(jī)器或服務(wù)器上,便可以直接跑任務(wù),當(dāng)然后面可能有IT部門會(huì)完成服務(wù)器端數(shù)據(jù)管理工作。

用戶自己使用云:
用戶將數(shù)據(jù)傳到本地機(jī)器或服務(wù)器之后,還需要在云端開啟資源、搭建環(huán)境,手動(dòng)進(jìn)行數(shù)據(jù)的上傳和下載。

用戶使用我們平臺(tái):
和本地一樣,用戶只需要把數(shù)據(jù)上傳到我們的DM(Data Manager)工具上,就可以直接使用數(shù)據(jù)來跑任務(wù)了。

fastone Data Manager平臺(tái)架構(gòu),彈性計(jì)算

手動(dòng)模式和自動(dòng)模式的巨大差異,可以見這篇《EDA云實(shí)證Vol.1:從30天到17小時(shí),如何讓HSPICE仿真效率提升42倍?

手動(dòng)模式和自動(dòng)模式的巨大差異

對(duì)于用戶而言,使用我們的DM工具至少有三大優(yōu)勢(shì):

1、自動(dòng)關(guān)聯(lián)集群,不改變操作習(xí)慣
用戶無需在多套認(rèn)證系統(tǒng)之間切換,使用統(tǒng)一的身份認(rèn)證即可傳輸數(shù)據(jù),并自動(dòng)關(guān)聯(lián)云端集群進(jìn)行計(jì)算,不改變其原有的使用習(xí)慣。

2、一次上傳,多次使用
數(shù)據(jù)只需上傳一次即可多次使用,其他用戶在經(jīng)過統(tǒng)一認(rèn)證后也可隨時(shí)共享,極大提升團(tuán)隊(duì)協(xié)同能力。

3、大幅提升傳輸效率
關(guān)于這點(diǎn),我們?cè)谶@篇CAE云實(shí)證Vol.2:從4天到1.75小時(shí),如何讓Bladed仿真效率提升55倍?》里有提到,用戶在跑Bladed任務(wù)之前需要上傳多達(dá)數(shù)百GiB的風(fēng)文件。
而且,隨著任務(wù)的調(diào)整,有大量小文件需要增量上傳。在這個(gè)實(shí)證中,用戶需要上傳9600個(gè)任務(wù)文件,每個(gè)幾十MiB不等。 

我們的DM工具能很好地滿足用戶需求,支持全自動(dòng)化數(shù)據(jù)上傳,可充分利用帶寬,幫助用戶快速上傳、下載海量數(shù)據(jù)。

同時(shí),利用fastone自主研發(fā)的分段上傳、高并發(fā)、斷點(diǎn)續(xù)傳等數(shù)據(jù)傳輸技術(shù),優(yōu)化海量數(shù)據(jù)的傳輸效率。

實(shí)證小結(jié)

1、LS-DYNA任務(wù)能夠在云端有效運(yùn)行,大幅提升求解效率;
2、匹配合適類型云資源,LS-DYNA應(yīng)用的高效率并行性在云端同樣適用;
3、fastone的DM工具為用戶提供了簡(jiǎn)單有效的云端數(shù)據(jù)傳輸方案,同時(shí)無需改變用戶本地使用習(xí)慣; 
4、fastone能有效進(jìn)行資源的統(tǒng)一管理和監(jiān)控。

本次CAE行業(yè)云實(shí)證系列Vol.8就到這里了。
下一期的CAE云實(shí)證,我們聊COMSOL。 
請(qǐng)保持關(guān)注哦!   

- END -

我們有個(gè)為應(yīng)用定義的計(jì)算云平臺(tái)
集成多種應(yīng)用,大量任務(wù)多節(jié)點(diǎn)并行
應(yīng)對(duì)短時(shí)間爆發(fā)性需求,連網(wǎng)即用
跑任務(wù)快,原來幾個(gè)月甚至幾年,現(xiàn)在只需幾小時(shí)
5分鐘快速上手,拖拉點(diǎn)選可視化界面,無需代碼
支持高級(jí)用戶直接在云端創(chuàng)建集群

掃碼免費(fèi)試用,送200元體驗(yàn)金,入股不虧~

fastone在線計(jì)算云平臺(tái),掃碼加微信imfastone免費(fèi)試用

更多電子書
歡迎掃碼關(guān)注小F(ID:imfastone)獲取

你也許想了解具體的落地場(chǎng)景:

揭秘20000個(gè)VCS任務(wù)背后的“搬桌子”系列故事
155個(gè)GPU!多云場(chǎng)景下的Amber自由能計(jì)算
怎么把需要45天的突發(fā)性Fluent仿真計(jì)算縮短到4天之內(nèi)?
5000核大規(guī)模OPC上云,效率提升53倍
提速2920倍!用AutoDock Vina對(duì)接2800萬個(gè)分子

從4天到1.75小時(shí),如何讓Bladed仿真效率提升55倍?
從30天到17小時(shí),如何讓HSPICE仿真效率提升42倍?

關(guān)于為應(yīng)用定義的云平臺(tái):

2小時(shí),賬單47萬!「Milkie Way公司破產(chǎn)未遂事件」復(fù)盤分析
高情商:人類世界模擬器是真的!低情商:你是假的……
【2021版】全球44家頂尖藥企AI輔助藥物研發(fā)行動(dòng)白皮書

EDA云平臺(tái)49問
國內(nèi)超算發(fā)展近40年,終于遇到了一個(gè)像樣的對(duì)手
幫助CXO解惑上云成本的迷思,看這篇就夠了
花費(fèi)4小時(shí)5500美元,速石科技躋身全球超算TOP500

為應(yīng)用定義的云-行業(yè)軟件上云-云原生的概念
The post CAE云實(shí)證Vol.8:LS-DYNA求解效率深度測(cè)評(píng) │ 六種規(guī)模,本地VS云端5種不同硬件配置 appeared first on 速石科技BLOG.]]>
CAE云實(shí)證Vol.5:怎么把需要45天的突發(fā)性Fluent仿真計(jì)算縮短到4天之內(nèi)? http://www.jf-health.com/blog/fluent-case-20201203/ Thu, 03 Dec 2020 07:46:20 +0000 http://www.jf-health.com/blog/?p=1014 CFD(Computational Fluid Dynamics,計(jì)算流體動(dòng)力學(xué))是一種利用計(jì)算機(jī)來解決工程流體流動(dòng)問題的方法,具體方法是數(shù)值計(jì)算,通過計(jì)算機(jī)求解流體流動(dòng)過程中的質(zhì)量傳遞、能量傳遞、動(dòng)量 …

The post CAE云實(shí)證Vol.5:怎么把需要45天的突發(fā)性Fluent仿真計(jì)算縮短到4天之內(nèi)? appeared first on 速石科技BLOG.]]>
CFD(Computational Fluid Dynamics,計(jì)算流體動(dòng)力學(xué))是一種利用計(jì)算機(jī)來解決工程流體流動(dòng)問題的方法,具體方法是數(shù)值計(jì)算,通過計(jì)算機(jī)求解流體流動(dòng)過程中的質(zhì)量傳遞、能量傳遞、動(dòng)量傳遞以及化學(xué)反應(yīng)問題,不受物理模型和實(shí)驗(yàn)?zāi)P偷南拗疲″X省時(shí),可以模擬真實(shí)條件和實(shí)驗(yàn)中很難達(dá)到的理想條件

Fluent算得上應(yīng)用最廣泛的CFD應(yīng)用了。2006年5月,正式成為Ansys大家庭中的重要成員,共享先進(jìn)的Ansys公共CAE技術(shù)。

數(shù)值計(jì)算方法有幾個(gè)難點(diǎn):

1、很大程度上依賴于經(jīng)驗(yàn)與技巧;

2、數(shù)值處理方法可能導(dǎo)致計(jì)算結(jié)果不真實(shí);

3、因?yàn)樯婕按罅繑?shù)學(xué)計(jì)算,有很高的計(jì)算資源需求。隨著應(yīng)用的物理建模不斷精細(xì),數(shù)值模擬分辨率越來越高,對(duì)計(jì)算能力的要求也越來越高。

當(dāng)求解問題規(guī)模越來越大,網(wǎng)格數(shù)上升到幾千萬甚至上億的時(shí)候,如何讓Fluent仿真任務(wù)在更短的時(shí)間迭代收斂呢?

面對(duì)永無止境的計(jì)算需求,我們主要發(fā)揮作用就在第三點(diǎn)上。

今天我們通過一個(gè)實(shí)證來看看具體怎么實(shí)現(xiàn)。

用戶需求

某高校實(shí)驗(yàn)室使用Ansys Fluent進(jìn)行基于化學(xué)反應(yīng)模型的CFD流體仿真,因科研項(xiàng)目需要結(jié)題,需要在一周內(nèi)完成10多個(gè)case的運(yùn)算
該實(shí)驗(yàn)室有80核本地資源,通常情況都是單機(jī)跑,沒有集群環(huán)境。根據(jù)以往經(jīng)驗(yàn)推斷,要完成這組任務(wù)需要花費(fèi)至少45天才能完成。

實(shí)驗(yàn)室老師也考慮過使用超算。
但一方面,超算的使用門檻比較高,且應(yīng)用需要用戶配置,無法做到開箱即用,他們更習(xí)慣拖拉曳的圖形界面操作方式。
另一方面,該實(shí)驗(yàn)室迫切需要能夠在短時(shí)間內(nèi)使用比較大規(guī)模的算力資源,而超算沒這么快,需要等。

我們從整體規(guī)模、使用體驗(yàn)、計(jì)費(fèi)方式、商用門檻、更新周期、合作生態(tài)、云端支持七個(gè)角度對(duì)超算和云計(jì)算進(jìn)行了全方位的對(duì)比,有興趣可以看一下《國內(nèi)超算發(fā)展近40年,終于遇到了一個(gè)像樣的對(duì)手

實(shí)證目標(biāo)

1、Fluent任務(wù)能否在云端有效運(yùn)行?
2、fastone能夠短時(shí)間內(nèi)獲取大量算力資源,大幅度縮短項(xiàng)目周期?
3、Fluent應(yīng)用的高效率并行性是否在云端同樣適用?
4、針對(duì)擅長(zhǎng)和不擅長(zhǎng)編程的用戶,fastone能否提供不同的操作方式?
5、fastone平臺(tái)能否支持實(shí)時(shí)查看殘差圖?

實(shí)證參數(shù)

平臺(tái):
fastone企業(yè)版產(chǎn)品

應(yīng)用:
Ansys Fluent 20.20

操作系統(tǒng):
CentOS 7.6

適用場(chǎng)景:
油/氣能量的產(chǎn)生和環(huán)境應(yīng)用
航天和渦輪機(jī)械的應(yīng)用
汽車工業(yè)的應(yīng)用
熱交換應(yīng)用
電子/HVAC應(yīng)用
材料處理應(yīng)用
建筑設(shè)計(jì)和火災(zāi)研究

云端硬件配置:
Ansys Fluent一直宣稱自己支持高效率的并行計(jì)算功能,在2016年曾聯(lián)手CRAY和HLRS超算創(chuàng)了一項(xiàng)世界記錄,將Fluent擴(kuò)展到超過172,000個(gè)計(jì)算機(jī)核心。
對(duì)于以有限單元法為基礎(chǔ)的CFD類計(jì)算,尤其是選用隱式格式和耦合算法的時(shí)候,并行計(jì)算時(shí)會(huì)將網(wǎng)格分成很多塊放在不同的計(jì)算節(jié)點(diǎn)上,在計(jì)算時(shí)每個(gè)迭代步節(jié)點(diǎn)之間需要進(jìn)行大量的數(shù)據(jù)交換。因此,節(jié)點(diǎn)之間的數(shù)據(jù)通信就顯得尤為重要。

Fluent通過內(nèi)置MPI并行機(jī)制來大幅度提高可擴(kuò)展性,通過放大計(jì)算資源規(guī)模來最短時(shí)間給出高精度的計(jì)算結(jié)果。
而在本地或超算環(huán)境,比較有效的解決方案就是IB-Infiniband。

針對(duì)這一特性,我們分別在云端選擇了計(jì)算優(yōu)化型實(shí)例和網(wǎng)絡(luò)加強(qiáng)型實(shí)例進(jìn)行驗(yàn)證。

調(diào)度器:
Fluent原生只支持LSF/SGE/PBS調(diào)度器,平臺(tái)通過Slurm Wrapper的方式都可以支持。
關(guān)于這一點(diǎn),下次再細(xì)講。

這篇文章《億萬打工人的夢(mèng):16萬個(gè)CPU隨你用》里,我們基于這四家主流調(diào)度器:LSF/SGE/Slurm/PBS以及它們的9個(gè)演化版本進(jìn)行了梳理和盤點(diǎn)。

技術(shù)架構(gòu)圖:

fastone云計(jì)算平臺(tái)與LSF/SGE/Slurm/PBS調(diào)度器的整合技術(shù)架構(gòu)圖

實(shí)證場(chǎng)景一
云端擴(kuò)展性驗(yàn)證
理想值 VS 云端計(jì)算優(yōu)化型實(shí)例

結(jié)論:
1、在云端使用計(jì)算優(yōu)化型實(shí)例,當(dāng)所調(diào)度資源在480核及以下時(shí),云端擴(kuò)展性較好。
2、隨著核數(shù)逐漸增加,由于節(jié)點(diǎn)間通信開銷指數(shù)級(jí)上升,性能的提升隨著線程數(shù)增長(zhǎng)逐漸變緩。當(dāng)核數(shù)增加到960核時(shí),計(jì)算優(yōu)化型實(shí)例共耗時(shí)106.6小時(shí),比理想耗時(shí)高16.6小時(shí)。

理想值vs云計(jì)算優(yōu)化型實(shí)例

實(shí)證過程:
1、云端調(diào)度120核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)721.8小時(shí);
2、云端調(diào)度240核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)362.2小時(shí);
3、云端調(diào)度360核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)242.4小時(shí);
4、云端調(diào)度480核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)183.3小時(shí);
5、云端調(diào)度600核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)152.1小時(shí);
6、云端調(diào)度720核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)130.8小時(shí);
7、云端調(diào)度840核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)117.3小時(shí);
8、云端調(diào)度960核計(jì)算優(yōu)化型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)106.6小時(shí)。

實(shí)證場(chǎng)景二
云端擴(kuò)展性驗(yàn)證
云端計(jì)算優(yōu)化型實(shí)例 VS 云端網(wǎng)絡(luò)加強(qiáng)型實(shí)例

結(jié)論:
1、在云端使用云端網(wǎng)絡(luò)加強(qiáng)型實(shí)例,調(diào)度960核計(jì)算資源,最多可將運(yùn)算一組Fluent任務(wù)的耗時(shí)從本地單機(jī)環(huán)境的45天縮短到90.6小時(shí)(3.775天),可滿足該實(shí)驗(yàn)室“一周內(nèi)完成”的要求;

本地計(jì)算vs云計(jì)算-960核網(wǎng)絡(luò)加強(qiáng)型實(shí)例的運(yùn)算耗時(shí)

2、網(wǎng)絡(luò)加強(qiáng)型實(shí)例有效解決了Fluent任務(wù)并行計(jì)算節(jié)點(diǎn)間通信問題,在云上展現(xiàn)出了良好的線性擴(kuò)展性。在相同的核數(shù)下,網(wǎng)絡(luò)加強(qiáng)型實(shí)例的線性十分接近理想值。也就是說,如果核數(shù)增加,仿真所需時(shí)間會(huì)成比例縮短。

云計(jì)算優(yōu)化型實(shí)例vs云端網(wǎng)絡(luò)加強(qiáng)型實(shí)例

實(shí)證過程:
1、云端調(diào)度120核網(wǎng)絡(luò)加強(qiáng)型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)720.1小時(shí);
2、云端調(diào)度240核網(wǎng)絡(luò)加強(qiáng)型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)360.3小時(shí);
3、云端調(diào)度360核網(wǎng)絡(luò)加強(qiáng)型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)240.2小時(shí);
4、云端調(diào)度480核網(wǎng)絡(luò)加強(qiáng)型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)180.2小時(shí);
5、云端調(diào)度600核網(wǎng)絡(luò)加強(qiáng)型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)144.4小時(shí);
6、云端調(diào)度720核網(wǎng)絡(luò)加強(qiáng)型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)121.1小時(shí);
7、云端調(diào)度840核網(wǎng)絡(luò)加強(qiáng)型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)103.3小時(shí);
8、云端調(diào)度960核網(wǎng)絡(luò)加強(qiáng)型實(shí)例運(yùn)算一組Fluent任務(wù),耗時(shí)90.6小時(shí)。

實(shí)證場(chǎng)景三
任務(wù)提交方法
journal標(biāo)準(zhǔn)流程化模式 VS Fluent應(yīng)用圖形界面模式

我們?yōu)橛芯幊袒A(chǔ)的用戶提供journal標(biāo)準(zhǔn)流程化模式,用戶可在Web瀏覽器中直接提交已編寫好的journal文件,開啟云端Fluent任務(wù),方便快捷
而對(duì)于無編程基礎(chǔ)的用戶提供Fluent應(yīng)用圖形界面模式,用戶可通過Web瀏覽器啟動(dòng)集群,跳轉(zhuǎn)到虛擬桌面,并可在該桌面直接操作Fluent應(yīng)用進(jìn)行相應(yīng)設(shè)置以開啟云端Fluent任務(wù)

journal標(biāo)準(zhǔn)流程化模式分為三個(gè)步驟
1、通過Web瀏覽器登錄fastone平臺(tái);
2、在Web界面新建任務(wù)、選擇應(yīng)用、配置資源;
3、在應(yīng)用中選擇journal文件(即Fluent腳本文件),輸入所需資源和應(yīng)用參數(shù)(如求解器精度),提交任務(wù)。

該種方式要求用戶有能力自定義journal文件,即需要用戶具有一定的編程基礎(chǔ)。由于該高校科研組缺乏相應(yīng)編程能力,fastone為其提供了Fluent應(yīng)用圖形界面提交方式。

fastone云計(jì)算平臺(tái)的Fluent應(yīng)用圖形界面

Fluent應(yīng)用圖形界面模式有四個(gè)步驟
1、通過Web瀏覽器登錄fastone平臺(tái);
2、在Web界面新建集群、配置資源;
3、在已創(chuàng)建的集群點(diǎn)擊WebVNC遠(yuǎn)程桌面圖標(biāo)(同時(shí)提供WebSSH遠(yuǎn)程命令行功能);
4、跳轉(zhuǎn)到虛擬桌面,可在該桌面直接操作Fluent應(yīng)用進(jìn)行相應(yīng)設(shè)置以提交任務(wù)。該種方式模擬出了Fluent的原生界面,用戶更為熟悉操作環(huán)境,使用體驗(yàn)較好。

通過虛擬云桌面,用戶可直接在Fluent的云原生界面做熟悉的操作

平臺(tái)還支持實(shí)時(shí)查看殘差曲線,監(jiān)控計(jì)算的收斂情況。

fastone云端fluent仿真計(jì)算平臺(tái)可實(shí)時(shí)查看殘差曲線,監(jiān)控計(jì)算

實(shí)證場(chǎng)景四
用戶模式
普通用戶模式 VS 高級(jí)用戶模式

上一個(gè)場(chǎng)景里的journal標(biāo)準(zhǔn)流程化模式就是通過Web瀏覽器選擇新建任務(wù)、選擇應(yīng)用、上傳文件,輸入?yún)?shù),配置資源等一系列向?qū)铰窂教峤蝗蝿?wù)。

對(duì)于高級(jí)用戶,比如本身對(duì)應(yīng)用工作流的理解和編程能力超強(qiáng),可以不用走普通用戶通過應(yīng)用向?qū)教峤坏穆窂剑梢灾苯痈鶕?jù)自己寫的腳本,通過Web瀏覽器選擇新建集群,然后按需動(dòng)態(tài)地在云端創(chuàng)建HPC集群。

fuent云計(jì)算模式-普通用戶模式VS高級(jí)用戶模式

關(guān)于我們?cè)谠贫瞬渴鹱詣?dòng)化模式VS傳統(tǒng)手動(dòng)模式間的巨大差異可查看:EDA云實(shí)證Vol.1:從30天到17小時(shí),如何讓HSPICE仿真效率提升42倍?

云端部署自動(dòng)化模式VS傳統(tǒng)手動(dòng)模式的差異

關(guān)于我們的Auto-Scale功能自動(dòng)監(jiān)控用戶提交的任務(wù)數(shù)量和資源的需求,動(dòng)態(tài)按需地開啟所需算力資源,在不夠的時(shí)候,還能根據(jù)不同的用戶策略,自動(dòng)化調(diào)度本區(qū)域及其他區(qū)域的目標(biāo)類型或相似類型實(shí)例資源,看這篇:生信云實(shí)證Vol.3:提速2920倍!用AutoDock Vina對(duì)接2800萬個(gè)分子

fastone云計(jì)算平臺(tái)-自動(dòng)調(diào)度優(yōu)先級(jí)

實(shí)證小結(jié)

1、Fluent任務(wù)能夠在云端有效運(yùn)行;
2、fastone能夠快速獲取大量云端算力,大幅縮短項(xiàng)目周期;
3、針對(duì)Fluent應(yīng)用對(duì)節(jié)點(diǎn)間數(shù)據(jù)通信的高要求,選擇網(wǎng)絡(luò)加強(qiáng)型實(shí)例可以在云端達(dá)到很好的高效率并行性;
4、針對(duì)不同的用戶,fastone提供多種任務(wù)提交方式以供選擇,既支持journal標(biāo)準(zhǔn)流程化模式,也支持Fluent應(yīng)用圖形界面模式;
5、fastone平臺(tái)支持實(shí)時(shí)查看殘差圖;
6、高級(jí)用戶可以根據(jù)自定義腳本,直接在云端創(chuàng)建HPC集群。

本次CAE行業(yè)Cloud HPC實(shí)證系列Vol.5就到這里了。
在下一期的CAE云實(shí)證中,我們將利用速石平臺(tái)使LS-DYNA模擬性能得到極大提升。

未來我們還會(huì)帶給大家更多領(lǐng)域的用云“真香”實(shí)證,請(qǐng)保持關(guān)注哦!

- END -

2分鐘自動(dòng)開通,即刻獲得TOP500超級(jí)算力
點(diǎn)擊下圖立即體驗(yàn)

速石科技-SaaS云計(jì)算服務(wù)在線體驗(yàn)版

2020年新版《六大云廠商資源價(jià)格對(duì)比工具包》
添加小F微信(ID: imfastone)獲取

云比價(jià)報(bào)告

你也許想了解具體的落地場(chǎng)景:
EDA云實(shí)證Vol.4:5000核大規(guī)模OPC上云,效率提升53倍
生信云實(shí)證Vol.3:提速2920倍!用AutoDock Vina對(duì)接2800萬個(gè)分子
CAE云實(shí)證Vol.2:從4天到1.75小時(shí),如何讓Bladed仿真效率提升55倍?
EDA云實(shí)證Vol.1:從30天到17小時(shí),如何讓HSPICE仿真效率提升42倍?

關(guān)于云端高性能計(jì)算平臺(tái):
國內(nèi)超算發(fā)展近40年,終于遇到了一個(gè)像樣的對(duì)手
幫助CXO解惑上云成本的迷思,看這篇就夠了

靈魂畫師,在線科普多云平臺(tái)/CMP云管平臺(tái)/中間件/虛擬化/容器是個(gè)啥
花費(fèi)4小時(shí)5500美元,速石科技躋身全球超算TOP500

The post CAE云實(shí)證Vol.5:怎么把需要45天的突發(fā)性Fluent仿真計(jì)算縮短到4天之內(nèi)? appeared first on 速石科技BLOG.]]>