摘要:實時語法檢查模型預(yù)計每年運行超過5000億次查詢
實時語法檢查模型預(yù)計每年運行超過5000億次查詢
實時語法檢查模型預(yù)計每年運行超過5000億次查詢。
有人說好文章都是編輯出來的。幸運的是,為了滿足全球讀者的挑剔要求,微軟正在為數(shù)百萬人提供AI語法編輯器。
該工具如同一名優(yōu)秀的編輯一樣快速而專業(yè)。這是由于微軟編輯器在Microsoft Word在線版中對語法進行了改進,可以運用NVIDIA Triton 推理服務(wù)器、ONNX 運行時和Azure AI中的微軟Azure 機器學(xué)習(xí),來提供這種豐富的智能體驗。
10月5日,NVIDIA首席執(zhí)行官黃仁勛在GTC大會上的主題演講中宣布了這一新訊。
日常工作中的AI應(yīng)用
微軟為Microsoft Office生產(chǎn)力應(yīng)用用戶提供強大的AI性能。這些節(jié)省時間的新功能包括實時語法建議、文檔內(nèi)問題解答(如 “完全匹配”之外的Bing文檔搜索),以及幫助將句子填寫完整的文本預(yù)測。
唯有通過深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò),才能實現(xiàn)這些提高生產(chǎn)力的功能。例如,與基于傳統(tǒng)規(guī)則型邏輯構(gòu)建的服務(wù)不同,在糾正語法方面,Word在線編輯器可以理解句子的上下文,并提供適當(dāng)?shù)膯卧~選擇建議。
這些深度學(xué)習(xí)模型可能涉及數(shù)億個參數(shù),它們必須具有可擴展性,并提供實現(xiàn)最佳用戶體驗所需的實時推理。預(yù)計僅用于語法檢查的微軟編輯器AI模型每年就要對Word在線處理超過5000億次查詢。
但這種規(guī)模的部署可能會大幅增加深度學(xué)習(xí)的預(yù)算。幸運的是,可通過Azure機器學(xué)習(xí)訪問的NVIDIA Triton的動態(tài)批處理和并發(fā)模型執(zhí)行功能將成本降低了約70%,并且在單個NVIDIA V100 Tensor Core GPU上實現(xiàn)了每秒450次查詢的吞吐量,響應(yīng)時間在200毫秒以內(nèi)。
Azure機器學(xué)習(xí)具備管理模型生命周期所需的規(guī)模和能力,比如版本管理和監(jiān)控。
在Azure 機器學(xué)習(xí)上通過Triton實現(xiàn)高性能推理
隨著機器學(xué)習(xí)模型規(guī)模的不斷擴大,模型訓(xùn)練和部署過程對GPU的需求比以往任何時候都更加迫切。為了將AI部署到生產(chǎn)中,企業(yè)機構(gòu)正在尋找可擴展的推理服務(wù)解決方案、對多個框架后端的支持、最佳的GPU和CPU利用率以及機器學(xué)習(xí)生命周期管理。
Azure 機器學(xué)習(xí)中的NVIDIA Triton和ONNX 運行時堆棧提供可擴展的高性能推理。Azure機器學(xué)習(xí)用戶可以利用Triton對多種框架的支持、實時、批和流推理、動態(tài)批處理以及并發(fā)執(zhí)行等性能。
借助AI進行Word創(chuàng)作
作家和詩人Robert Graves曾說過:“沒有寫得好的文章,只有改得好的文章。”換言之,就是要對寫好的文章進行編輯和潤色。
您可以使用Word在線編輯器同時進行這兩項工作。盡管編輯器是Word中第一個通過Triton和ONNX 運行時增加速度與廣度的功能,但它僅僅是更多功能的開始。
想要了解更多有關(guān)AI計算的最新技術(shù),解鎖GPU前沿應(yīng)用,可點擊鏈接:https://www.nvidia.cn/gtc/keynote/,觀看GTC 2020秋季站主題演講上的精彩內(nèi)容。
2024年9月11日下午4點,在第54屆中國(上海)國際家具博覽會上,一場備受行業(yè)關(guān)注的戰(zhàn)略發(fā)布會落...
9月12日,上交所舉辦2024年半年度科創(chuàng)板半導(dǎo)體設(shè)備及材料專場集體業(yè)績說明會。
9月12日,連云港(601008.SH)召開2024年半年度業(yè)績說明會,在回應(yīng)投資者問題時,公司表示...
9月13日上午,坐落于泉州市晉江安平橋景區(qū)歐陽之家的南翼基金會客廳正式揭牌,晉江市領(lǐng)導(dǎo)張健龍參加活動...
9月11日至14日,由鈦媒體集團、ITValue聯(lián)合主辦的2024 ITValue Summit數(shù)字...
投資家網(wǎng)(jubohaotong.com)是國內(nèi)領(lǐng)先的資本與產(chǎn)業(yè)創(chuàng)新綜合服務(wù)平臺。為活躍于中國市場的VC/PE、上市公司、創(chuàng)業(yè)企業(yè)、地方政府等提供專業(yè)的第三方信息服務(wù),包括行業(yè)媒體、智庫服務(wù)、會議服務(wù)及生態(tài)服務(wù)。長按右側(cè)二維碼添加"投資哥"可與小編深入交流,并可加入微信群參與官方活動,趕快行動吧。
2016年注冊于北京的中氫新能技術(shù)有限公司,下設(shè)位于大興的裝備制造公司、位于海淀區(qū)的技術(shù)研究院、材料...
一度無比高光的理想汽車,猝不及防遭遇重挫。
2024年1月10日,由投資家網(wǎng)主辦,財經(jīng)銳眼、有時間協(xié)辦,北京微金科技有限公司承辦的“第十二屆股權(quán)...
2024年1月10日,由投資家網(wǎng)主辦,財經(jīng)銳眼、有時間協(xié)辦,北京微金科技有限公司承辦的“第十二屆股權(quán)...
2024年1月10日,由投資家網(wǎng)主辦,財經(jīng)銳眼、有時間協(xié)辦,北京微金科技有限公司承辦的“第十二屆股權(quán)...