趨境科技發(fā)布，首創(chuàng)“以存換算”和“全系統(tǒng)推理架構(gòu)”，助力企業(yè)高趨境科技

隨著大模型，尤其是開源大模型的持續(xù)進(jìn)化，具備復(fù)雜推理能力的模型正在逐步應(yīng)用于各行各業(yè)，并展現(xiàn)出超越人類專家的潛力。得益于此，未來(lái)的算力建設(shè)將更加聚焦于推理場(chǎng)景，而不僅僅是訓(xùn)練算力。

華福證券的研究指出，到2027年，推理端的人工智能服務(wù)器預(yù)計(jì)將占整體工作負(fù)載的72.6%。同時(shí)，OpenAI o1 所代表的大模型推理場(chǎng)景的 Scaling Law 也進(jìn)一步助推了這一趨勢(shì)的加速發(fā)展。

然而，盡管模型的效果有了顯著的提升，數(shù)百億參數(shù)、上百萬(wàn)上下文的一線模型在實(shí)際部署中仍面臨高成本和低效率的挑戰(zhàn)。這一現(xiàn)象導(dǎo)致了難以破解的“不可能三角”。

為了應(yīng)對(duì)這一困境，亟需新型推理架構(gòu)，打破傳統(tǒng)主要為訓(xùn)練場(chǎng)景設(shè)計(jì)，以高端 GPU 為中心的算力架構(gòu)設(shè)計(jì)思路。

在此背景下，趨境科技推出了“大模型知識(shí)推理一體機(jī)”，其搭載的業(yè)界首創(chuàng)的全系統(tǒng)推理架構(gòu)能夠通過(guò)協(xié)同存儲(chǔ)、CPU、GPU、NPU等多種設(shè)備，充分釋放異構(gòu)算力，將推理成本降低10倍以上。

這一創(chuàng)新為企業(yè)實(shí)現(xiàn)大模型的高效落地提供了全新選擇，開啟了通向“推理自由”的新途徑。

趨境大模型知識(shí)推理一體機(jī)不僅支持本地部署數(shù)百億級(jí)別的一線大模型，還提供開放的API接口，便于第三方靈活調(diào)用。同時(shí)，用戶可根據(jù)需求定制企業(yè)智能助手（assistant/copilot），實(shí)現(xiàn)真正的“開箱即用”。

協(xié)同 HBM/DRAM/SSD 和 CPU/GPU/NPU 全系統(tǒng)異構(gòu)設(shè)備，充分釋放異構(gòu)存力和算力資源

與當(dāng)前行業(yè)主要針對(duì) GPU 算力利用率進(jìn)行單點(diǎn)優(yōu)化的傳統(tǒng)方案相比，趨境科技大模型知識(shí)推理一體機(jī)采用了業(yè)界首創(chuàng)的全系統(tǒng)推理架構(gòu)。

其通過(guò)“以存換算”技術(shù)釋放存力作為算力的補(bǔ)充，降低對(duì)算力的需求；同時(shí)采用“異構(gòu)協(xié)同”的思路，緊密聯(lián)動(dòng) HBM/DRAM/SSD 和 CPU/GPU/NPU 全系統(tǒng)異構(gòu)設(shè)備，突破顯存容量的限制，充分釋放全系統(tǒng)的存力和算力。

這一創(chuàng)新方案突破了以往方案的理論優(yōu)化極限，實(shí)現(xiàn)了整合機(jī)器所有異構(gòu)算力資源的目標(biāo)，使得推理吞吐量提升超過(guò)10倍，大幅降低了大模型的落地成本。

此外，據(jù)財(cái)通證券發(fā)布的行業(yè)深度分析報(bào)告統(tǒng)計(jì)顯示，國(guó)產(chǎn)GPU產(chǎn)品在單精度/半精度浮點(diǎn)算力、制程及顯存容量上都與英偉達(dá)有2-4倍的顯著差距。因此，僅依靠GPU單點(diǎn)優(yōu)化，短時(shí)間內(nèi)很難趕超英偉達(dá)GPU方案。

而采用全系統(tǒng)推理架構(gòu)可以大幅降低GPU性能差距的影響，顯著提升國(guó)產(chǎn)替代解決方案的競(jìng)爭(zhēng)力，打破在大模型推理場(chǎng)景下國(guó)產(chǎn)GPU“卡脖子”的困境。

以存換算新范式，從“死記硬背”到“融合推理”

早期的大模型推理架構(gòu)將每次推理視為獨(dú)立請(qǐng)求，缺乏高效處理所需的“記憶”能力。盡管后續(xù)引入了近似問(wèn)題緩存（Semantic Query Cache）和前綴緩存（Prefix KVCache Cache），但仍主要依賴于“死記硬背”。這些方案要求新問(wèn)題與已處理問(wèn)題高度一致才能利用緩存去降低算力需求。

針對(duì)這一問(wèn)題，趨境科技創(chuàng)新性地設(shè)計(jì)了“融合推理（Fusion Attention）”技術(shù)，即便是面對(duì)全新的問(wèn)題也可以從歷史相關(guān)信息中提取可復(fù)用的部分內(nèi)容，與現(xiàn)場(chǎng)信息進(jìn)行在線融合計(jì)算。這一技術(shù)顯著提升了可復(fù)用的歷史計(jì)算結(jié)果，進(jìn)而降低了計(jì)算量。

通過(guò)這一新思路，趨境大模型知識(shí)推理一體機(jī)充分利用了存儲(chǔ)資源。采用“以存換算”的方式釋放存力作為對(duì)于算力的補(bǔ)充，在RAG場(chǎng)景中，響應(yīng)延遲降低20倍，性能提升達(dá)10倍。

全系統(tǒng)異構(gòu)協(xié)同新架構(gòu)，從GPU單點(diǎn)優(yōu)化到全系統(tǒng)協(xié)同優(yōu)化

除了通過(guò)“以存換算”降低算力需求外，趨境大模型知識(shí)推理一體機(jī)還進(jìn)一步通過(guò)全系統(tǒng)異構(gòu)協(xié)同架構(gòu)設(shè)計(jì)，將來(lái)自存儲(chǔ)、CPU、GPU、NPU的算力高效融合，進(jìn)一步提升大模型推理性能，降低成本。

此前，趨境科技與清華 KVCache.AI 團(tuán)隊(duì)合作，開源了一部分異構(gòu)推理框架，項(xiàng)目名為“KTransformers”（GitHub鏈接：https://github.com/kvcache-ai/ktransformers），該開源框架僅需單個(gè)消費(fèi)級(jí) GPU 即可在本地運(yùn)行 Mixtral 8x22B 和DeepSeek-Coder-V2 等千億級(jí)大模型，性能數(shù)倍于 Llama.cpp。

在長(zhǎng)達(dá) 1M 的超長(zhǎng)上下文推理任務(wù)中，成為業(yè)界首個(gè)僅需單 GPU 卡的高性能推理框架，生成速度達(dá)到 16.91 token/s，比 Llama.cpp 快10倍以上，同時(shí)維持接近滿分的“大海撈針”能力。

趨境科技大模型知識(shí)推理一體機(jī)采用的全系統(tǒng)推理架構(gòu)是基于“KTransformers”進(jìn)一步完善的商業(yè)版本，在開源版的基礎(chǔ)上，協(xié)同性能更強(qiáng)，加入了多卡高并發(fā)調(diào)度、RAG支持等策略。經(jīng)過(guò)測(cè)試及客戶合作驗(yàn)證，Prefill 和 Generate 性能大幅領(lǐng)先業(yè)界方案：

Prefill階段的 TTFT（響應(yīng)延遲）相比業(yè)界方案快6倍以上

Generate階段的 TPOT（生成速度）相比業(yè)界方案快3.48倍以上

趨境x長(zhǎng)亭：為安全大模型開啟千億大模型時(shí)代

國(guó)內(nèi)頂尖的網(wǎng)絡(luò)信息安全公司長(zhǎng)亭科技，使用趨境科技提供的全系統(tǒng)異構(gòu)推理架構(gòu)技術(shù)策略，無(wú)縫銜接到其原有的“問(wèn)津（ChaitinAI）安全大模型”、MSS 安全托管服務(wù)等產(chǎn)品中，問(wèn)津（ChaitinAI）安全大模型升級(jí)為千億大模型，安全性能全方位升級(jí)：

核心指標(biāo)攻擊識(shí)別準(zhǔn)確率提升至95.8%，檢測(cè)時(shí)延降低至秒級(jí)。另外，其對(duì)漏洞的檢測(cè)能力增強(qiáng)，不僅提升漏洞發(fā)現(xiàn)數(shù)量，對(duì)應(yīng)的修復(fù)建議也更準(zhǔn)確，還能基于不同場(chǎng)景選擇更合適的工具和策略。同時(shí)，對(duì)不良內(nèi)容識(shí)別能力升級(jí)，準(zhǔn)確率和召回率均有提升。安全報(bào)告內(nèi)容生成質(zhì)量和評(píng)分也顯著提高，綜合輸出更具健壯性和穩(wěn)定性。

此外，長(zhǎng)亭科技的安全大模型的部署資源成本降低50%，助推其更多業(yè)務(wù)加入大模型能力。

技術(shù)的不斷進(jìn)步和市場(chǎng)需求為大模型的未來(lái)發(fā)展提供了廣闊的空間。隨著算力基礎(chǔ)設(shè)施的不斷完善，提升算力的利用效率，使大模型能與更多的行業(yè)實(shí)踐結(jié)合起來(lái)，未來(lái)大模型將在更多行業(yè)中發(fā)揮更大的作用。

趨境目前也正在和更多的大模型應(yīng)用廠商一同協(xié)作，希望助推全面智能化的到來(lái)。