IBM日前宣布，DeepSeek-R1 的 Llama 3.1 8B 和 Llama 3.3 70b 蒸餾版本現(xiàn)已在 IBM 的企業(yè)級(jí) AI 開發(fā)平臺(tái) watsonx.ai 上提供。
DeepSeek-R1 到底是啥?
DeepSeek-R1 是中國人工智能(AI)初創(chuàng)公司 DeepSeek 的推理大語言模型(LLM)，是世界上最強(qiáng)大的開源模型之一，甚至可以與 OpenAI 的 o1 相媲美。DeepSeek-R1 在 MIT 許可證下發(fā)布，主要是通過在基礎(chǔ)模型 DeepSeek-V3 上直接使用強(qiáng)化學(xué)習(xí)(RL)開發(fā)的，這是微調(diào) LLM 的一項(xiàng)重大創(chuàng)新。
DeepSeek 還使用了一種稱為知識(shí)蒸餾的技術(shù)，使用較大的 R1 模型生成的數(shù)據(jù)來微調(diào)多個(gè) Llama 和 Qwen 模型。用戶可以通過兩種方式在 watsonx.ai 上訪問 DeepSeek 蒸餾模型：
● IBM 通過 “按需部署目錄”在 watsonx.ai 中提供兩種 Llama 蒸餾變體，允許用戶部署專用實(shí)例進(jìn)行安全推理。
● 用戶還可以使用自定義基礎(chǔ)模型導(dǎo)入功能導(dǎo)入 DeepSeek-R1 模型的其他變體，如 Qwen 蒸餾模型。
DeepSeek-R1 支持哪些類型的用例?
DeepSeek-R1 是一種先進(jìn)的 AI 模型，以其卓越的推理能力而著稱，支持各行各業(yè)的廣泛應(yīng)用：
● 規(guī)劃：DeepSeek-R1 專注于思維邏輯鏈，能夠執(zhí)行需要逐步推理的任務(wù)，因此非常適合為智能體(代理)應(yīng)用程序提供支持。
● 編碼：DeepSeek-R1 擅長(zhǎng)編碼任務(wù)，提供代碼生成、調(diào)試輔助和優(yōu)化建議。
● 數(shù)學(xué)問題解決：該模型強(qiáng)大的推理能力使其善于解決復(fù)雜的數(shù)學(xué)問題，這對(duì)學(xué)術(shù)研究、工程和科學(xué)計(jì)算大有裨益。
開發(fā)人員可在 IBM watsonx.ai 中使用 DeepSeek-R1 等已部署的模型和解決方案功能構(gòu)建人工智能解決方案：
● 以易于理解的格式和用戶界面測(cè)試和評(píng)估模型輸出
● 通過連接各種向量數(shù)據(jù)庫和嵌入模型來構(gòu)建 RAG 管道
● 與 LangChain、CrewAI 等流行框架和連接器協(xié)同工作
為何要在 watsonx.ai 上使用 DeepSeek 蒸餾模型
?IBM watsonx.ai 使客戶能夠定制實(shí)施 DeepSeek-R1 等開源模型，從部署環(huán)境的完全靈活性到智能體(代理)開發(fā)、微調(diào)、RAG、提示工程和與企業(yè)應(yīng)用程序集成的直觀工作流，用戶可以利用 watsonx.ai 的內(nèi)置護(hù)欄來保護(hù)他們的應(yīng)用程序。
當(dāng)然，數(shù)據(jù)安全和 AI 治理是客戶最關(guān)心的問題。除防護(hù)欄外，在 watsonx.ai 上部署時(shí)，這些模型將成為專用實(shí)例，這意味著除平臺(tái)外，不會(huì)在其他任何地方共享數(shù)據(jù)。此外，與 IBM watsonx.governance 這一功能強(qiáng)大的治理、風(fēng)險(xiǎn)和合規(guī)性(GRC)工具包的無縫集成，可確?？蛻舻?AI 在整個(gè) AI 生命周期內(nèi)都是負(fù)責(zé)任、透明和可解釋的。
開始在 IBM watsonx.ai 上使用 DeepSeek
支持 DeepSeek-R1 的蒸餾變體是 IBM 致力于 AI 開源創(chuàng)新的一部分。DeepSeek Llama 的兩個(gè)蒸餾模型都以納入 IBM watsonx.ai 上按需部署目錄，能夠在專用 GPU 上按小時(shí)部署。
如何從 watsonx 資源中心按需部署 R1 模型
從資源中心按需部署基礎(chǔ)模型，請(qǐng)完成以下步驟：
1. 從導(dǎo)航菜單打開資源中心。
2. 從“按小時(shí)付費(fèi) ”部分，找到要按需部署的 DeepSeek 模型。
3. 從模型詳細(xì)信息頁面，單擊“Deploy (部署)”。
4. 從基礎(chǔ)模型磁貼中單擊“Deploy (部署)”，然后選擇要部署基礎(chǔ)模型的部署空間。
5. 單擊“Create (創(chuàng)建)”。
6. 通過 Prompt Lab 或 API/SDK 開始使用模型。
IBM watsonx.ai 在這里會(huì)用斜體顯示模型的思維過程，而最終輸出則用非斜體顯示。正如你所見，只需一個(gè)簡(jiǎn)單的提示，模型就能推理并規(guī)劃出響應(yīng)中需要包含的各個(gè)部分。
如何通過 REST API 在 watsonx 上部署 R1 模型
您也可以使用 REST API 來部署模型
當(dāng)然，您必須將 bearer token 和 space-id 等信息替換為相應(yīng)的憑證。模型部署完成后，您可以從 Prompt Lab 或 watsonx.ai API 提示基礎(chǔ)模型。
通過讓用戶訪問 watsonx.ai 上同類最優(yōu)的開源模型(包括第三方模型和 IBM Granite)，我們以期能夠塑造協(xié)作和知識(shí)共享的文化。
作者：IBM watsonx.ai 產(chǎn)品主管 Maryam Ashoori;IBM AI 平臺(tái)(watsonx.ai 和 watsonx.governance)產(chǎn)品管理副總裁 Armand Ruiz;IBM watsonx.ai 產(chǎn)品經(jīng)理 Nisarg Patel
（來源：IBM中國）
