研究來源Agent 平台實務

10 月 LLM、SLM 與 Agent 研究:本地模型、工具分工與記憶

10 月的新研究提供了可實測的本地模型,也把小模型的工具選擇、答案驗證與信心校準拆開評估。企業選型需要同時檢查模型、記憶、權限與工作負載。

重點答案

本地模型可優先比較有官方 GB10 配方的 Nemotron 3.5 Lightning,文件任務另測 0.8B OvisOCR3。SLM 適合先承擔可驗證的局部工作;模型交棒、過期記憶、跨工具授權與並行資源仍需由平台控制及實測。

截至 2026 年 10 月 30 日,我們選讀了當月 12 篇 LLM、SLM 與 Agent 論文,並回看先前討論的 Sleep 研究。本文以 arXiv 原稿與官方模型卡為依據,日期採 arXiv 首投日,修訂另列。研究數字與效能結論來自作者報告,X Cube 本輪尚未在 DGX 環境重現;我們關注的是哪些方法值得安排本地比較,以及比較時必須保留哪些條件。

10 月 28 日的 Nemotron 3.5 Super/Lightning 是值得優先實測的模型候選。Super 為 120B 總參數、12B 啟用參數的多模態模型;Lightning 為 30B 總參數、3B 啟用參數的文字模型。Lightning 官方模型卡提供 DGX Spark/GB10 的部署配方,提高了驗證的可行性。選型時仍要計入全部權重、cache、工作空間與並行請求;啟用參數描述運算規模,不能直接當成載入模型的記憶體需求。[1][2]

10 月 15 日的 Nemotron 3.5 Bolt 則探索壓縮與低位元量化,模型為 74B 總參數、9B 啟用參數。標題中的 24GB 有明確估算條件,包含 batch 1、指定精度及 context,並排除 vision encoder 與 projector。論文效能測試所用平台也與本專案 Linux 服務不同。因此,多模態能力、文字服務的記憶體估算與實際服務成本,需要分開檢查。[3][4]

專用小模型也值得獨立評估。10 月 20 日的 OvisOCR3 以 Qwen3.5-0.8B 為基礎,處理 OCR、文件解析、資訊擷取及跨頁表格。官方提供權重與推理範例,但繁中單據、掃描公文與密集表格仍需要自己的測試集。對文件流程而言,欄位正確率、表格結構、漏字與不完整輸出,比單一通用模型排行榜更接近實際需求。[5][6]

10 月 22 日的 Training Small Language Models for Transferable Tool Selection,把 Qwen3 1.7B、4B 與 8B 訓練成工具選擇器,流程為規劃、檢索與選取。評估要求所選工具集合與標註集合一致,並測試新工具語料與檢索器的轉移。這支持將工具選擇視為可訓練的局部能力;採用時仍須核對訓練資產與資料,並另測參數填寫及完整流程成功率。[7]

小模型如何交棒,必須與它的驗證能力一起看。10 月 6 日的 STEPGATE 研究逐步決定本地執行、驗證或交給較強模型;實驗中的強後端是同一家族的 7B 模型,任務範圍也受限。10 月 28 日的 Blind Spots 進一步把解題、辨認成功軌跡與預估成功率分開測,發現更多採樣仍未消除驗證及校準差距。平台需要可校準的路由訊號與獨立驗收條件,不能只讀取模型自報的信心。[8][9]

10 月 2 日的 Harness-Aware Distillation 關注模型與執行軟體的分工。當程式已提供狀態、可用動作與失敗紀錄,蒸餾可以著重學生如何使用這些資訊。研究在文字互動環境測試,作者把真實工具呼叫與軟體 agent 的擴展列為後續工作。對企業平台,這提供一個中期訓練方向:保留可檢查的規則與狀態,累積可重播軌跡,再評估小模型需要學會哪些能力。[10]

Agent 記憶的第一個問題是事實是否仍有效。10 月 26 日的 When Retrieval Is Not Enough 顯示,在所測的合成單跳更新鏈上,即使取回最新事實,兩個 Qwen 模型仍可能受舊事實干擾。增加檢索內容未必改善答案。評估應分別記錄最新版本是否取回、舊版本是否混入,以及模型最後採用哪一版;來源、有效期間與取代關係,也需要隨記憶保存。[11]

10 月 27 日的 Proactive Memory 提出另一個問題:何時值得主動介入。它分層管理近期事件、經來源驗證的時間軌跡及行為規律,再決定介入或不介入。實驗以 Sports、Home、Code 的低風險服務情境為主,獨立保留測試與跨模型轉移仍待研究。企業導入時,除了機會偵測準確度,還要量測通知是否有用、打擾成本與不介入是否恰當。[12]

多租戶與授權同樣需要跨步驟驗證。10 月 26 日的 CoSA 研究指出,單獨可接受的 skills 組合後,產物或判斷可能被帶到另一用途,進而違反政策。它提示平台在外傳、持久修改或執行前,重新檢查資料流向與用途授權。工具屬於某個組織、使用者可見某個工具,以及某次操作獲得授權,是不同判斷,應有各自的測試案例。[13]

企業流程的正確順序也不能只靠工具描述推導。10 月 27 日的 Grounding LLM Agents in Business Processes 結合 OData schema、值域與 BPMN 流程關係來輔助服務呼叫。不過,研究的 mock validator 與知識圖共用 schema,沒有流程層的外部語料也未見提升。較務實的驗證方式,是選一個真實流程,逐步比較工具描述、結構化 schema 與流程限制,並用獨立業務結果驗收。[14]

並行能力則要看實際工作交付。10 月 23 日首投、10 月 27 日修訂的 AOS-Bench,在共用 CPU 與記憶體下比較動態工作負載,顯示隔離任務表現與多任務交付之間會有落差。其任務採 FIFO,沒有 deadline、priority 或任務依賴,不能直接推出所有服務都應採同一並行數。平台應量測等待、資源佔用、取消、恢復與租戶公平性,再決定容量政策。[15]

最後需要釐清 Sleep 的時間與機制。Language Models Need Sleep 在 6 月 2 日首投,7 月 10 日修訂,並非 10 月新論文。它研究透過蒸餾、重播與強化學習,把短期知識轉入模型參數。若企業要探索這條路,訓練資料來源、租戶專屬或共享的參數更新範圍,以及回滾方式,都需另外設計。執行工作的休眠排程、外部記憶更新與模型學習,應分別管理。[16]

X Cube 觀點

X Cube 接下來值得驗證的是現有 Ling/Qwen 與 Lightning 的本地比較、OvisOCR3 的繁中文件品質,以及 SLM 工具選擇或逐步交棒。評估同時保留任務成功率、工具參數正確率、延遲、記憶體與成本,並加入過期事實及跨租戶、跨工具用途的負例。這些是本輪研究提出的實驗方向,模型是否晉升仍由本地測試決定。

Source

  1. Nemotron 3.5 Super and Lightning:技術論文
  2. Nemotron 3.5 Lightning:官方模型卡與 GB10 配方
  3. Nemotron 3.5 Bolt:壓縮、推理與記憶體估算
  4. Nemotron 3.5 Bolt:官方模型卡
  5. OvisOCR3:技術論文
  6. OvisOCR3:官方模型卡與推理範例
  7. Training Small Language Models for Transferable Tool Selection
  8. Blind Spots: Where Small Language Models Fall Behind Frontier Models on Terminal Tasks
  9. Do I Need the Cloud? Uncertainty-Aware Step-Level Handoff for Small Language Model Agents
  10. Harness-Aware Distillation for Small Language Model Agents
  11. When Retrieval Is Not Enough: Obsolete Facts in Agent Memory
  12. Proactive Memory for Event-Driven LLM Agents
  13. CoSA: The Conflict of Skills Attack in Real-World LLM Agent Ecosystems
  14. Grounding LLM Agents in Business Processes
  15. AOS-Bench: Can LLM Agents Manage Dynamic Workloads?(v2)
  16. Language Models Need Sleep(6 月首投、7 月修訂)