技術筆記 / AI

OpenAI 推出強化微調：增強模型在專業應用中的推理能力

OpenAI 持續推動人工智慧的邊界，推出了強化微調（Reinforcement Fine-Tuning, RFT），這是一項在模型定制方面的突破性進展。這一新技術不僅允許開發者、研究人員和企業對模型進行微調以模仿輸入，還能夠在自定義領域內更有效地進行推理。在本文中，我們將深入探討 RFT 的技術細節，探索其在遺傳疾病研究中的應用，並討論其在各個行業中的廣泛影響。

目錄

  1. 簡介
  2. 什麼是強化微調？
  3. 強化微調的工作原理
  4. 應用示例：預測導致遺傳疾病的基因
  5. 技術演練 - 數據準備 - 定義評分器 - 運行微調任務
  6. 結果與性能提升
  7. 更廣泛的影響與應用
  8. 如何開始使用強化微調
  9. 結論

簡介

在最近的發展中，OpenAI 通過其o1 系列發布了模型定制能力的增強，現在包括了強化微調。這一方法將徹底改變專業 AI 模型的開發方式，提供前所未有的推理和專業知識水平。

什麼是強化微調？

強化微調（RFT）是一種先進的技術，利用強化學習算法在自定義數據集上提升模型的推理能力。與傳統的監督微調主要關注調整模型的回應以匹配特定的輸入-輸出對不同，RFT 使模型能夠在生成回應之前更深入地思考和推理問題。

RFT 與監督微調的關鍵區別

強化微調的工作原理

RFT 過程涉及多個步驟，旨在增強模型在特定領域內解決問題和推理的能力：

  1. 問題呈現：向模型提出一個需要解決的問題。
  2. 思考空間：模型有機會在內部推理問題。
  3. 生成回應：模型基於其推理生成回應。
  4. 評分：使用預定義的評分器對回應進行評分，分數在 0 到 1 之間。
  5. 強化學習：模型根據評分反饋調整其參數，強化正確的推理路徑，抑制錯誤的推理路徑。

這一迭代過程使模型能夠從有限的示例中學習和泛化，在特定任務上以最小的數據量提升性能。

應用示例：預測導致遺傳疾病的基因

為了展示 RFT 的強大能力，OpenAI 與 Thompson Reuters 合作，將o1 mini 模型微調為其共同律師 AI 系統中的專業法律助手。然而，在遺傳疾病研究領域，RFT 展示了更具說服力的應用。

問題陳述

研究人員旨在根據患者的症狀識別可能導致特定遺傳疾病的基因。這一任務需要深厚的領域知識和對生物醫學數據的系統性推理。

技術演練

數據準備

第一步是組裝一個全面的數據集。在遺傳疾病的示例中，數據集包括：

這些數據集被格式化為 JSONL 文件，每行代表一個包含以下內容的獨立數據點：

定義評分器

評分器對於評估模型的輸出至關重要。它們將模型生成的基因列表與正確答案進行比較，並賦予 0 到 1 之間的分數：

例如，如果正確基因是列表中的第二項，可能會獲得 0.7 分。

運行微調任務

在數據集和評分器準備就緒後，微調過程包括：

  1. 上傳數據集：將訓練和驗證數據集提供給 OpenAI 平台。
  2. 上傳評分器：定義模型輸出的評估方式。
  3. 配置超參數：調整學習率、批量大小等設置，儘管 OpenAI 提供了優化的默認值。
  4. 啟動訓練：開始強化微調任務，可能需要數小時到數天。

結果與性能提升

在對 o1 mini 模型應用 RFT 後，觀察到了顯著的性能提升：

這些結果通過一個聖誕主題的圖表進行了可視化，展示了模型在不同評估指標上的性能進展。

示例輸出

輸入：

{
  "case_report": "51歲女性，表現為腎上腺下結節和癲癇發作。",
  "present_symptoms": ["高代謝", "甲狀腺功能亢進"],
  "absent_symptoms": ["..."],
  "instructions": "根據症狀列表和病例報告，列出您認為可能導致所患遺傳疾病的所有基因，並為每個基因提供解釋。",
  "correct_answer": "tsc2"
}

模型輸出：

{
  "genes": ["tsc2", "其他基因1", "其他基因2"],
  "explanation": "腎上腺下結節和癲癇發作的組合表明這種狀況通常由這些基因的突變引起。tsc2 是最可能的候選基因。"
}

在這個示例中，模型正確識別了 tsc2 作為致病基因，在評分過程中獲得了高分。

更廣泛的影響與應用

強化微調不僅限於遺傳疾病研究。其多功能性使其適用於各個領域，包括：

通過使模型能夠推理和適應複雜任務，RFT 為需要深厚專業知識和系統性問題解決能力的 AI 應用開辟了新的可能性。

如何開始使用強化微調

OpenAI 通過強化微調研究計劃（Reinforcement Fine-Tuning Research Program）擴大了 RFT 的使用範圍，目標是那些從複雜任務中受益於專業 AI 輔助的組織。感興趣的機構可以通過節目直播描述中的申請鏈接申請有限的名額。

申請步驟：

  1. 準備數據集：確保數據結構良好，並格式化為 JSONL 文件。
  2. 定義評分器：確定如何評估模型輸出。
  3. 申請訪問：通過提供的鏈接提交申請。
  4. 利用 OpenAI 的基礎設施：使用 OpenAI 強大的訓練基礎設施進行模型微調。

結論

強化微調代表了 AI 模型定制方面的重大進展，使用戶能夠以最小的數據量開發高度專業化和具備推理能力的模型。無論是在遺傳研究、法律分析還是醫療保健領域，RFT 都提供了一種變革性的方式，充分利用 AI 在解決複雜、特定領域挑戰中的潛力。

OpenAI 通過強化微調研究計劃擴大訪問權限，預示著未來 AI 可以根據各行業的細微需求進行定制，推動創新並提升各領域的專業知識。

Ref : https://youtu.be/yCIYS9fx56U?feature=shared

在 GitHub 看原文