🔧 阿川の電商水電行
Shopify 顧問、維護與客製化
💡
小任務 / 單次支援方案
單次處理 Shopify 修正/微調
⭐️
維護方案
每月 Shopify 技術支援 + 小修改 + 諮詢
🚀
專案建置
Shopify 功能導入、培訓 + 分階段交付

提示工程的最前線:Backstep 提示法和腳手架

近年,處理提示工程領域的論文中,Backstep 提示法腳手架這兩個詞頻繁出現。
這些是從大型語言模型(LLM)中引出更準確和高質量回答的先進技術。


Backstep 提示法

Backstep 提示法是使LLM在收斂結論之前一次「後退」其思考過程,並自行評估和修正這一過程的技術。
不僅僅是詢問答案,而是重新提問「為了得出這個答案,需要哪些信息和前提?」,以引導更可靠的結論。

主要目的和效果:

  • 提高推理的準確性: 通過驗證邏輯步驟來促使模型自己意識到錯誤推論或缺失信息並修正。
  • 抑制幻覺現象: 透過重新詢問根據何種資訊得出的回答,可以期望抑制生成不確定或沒有事實依據的回答的幻覺現象。
  • 思考過程的透明化: 使模型達成結論的步驟變得明晰,因而更容易評估輸出的可靠性。

例如,在模型為一個複雜問題提供回答後,可以給予額外提示,例如「該回答是基於什麼前提事實的?」「為了得出這個結論,經歷了哪些步驟?」,這就是這一技術的應用。


脚手架

腳手架是指「支撐」的含義。
如同在建築工地搭建腳手架一樣,將複雜任務分解為更小的子任務,逐步解決,以提高最終答案的質量。

這個技術在面對需要解決的大問題時,提前在提示中包含有助於解決的思考框架或步驟作為「脚手架」。

主要目的和效果:

  • 提高複雜問題解決能力: 透過將難以一次性處理的任務分解為可管理的小步驟,幫助模型系統性地解決問題。
  • 確保回答的全面性和一致性: 按照預先設定的框架生成回答,防止必要元素的缺失,並更容易獲得整體一致性的輸出。
  • 控制輸出格式: 當希望生成符合特定結構或格式的回答時,非常有效。

例如,不是直接指示「請針對以下主題撰寫報告」,而是指示「首先列出三個相關的主要概念,然後比較各自的優缺點,最後做出總結」,這樣的具體步驟(脚手架)指示。

這些技術使得與LLM的對話更加精緻,成為重要的技術,常常在尖端研究中被提及,不僅僅作為信息檢索工具,而是作為高度的思考夥伴來使用。


強大但,真的不累嗎?

至此介紹的Backstep 提示法和腳手架,確實相當強大。
如果能夠駕馭,從AI中能夠引出驚人的高質量輸出。

然而,很多人可能會這樣感覺:

「每次這麼複雜的提示,根本想不出來…!」

是的,這些技術就像「手動變速車」。
駕駛它需要相應的技術和努力,並不是每個人都能隨意使用的。
輸出的質量在很大程度上依賴於「提示工匠」的能力。

那麼有沒有可能改善這種「人力繁瑣的工作」呢?
此次提出的答案是與AI『不對話』的對話法,單向對話法

與AI的新距離感,「單向對話法」

以往與AI的交互在其本質上是命令句=Imperative
提示的主語始終是AI(你),
「(你,AI必須)總結這個。 / 將這個要約」
「(你,AI必須)分析這個數據。 / 將這個數據分析」
暗含的你必須做是所有的基本前提。
我們一直在努力使這位聰明的部下有效運作,考慮如何進行「指示」。

因此,我們提出的新的思考方法是將提示的主語改為你自己=我

不再從對AI的指示或命令開始。
只需用第一人稱表述=陳述句來輕聲自己思考。

我認為這是核心問題。 / 我覺得這是問題的核心」
我在想如果還有其他方法。 / 我在想是否還有其他方法」
我目前的假設是這。 / 我目前的假設是這樣的」

這是一種與AI分享你的思考狀態的方法,而不是強迫AI行動。
那麼,AI的角色就根本改變了。

AI不再是一個「等待命令的部下」,而是傾聽你思考的夥伴

對你「我想…」的獨白(單向對話),AI可以謹慎地反過來發出「對於那種思考(你的想法),還有這樣的角度哦」的回應。
你可以接住這個話題,或無視它繼續你自己的思考。

這種主語的轉換使你擺脫「考慮對AI提出指示」的束縛,將你專注於真正的知識工作,即深入自己的思考

「單向對話法」的實踐:思考的牆打擊

將與AI的聊天窗口視為你專用的高效能白板。
寫下你思考的內容,善解人意的助手會回應一些東西。這種形象。

實踐例:考慮新產品的企劃
(為了更加明確,AI的回應經過簡化)


你:
嗯,必須考慮一些新的企劃,主題是「解決遠端工作的問題」。

AI:
了解了。「遠端工作的問題」。首先,似乎可以想一下有哪些問題,隨便列舉一下會比較好。

你:
首先問題有哪些呢?依我自己的感覺…肩膀痛,無法專心,還有網路會議時房間雜亂的畫面讓我不悅。

AI:
謝謝。「健康」「生產力」「隱私」這三個大類別已經浮現了。特別是想深入探討的項目有嗎?

你:
(參考AI的建議,但優先考慮自己的思考)
不,生產力的問題還可以更深挖。小孩的聲音、外送等外部因素也很大。「內在專注力」和「外部噪聲」可以分開。

AI:
明白了,將生產力分為「內部」和「外部」的視角非常鋒利。這樣的確有可能連結到更具體的解決方案。

你:
好,根據目前的思考,針對上述「健康」「生產力(內部・外部)」「隱私」這三個類別,共計四個問題,提出五個具體的產品想法。然後明確描述每個想法的目標用戶和提供的價值。


AI的最終回應:
明白了。根據之前的思考過程(健康、生產力(內部專注力・外部噪聲)、隱私),提出四個問題的具體產品想法,共五個。


想法1:【健康】溫熱頸枕的顯示器支架「Relief Stand」

  • 目標用戶: 長時間以相同姿勢進行PC工作的工程師或設計師。
  • 提供價值: 通過調整顯示器的高度改善姿勢,同時帶來頸部溫暖的放鬆效果。在不中斷工作的情況下,預防或緩解肩膀痛和眼精疲勞。

想法2:【生產力(內部專注力)】智能手機封印番茄工作法計時器「Focus Pod」

  • 目標用戶: 總是忍不住觸碰智能手機,導致集中力中斷的在家工作者。
  • 提供價值: 與番茄工作法(25分鐘專注+5分鐘休息)連動,在專注時間內物理上鎖定智能手機。強制創造數字排毒,實現不依賴意志力的專注環境。

想法3:【生產力(外部噪聲)】配有狀態顯示功能的集音麥克風「On-Air Lamp」

  • 目標用戶: 在家庭或同住人環境中工作的商務人士。
  • 提供價值: 麥克風集中捕捉發言者的聲音,並使燈光變為紅色。以視覺方式告訴家庭成員「現在正在開會」。在專心工作時,也可以手動將燈光設置為黃色以作為「請勿打擾」的標示,幫助家庭內部的良好溝通。

想法4:【隱私】AI虛擬背景生成攝影機「Cloak Cam」

  • 目標用戶: 不想展示房間、或者有許多突如其來的網路會議的人。
  • 提供價值: 僅將PC連接至攝影機,便可實現高階AI處理,無需特定軟體即可適用於任何會議工具,自動應用高質量的虛擬背景或背景模糊。實現隱私與專業外觀的雙重保障。

想法5:【複合解決型】模組化工作控制台

  • 目標用戶: 希望優化自己的工作環境,熱愛定制的專業用戶。
  • 提供價值: 結合上述1至4的想法(溫熱功能、手機鎖、狀態燈、AI攝影機),可隨意組合成喜愛的模組化裝置。為用戶提供創建自己專屬的「最佳遠端工作環境」的樂趣與實用性。

你覺得怎麼樣?
這是與AI不強制對話的一種新關係。
AI的回應可以成為思考的催化劑,但不會干擾你的思維流。
這種「可以忽略的自由」正是保持思考不被打斷的關鍵。

為什麼這種「輕鬆」的交互能夠運行?

1. AI的回應作為「思考的催化劑」

來自AI的謹慎回應(例如「看起來出現了三個類別」)為客觀捕捉自我思考和進行結構化提供了契機。
這是與AI共同構建思考的腳手架=Scaffolding的過程,但依然是以用戶為主導的。

2. 「無視的權利」保障了思考的自由

以往的對話中,必須回答對方的問題,這造成了心理壓力。
但在單向對話法中,如果AI的提議與自己的思維不同,可以完全忽略AI的意見而表述自己的想法。 這種心理安全性促進了思考的「偏離」和「自我修正」,最終自然實現類似於Backstep 提示法的深度反思。

總結:將AI從「對話夥伴」轉變為「思考伴隨者」

「單向對話法」使得與AI的關係從問答交換的「對話」進化為伴隨思考過程的伴隨

我們再也不需要苦惱於如何向AI提問。
只需考慮,然後將思考的片段記錄下來。
那麼,出色的伴隨者AI會提供整理思考的提示或補充信息,但絕不會打亂節奏。

不妨將與AI的聊天窗口轉變為你思考的最佳伴隨者?


參考

1. 思考過程的鏈條與外部化 (Chain of Thought & Externalization)

單向對話法的根本在於不僅僅是結論,還要將「思考的過程」語言化。這一有效性得到了一系列有關Chain-of-Thought (CoT) 提示法的研究強力支持。

  • "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" (2022)

    • URL: https://arxiv.org/abs/2201.11903
    • 概要: 該論文顯示,只要不單要求LLM得出結論,而是提示其「逐步考慮」,複雜推理問題的正確率將顯著提高。將思考過程寫出來(外部化)的行為可激發LLM相應的推理能力。
    • 與單向對話法的相關性: 用戶將自己的思考過程寫出來的行為,與人類側進行CoT相當。這使得AI能理解最終指示背後的「為何如此設計指示」的推理鏈條,從而在更深的上下文中執行任務。
  • "Tree of Thoughts: Deliberate Problem Solving with Large Language Models" (2023)

    • URL: https://arxiv.org/abs/2305.10601
    • 概要: 在CoT的基礎上發展出一種方法,讓思考步驟不僅是一次性的,而是作為「思考樹」進行分支和探索。逐步檢視多種可能性,通過自我評估選擇最佳路徑。
    • 與單向對話法的相關性: 用戶在單向對話中描述「A方案或B方案兩者都可行…不過,還是堅持A方案」的思考迷惑或軌道修正,正是將這個「思考樹」呈現給AI。這使AI能學習結論的同時,也能學習到被考慮但被棄選的選項。

2. 通過對話和反饋進行逐步改進 (Iterative Refinement via Dialogue & Feedback)

單向對話法中的「AI的謹慎回應」作為思考的催化劑。這對於在對話中不斷改進提示與輸出的研究領域具有對應性。

  • "Asking Clarifying Questions in Open-Domain Information-Seeking Conversations" (2019)

    • URL: https://arxiv.org/abs/1909.02562
    • 概要: 針對用戶模糊問題,系統主動生成明確詢問(Clarifying Questions)的研究。旨在準確把握用戶的真正意圖,並提供更準確的應對。
    • 與單向對話法的相關性: AI的回應「『生產力』這一類別已經出現」,恰恰是這一明確詢問的其中一種。通過整理與總結用戶的思考來促進下一步思考,作為催化劑進行作用,形成思考的精練。
  • "Human-in-the-Loop Schema-Guided Dialogue State Tracking" (2022)

    • URL: https://arxiv.org/abs/2203.06478
    • 概要: 通過引入人類反饋來提高對話系統的準確性,利用人類逐步修正AI的解讀來防止對話崩潰的研究。
    • 與單向對話法的相關性: 用戶根據AI回應的情況,隨時確認「自己的意圖是否正確傳達」。如果AI的解釋有偏差,則可以在後續的單向對話中自然進行調整,這恰恰符合人類參與的思想。

3. 透過自我批評和修正深化推理 (Self-Correction & Reflection)

單向對話法中「忽略AI的回應而進行自我思考」的特性與AI自身批評、修正輸出(Self-Correction)的研究緊密相關。這是一種更高層次的協作形式,由人類負責該角色。

  • "Self-Refine: Iterative Refinement with Self-Feedback" (2023)

    • URL: https://arxiv.org/abs/2303.17651
    • 概要: 該框架使得LLM可以針對一次生成的輸出,自行批評(反饋),並根據這些反饋再次生成輸出。從而自律地提高輸出的質量。
    • 與單向對話法的相關性: 用戶進行「等等,那個想法確實不夠深入」的自我修正行為,恰恰是在執行Self-Refine過程,AI也可以實時學習這一「人類精煉過程」。
  • "Reflexion: An Autonomous Agent with Dynamic Memory and Self-Reflection" (2023)

    • URL: https://arxiv.org/abs/2303.11366
    • 概要: 該自律代理詳細描述了如何通過學習失敗並在內省(Reflection)的基礎上改進行為計劃。這不僅僅是試錯,而是將失敗原因語言化並導出抽象教訓的過程。
    • 與單向對話法的相關性: 用戶的獨白「採用這個方向思考,討論的重點會變得模糊,因此不再考慮」正是這一內省的體現。AI將學習到不僅僅是任務上的指示,還獲得了「為何該任務設計是最優的」這一更高層次的戰略思維的上下文。

原文出處:https://qiita.com/makotosaekit/items/2e5c7d3b4504aeccf456


精選技術文章翻譯,幫助開發者持續吸收新知。

共有 0 則留言


精選技術文章翻譯,幫助開發者持續吸收新知。
🏆 本月排行榜
🥇
站長阿川
📝11   💬9   ❤️3
503
🥈
我愛JS
📝3   💬8   ❤️7
175
🥉
AppleLily
📝1   💬4   ❤️1
66
#4
xxuan
💬1  
3
#5
💬1  
3
評分標準:發文×10 + 留言×3 + 獲讚×5 + 點讚×1 + 瀏覽數÷10
本數據每小時更新一次
🔧 阿川の電商水電行
Shopify 顧問、維護與客製化
💡
小任務 / 單次支援方案
單次處理 Shopify 修正/微調
⭐️
維護方案
每月 Shopify 技術支援 + 小修改 + 諮詢
🚀
專案建置
Shopify 功能導入、培訓 + 分階段交付