使用文件 / 工具呼叫

工具呼叫總覽

工具讓一段語音變成實際動作:開網頁、開 App、按快捷鍵、執行命令。預設全部關閉,要自己啟用。

最後更新

工具和一般聽寫的差別

一般聽寫是「把話變成文字,貼進游標位置」。工具是「把話變成動作」:開啟 Google 搜尋、打開某個 App、按一組快捷鍵、執行一段本機命令。

判斷發生在 AI 校正階段。ZeroType 把轉錄文字、你的提示詞與已啟用工具的說明一起送給模型,模型只有兩條路可走:回一個工具呼叫,或回要貼進前景 App 的文字。它不會先寫一段文字、再從那段文字裡猜要不要執行動作。

預設全部關閉

十個工具預設都是關的。你必須在目前選取的那份 USER.md 或 USER-*.md front matter 明確開啟:

---
ENABLE_GOOGLE_SEARCH: true
ENABLE_OPEN_URL: true
---

如果我明確要求搜尋,請使用 google_search。
如果我提供明確 URL 並要求打開,請使用 open_url。
其他情況不要使用工具。

ENABLE_* 與 ZEROTYPE_ENABLE_* 兩種寫法都認得。布林值可用 true、false、1、0、yes、no、on、off、enabled、disabled。

只有開著的工具才會進到這次請求裡。沒開的工具模型看不到,也就不會被呼叫。

十個工具

工具 參數 做什麼
google_search query 在瀏覽器開啟 Google 搜尋結果
ask_chatgpt query 開啟 ChatGPT,預填問題並自動送出
ask_gemini query 開啟 Gemini,預填問題並自動送出
find_youtube query 在瀏覽器開啟 YouTube 搜尋結果
open_app app 開啟桌面應用程式
open_url url 開啟一個完整絕對網址
run_shell script 或 script_path 執行本機命令或腳本檔
send_keys keys 對前景 App 送出快捷鍵或控制鍵
smart_paste text 把指定文字貼進前景 App
read path 讀取本機文字檔,把內容交給模型參考

每個工具的可照抄範例見 工具範例。

平台差異

工具在 Windows 與 macOS 都可用,差別在執行細節:

項目 Windows macOS
run_shell 的 shell 只用 pwsh;沒安裝 pwsh 就無法使用,不會退回 Windows PowerShell 或 cmd /bin/zsh
send_keys 的修飾鍵 Ctrl、Alt、Win 等(例如 Win+R) Command/Cmd、Option 等
open_app 的名稱解析 先比對本機已安裝清單,失敗才交給系統直接解析 同樣先比對本機清單,再交給系統解析
smart_paste 的貼上方式 剪貼簿加 Ctrl+V,必要時改用模擬鍵盤 剪貼簿加 Command+V,並還原原本內容

send_keys 不接受沒有修飾鍵的一般字元。想輸入文字請用 smart_paste,想按快捷鍵才用 send_keys。

成功後不會再多輸入文字

工具是副作用,不是輸出。工具成功執行後,ZeroType 不會再往前景 App 輸入「已完成」這類確認文字,也不會把同一段內容貼兩次。

read 是例外:它讀完檔案會把內容交給模型,模型據此產生最終文字,這段文字仍會正常輸入。

如果你希望 run_shell 的執行結果也變成文字輸出,可以在該提示詞加上 ENABLE_TOOL_FINAL_OUTPUT: true,讓模型看得到 stdout、stderr 再決定要不要輸出摘要。設成 false 則相反:即使完全沒呼叫工具,模型產生的文字也只留在診斷檔,不會輸入前景 App。

一次處理最多十輪

模型可以連續要求工具、看結果、再要求下一個工具,但一輪語音處理最多十輪決策,超過就停。實務上你只會看到「開網頁 → 讀檔 → 輸出摘要」這種兩三輪的流程。

瀏覽器頁面自動化不是原生工具

要操作目前 Chrome 頁面,靠的是 ZeroType Agent extension,不是前面那十個工具。ZeroType 負責把任務交給 extension,實際的頁面觀察與操作由 extension 內的 run_js 與頁面註冊的工具執行。相關設定在 extension 的 options page,和 ZeroType 自己的轉錄、校正 provider 設定是分開的。

工具只做你明確要求的事

工具不是無所不能的代理。它不會幫你規劃步驟、也不會自己決定要不要動你的電腦;它只在你這次說的話明顯是動作指令時才被觸發。

所以在提示詞裡寫清楚界線很重要,例如「只有我明確說『執行』才可以用 run_shell,如果我只是問指令怎麼寫,只輸出文字說明,不要執行」。寫得越明確,模型越不會自作主張。

下一步

這一頁有錯、或有沒寫到的地方?寫信到 training [at] miniasp.com,我們會依實際行為更新文件。