Qwen Code computer-use
Qwen Code computer-use

Qwen Code computer-usemain

官方版无广告15

读取并操作本地桌面应用的技能

更新日期:
2026年9月28日
语言:
多语言
平台:
没限制

0 人已下载 手机查看

Qwen Code computer-use 是让 AI 读取和操作本地桌面软件界面的 Skill。它能查看窗口、点击控件、输入文字、使用快捷键和拖动元素,适合需要让 AI 协助处理桌面应用任务的用户。官方材料要求优先使用专用连接器、API 或命令行工具,缺少合适接口时再操作界面。

适配哪些工具

该 Skill 通过 node_repl 和 @qwen-code/cua-sdk 操作应用,提供适用于 macOS、Linux 和 Windows 的共同工作流程。若同时连接两种 REPL 服务,优先使用 desktop-node-repl,它在连接的电脑上运行。

跨平台方法包括读取状态、点击、输入、设置控件值、滚动和快捷键。paste 与 selectText 仅支持 macOS,不能据此推断所有系统具备相同的文本编辑能力。

安装步骤

已连接 desktop-node-repl 时,可跳过安装,直接初始化电脑连接。否则,缺少 node_repl 时,需在 Qwen Code 用户范围添加对应 MCP 服务,并安装 SDK;完成后重启 Qwen Code。若只是缺少 SDK,则安装后重试导入。

初始化时从 SDK 的 computer-use 入口创建 ComputerUse 实例,再读取连接电脑的平台。材料给出了依赖安装方法,但该 Skill 的独立版本、许可证、价格及性能数据均未核实。

使用示例

官方以 Microsoft Excel 为例:通过 getApp 获取应用,再用 getState 读取窗口状态,确认目标文档。应用不明确时,可先用 listApps 查找匹配项。

输入示例是点击当前观察中的控件,使用对应平台的全选快捷键,通过 typeText 输入 hello,再用 pressKey 发送回车,随后读取状态确认结果。材料中的数字编号只是示例,实际操作必须采用当前观察返回的编号。

需要查看外观或确定点击坐标时,可在 getState 中开启 includeScreenshot,读取截图后再决定操作位置。

注意事项

控件编号可能随窗口或会话变化。打开菜单、弹窗或切换目标后,应重新读取状态;发生错误也要先确认界面变化,避免重复输入。

typeText 中的换行可能触发提交。部分 Linux 桌面会话无法确认目标窗口,可能不支持该流程。截图坐标只适用于当前应用截图;文本截断也不代表未显示的控件不存在。

同类 Skill

所给官方材料没有列出同类 Skill 名称,暂不作具体比较。现有站内相关文章也不足以确认同类条目。选择时可先检查目标应用是否已有专用插件或 Skill,再判断是否需要桌面界面操作。

相关工具与教程

相关软件