豆包自动化操作本地电脑(官方「豆包工作」,Windows桌面客户端)
核心:必须安装豆包Windows桌面客户端,进入【工作任务】模式,运行环境选择【本地电脑】,开启「操作电脑」技能并授权,豆包才能读取屏幕、移动鼠标、点击、敲键盘、读写本地文件、运行脚本,实现GUI自动化;Mac暂不支持虚拟桌面键鼠操作,仅支持本地代码/文件读写。
✅ 一、前置准备
- 官网下载最新版豆包Windows桌面客户端并登录同一账号
- 打开豆包,切换到 工作任务(不是普通对话)
- 运行环境:把默认「云电脑」切换为 本地电脑
> 云电脑环境隔离,不能访问本机文件、不能操作本地软件 - 添加技能:点技能栏,选中 操作电脑,按弹窗完成屏幕/键鼠授权(安全授权,你随时可暂停、接管、撤销权限)
- 权限策略设置(重要):
- 按需确认:高危操作(删除文件、批量修改)会先问你,推荐新手
- 全部允许:全自动执行,适合信任的固定任务,风险更高
- 始终询问:每一步操作都要确认
🚀 二、两种自动化方式
方式1:虚拟桌面GUI自动化(最强大,像真人操作软件)
豆包会在独立虚拟桌面里操作,不会抢占你当前鼠标键盘,不干扰你正常用电脑,全程可见,随时暂停/接管。
原理:AI看懂屏幕画面,自动规划点击、输入、切换窗口,不需要写脚本、不需要API。
打开Excel,读取D盘data文件夹里的销售表.xlsx,汇总10月销售额,生成折线图,保存文件并把图表截图放到桌面
示例指令直接发给豆包工作任务:
打开Excel,读取D盘data文件夹里的销售表.xlsx,汇总10月销售额,生成折线图,保存文件并把图表截图放到桌面
打开Chrome,访问xxx网页,依次点击菜单,导出表格保存到本地D:\export
手机豆包App也可以下发任务,电脑客户端后台执行,远程操控本机(电脑必须保持开机、豆包客户端保持在线登录)
方式2:本地代码/脚本自动化(适合文件处理、批量任务)
本地电脑环境下,豆包可以直接在本机运行 Python / Shell / Bat 代码,读写本地文件、调用本机工具:
- 批量重命名、压缩、图片处理、CSV数据分析
- 调用本机已安装软件的命令行工具
- 搭配MCP插件扩展能力(对接本地程序、数据库)
写一段Python脚本,遍历D:\picture,把所有jpg图片压缩到宽度1000,保存到output文件夹,直接在本地运行脚本
示例指令:
写一段Python脚本,遍历D:\picture,把所有jpg图片压缩到宽度1000,保存到output文件夹,直接在本地运行脚本
⚙️ 三、自动任务(定时/循环执行)
在工作任务里新建自动任务:
- 环境:本地电脑
- 设置触发:定时触发、文件变动触发等
- 填写任务指令,选择技能、权限策略
- 保存开启,电脑开机+豆包客户端运行时自动执行
⚠️ 四、安全与限制(必看)
- 仅Windows支持虚拟桌面键鼠GUI操作;Mac本地电脑环境只能运行代码读写文件,不能模拟鼠标点击屏幕
- 本地电脑模式:电脑必须开机、豆包桌面客户端保持运行登录;电脑休眠/关机任务中断
- 权限风险:不要开启「全部允许」权限做删除、覆盖文件类高危任务,建议「按需确认」
- 虚拟桌面是独立环境:豆包操作窗口默认在虚拟桌面,你可以随时切进去看操作画面,随时暂停任务
- 普通聊天窗口没有本地电脑操作能力,只有【工作任务】模式才有
🧩 五、备选方案(如果你想自己写自动化脚本)
如果你不想用豆包虚拟桌面GUI操作,可以让豆包帮你写自动化脚本:
- Python
pyautogui:键鼠自动化 - Python
pandas:表格处理 - bat/powershell:Windows文件批量操作
然后你本地运行脚本,豆包负责维护脚本逻辑。
📌 快速上手最简流程总结
- 安装豆包Windows桌面版 → 登录
- 进入【工作任务】 → 环境切换【本地电脑】
- 添加技能【操作电脑】,完成授权
- 设置权限为按需确认
- 直接用自然语言描述你的自动化任务,发送执行
- 实时查看虚拟桌面操作,随时暂停接管
要不要我给你写一个可直接复制进去测试的简单自动化任务指令,用来验证豆包能否读写桌面文件?
测试指令(直接全选复制粘贴到豆包【工作任务】,环境选本地电脑,开启操作电脑技能)
请在我的桌面新建一个名为【豆包本地读写测试.txt】的文本文件,文件内容写:
这是豆包本地文件读写测试,验证可以正常读写桌面文件。
然后读取这个文件里面的全部文字,并把读取到的内容返回给我。
任务完成后不需要删除该文件。
使用说明
- 环境:本地电脑,不要选云电脑
- 技能:开启【操作电脑】
- 权限:建议使用「按需确认」,首次操作会弹窗询问,点允许即可
- 预期结果:
- 桌面生成
豆包本地读写测试.txt - 豆包返回文件内的文本,证明读写正常
- 桌面生成
清理版本(测试完成后,复制这条用来删掉测试文件)
删除桌面的【豆包本地读写测试.txt】测试文件,完成后告知我。
提示:如果执行失败,优先检查:豆包Windows客户端版本是否最新、本地电脑权限是否授权、电脑桌面路径正常,没有特殊权限锁定。
需要我再给一个进阶一点的测试指令,让它读取桌面一张图片,输出图片的基础尺寸信息吗?