越来越多 Coding 工具支持「用嘴编程」,技术上到底是怎么实现的?
“用嘴编程”通常不是语音直接把代码逐字写出来,而是把语音作为一种新的输入方式,接入原有的 AI 编程代理流程。典型链路是:麦克风采集语音 → 语音识别(ASR)转成文字 → 将文字连同当前项目上下文交给大语言模型 → 模型决定是解释、提出修改方案,还是调用工具读取/编辑文件、运行命令 → 把结果展示出来,再用语音或文字继续交流。
语音识别负责“听清你说了什么”,编程模型负责“理解意图并完成代码工作”,二者是不同环节。识别可以在本地或云端进行,也可能采用流式识别:用户还没说完,系统就先显示部分转写;检测到停顿或结束语句后再提交完整指令。流式体验更快,但过早截断、专有名词识别错误和口述标点都会影响结果,因此不少工具允许先看转写、修改后再发送,或用项目文件和编辑器状态补足语音里省略的上下文。
真正让它能“编程”的,是模型接入了代码代理的工具,而非语音模型本身会操作电脑。代理通常能检索代码、查看文件、生成补丁,并在权限允许时执行测试或命令。它会根据工具返回的结果继续判断,形成“理解请求—调用工具—观察结果—再行动”的循环。比如说“把这个表单的邮箱校验改成不区分大小写,并补一个测试”,代理需要先找到表单和相关测试,再修改、运行检查;只靠一句话转写并不能保证这些步骤正确完成。
这种方式适合描述目标、解释问题或在不方便打字时快速迭代;但涉及精确标识符、复杂代码片段、文件路径或细粒度改动时,键盘往往更可靠。语音识别可能把函数名听错,模型也可能误解范围,所以应检查变更差异和执行结果。实际工具还会受到网络延迟、识别质量、项目上下文长度以及文件/终端权限的限制;涉及删除文件、运行外部命令或提交发布等操作时,是否要求人工确认取决于工具的权限设计。