北京
一年前，有人担忧我们在花钱培养可能取代自己的系统。当时人们订阅各种工具，而这些工具正从用户的提示、修正、习惯、工作和急躁中学习。
一年后，这种担忧依然成立，但形态已经改变。
问题不再只是AI能否回答得更好、写得更好、总结得更好、画得更好或编码得更好。更深层的疑问是：当AI不再只是回答，而是开始行动时，会发生什么？
多年来，大多数人把AI理解为聊天机器人。你提问，它回答，或许帮你写封邮件、解释一段代码、生成一张图片。这感觉很强大，但仍在可控范围内。
现在我们正进入不同的阶段。AI系统可以浏览网站、读取文件、检查代码库、运行终端命令、调用API、编辑代码仓库、使用外部工具、记住上下文、处理多步骤任务。这不是一个更好的聊天机器人，而是一个有"手"的系统。
一旦AI有了"手"，问题就变得困难得多：它能读取什么？能改变什么？能删除什么？能安装什么？能看到什么秘密？能接触什么系统？谁在监视它？当它出错时，谁负责？
或许最难的问题是：我们是否在给AI赋予责任之前，还没有建立足够的人类约束？
过去一年最大的变化之一，是AI开发工具从"协助"快速转向"委托"。不久前，AI编码工具主要是自动补全和编辑器内的聊天助手，能建议函数、解释漏洞或生成代码片段。人类仍然明显掌控着工作。
现在有些工具可以读取代码库、解读问题、制定计划、编辑文件、运行测试、检查错误、再次尝试，有时还能发起拉取请求。这改变了关系——开发者不再只是寻求帮助，而是在分配工作。
这听起来令人兴奋，也确实如此。但这里存在一个张力：作者所关心的技术一直是辅助技术，即简化生活、消除摩擦、弥合差距、帮助人们完成原本无法完成的事情的工具。好的技术应该让困难的事变得可能，尤其对那些不认为自己懂技术的人。
作者愿意相信的AI版本是：辅助的、教学的、解释的、帮助小企业做更多事的、帮助非技术人员解决实际问题的、给时间、金钱、信心或资源有限的人一条出路的。这种AI值得建造。
但辅助与代理之间的界限正在模糊。当AI可以执行多步骤任务、接触实时系统、代表用户做出改变时，它就不再只是一个工具，而开始成为一个行动者。这不是关于科幻场景的担忧，而是关于当下正在部署的系统的实际问题：权限如何设置？边界在哪里？出错时如何追溯？
我们似乎正在快速赋予AI能力，而相应的约束机制、问责框架和安全边界的建设却相对滞后。这不是反对技术进步，而是追问：我们是否清楚自己在建造什么，以及是否为它准备好了。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
