霍尔登-卡诺夫斯基（Holden Karnofsky） ， 我通常认为他是一个比尤德考夫斯基更温和、更有说服力的作家 ， 上周有一篇关于类似主题的文章 ， 解释了即使一个 \"只 \"和人类一样聪明的AGI如何导致毁灭 。 例如 ， 如果一个人工智能能够完成当今技术工人或量化交易员的工作 ， 一个由数百万这样的人工智能组成的实验室可以迅速积累数十亿甚至数万亿美元 ， 用这些钱来收买持怀疑态度的人类 ， 然后 ， 剩下的就是一部终结者电影了 。
我发现人工智能安全是一个独特的难写的话题 。 像上面这样的段落经常作为罗夏克测试 ， 一方面是因为尤德考夫斯基的言语写作风格......至少可以说是两极分化 ， 另一方面是因为我们对这种结果的合理性的直觉有很大的不同 。
有些人在读到上述情景时 ， 会想：\"嗯 ， 我想我可以想象一个人工智能软件会这样做\"；另一些人读到它 ， 认为是一部可笑的科幻小说 ， 然后跑到另一边去 。
这也只是一个高度技术性的领域 ， 由于我缺乏专业知识 ， 我不相信自己的直觉 。 有一些相当知名的人工智能研究人员 ， 如伊利亚-苏茨克沃（Ilya Sutskever）或斯图尔特-拉塞尔（Stuart Russell） ， 他们认为人工通用智能是可能的 ， 而且可能对人类文明造成危害 。
还有一些人 ， 像Yann LeCun ， 正在积极尝试建立人类水平的人工智能 ， 因为他们认为这将是有益的 ， 还有一些人 ， 像Gary Marcus ， 对AGI是否会很快到来持高度怀疑态度 。
我不知道谁是对的 。 但我确实知道一点如何与公众谈论复杂的话题 ， 我认为Lemoine事件为世界上试图争论 \"不 ， 这真的很糟糕 \"的Yudkowskys和Karnofskys提供了宝贵的一课：不要把人工智能当作一个代理 。
即使人工智能 \"只是一个工具\" ， 它也是一个非常危险的工具 。
对Lemoine故事的反应表明 ， 一般公众认为人工智能是一个可以做出选择（也许是有意识的 ， 也许不是）的行为者的想法是非常古怪和荒谬的 。 这篇文章在很大程度上没有被当作我们离AGI有多近的例子 ， 而是被当作硅谷（至少是Lemoine）有多么该死的古怪的例子 。
我注意到 ， 当我试图向未被说服的朋友说明关注AGI的理由时 ， 也出现了同样的问题 。 如果你说 \"人工智能会决定贿赂人们 ， 这样它就能生存下去 \"这样的话 ， 就会让他们反感 。 人工智能并不决定事情 ， 它们会做出反应 。 它们做人类告诉它们要做的事 。 你为什么要把这个东西拟人化？
赢得人们的是谈论系统产生的后果 。 因此 ， 我不会说 \"人工智能将开始囤积资源以维持生命\" ， 而是说：\"在推荐音乐和电影方面 ， 人工智能已经决定性地取代了人类 。 在做出保释决定方面 ， 它们已经取代了人类 。 它们将承担越来越大的任务 ， 而谷歌和Facebook以及其他经营它们的人根本没有准备好分析它们会犯的细微错误 ， 以及它们与人类愿望不同的细微方式 。 这些错误会越来越多 ， 直到有一天它们可以杀死我们所有人\" 。
这是我的同事凯尔西-派普(Kelsey Piper)对人工智能关注的说法 ， 这是一个很好的论点 。 对于普通人来说 ， 这是一个更好的论点 ， 而不是谈论服务器积累了数万亿的财富 ， 并用它来贿赂人类的军队 。
而且 ， 我认为这个论点可以帮助弥合人工智能偏见社区和人工智能存在风险社区之间出现的极其不幸的分歧 。 从根本上说 ， 我认为这些社区正在努力做同样的事情：建立反映真实人类需求的人工智能 ， 而不是为短期企业利润而建立的人类需求的糟糕近似 。 一个领域的研究可以帮助另一个领域的研究；例如 ， 人工智能安全研究员保罗-克里斯蒂亚诺的工作对如何评估机器学习系统的偏见有很大影响 。
相关经验推荐
- 高通骁龙|麒麟9000E+高颜值，它是一款保值率超过苹果的华为手机
- oppo reno8|这次OPPO Reno8系列的紫色将会玩出什么花样，不知道是在工艺上下功夫
- 耳机|用耳机听器乐可不简单，但是本质器乐是什么，有多少人知道？
- 中国广电|我知道很多人都在期待Android 13，但我想说，时间还早呢！
- 阿维塔|摩托罗拉edgeX40mini突袭，天玑9000+旗舰四摄，坚持性价比理念
- 微信|微信如何关闭“自动扣费”服务？按照这个步骤操作，可以关闭它了
- 折叠屏|摩托罗拉Razr 3研发中，竖向折叠屏手机市场开始热闹起来？
- 锂电池|瑞典的判决令人失望！禁用华为5G设备，难道对它没有影响吗？
- 摩托罗拉|摩托罗拉Edge30Lite渲染图被曝光，这样的机身后盖没见过
- 联想|暑假装机：这一套3A性能平台，谁用谁知道！