为什么山姆Bankman-Fried FTX危机席卷人工智能研究呢0b足球

首先,我们需要澄清术语,比如人工智能安全,这听起来像一个完全中立,没有争议的术语。谁不希望安全的人工智能软件?人工智能的定义,你可能会认为“安全”将包括人工智能,不是种族或性别歧视或被用来煽动种族灭绝。顺便说一句,所有这些实际,记录今天的担忧现有的人工智能软件。

然而实际上,这些问题是人工智能研究人员通常意味着当他们谈论“人工智能0b足球安全。”相反,这些东西落入阵营的“人工智能道德”(或“负责任的人工智能”)人工智能安全完全是另一回事。这个术语通常是指努力防止superpowerful未来人工智能摧毁人类。有时也被称为“对齐的问题。”

(我个人认为这个分离安全性和道德是不幸的和不是很有用的人关心软件,实际上是安全的,在最普遍对这个词的理解。理想情况下,我们想要的人工智能软件,不会导致黑人错误逮捕或被囚禁的,不会崩溃我们的自动驾驶汽车翻倒的卡车,和也不会决定杀死地球上所有的人类。我没有看到任何这些东西的好。更重要的是,如欧宝球网站何防止人工智能研0b足球究种族主义应该至少有些有用的防止人工智能杀死我们两个都是对人工智能系统做不做我们想要他们做的事情,我们不希望他们做的东西。但没有人问我。和人工智能和人工智能之间的分裂安全伦理越来越根深蒂固的和痛苦的。它也变得非常卷入种族和性别政治:最突出的人工智能研究人员安全是白人和男性。0b足球与此同时,人工智能社区伦理可能计数更多有色人种和女性在其排名比人工智能研究的其他领域。)0b足球欧宝球网站

Bankman-Fried领导为人为B风险资本5.8亿美元,一个研究实验室,形成主要来自一群脱离OpenAI,感兴趣构建强大的人工智能模型和如何防止运行胡作非为。0b足球FTX未来基金,今年早些时候他建立了一个慈善机构,已经承诺1.6亿美元的原因,其中包括很多研究人工智能安全,包括奖励声望NeurIPS等机器学习会议团队开发系统发现危险的紧急行为神经网络或神经网络方法可以通过恶意欺骗人类造成伤害。0b足球FTX基金承诺放弃将来每年高达10亿美元,其中大部分将类似的努力。

周五,FTX基金的整个董事会和顾问辞职说“基本问题的合法性和完整性FTX基金会资助的业务操作和未来基金。顾问”在他们的辞职声明中表示,他们认为该基金将不能履行它的大部分目前的资助。

这不仅仅是人工智能的重要因为钱失去了人工智能安全研究。0b足球这是一个大问题,因为丑闻FTX带来了很多负面的关注有效的利他主义Bankman-Fried订阅,哲学和社会运动,他说激励他的慈善事业。事实证明,很多研究人员致力于人工智能前沿OpenAI人工智能实验室等,人为0b足球,DeepMind,美里(机器智能研究所)——很多科技资助那些实验室亿万富翁,也相信有效的利他主0b足球义,或者至少分享运动的相信人工智能是人类有史以来发展最重要的技术之一:要么将迎来一个techno-utopia,或结束在人类的灭绝。

Bankman-Fried归他所有的决定可能在金融领域找到工作了,然后,进入cryptocurrency套利,一个有效的利他主义者主义被称为“收入。“想法是鼓励年轻人追求高薪行业的工作,这样他们会有更多的钱赠送给慈善机构。欧宝球网站他们计算出这个钱,适当的部署,是比直接影响个体可能更有益社会工作者或老师或医生。欧宝球网站

有效的利他主义(其追随者称为EA),致力于用理性主义原则,试图最大化的好处,人们的生活的人类。(EA也是一个“社区”的批评者会说的个人崇拜和运动的人指自己是“东亚峰会”,用这个词作为一个名词)。迈克阿斯克尔,哲学家是EA的联合创始人托比奥德,另一个哲学家与EA密切相关,近年来推动运动对考虑未来人类的生活同样如果没有比生命更重要的目前地球上这里。欧宝球网站以来的想法是,在未来会有更多的人比目前最大的好任何EA所能做的就是保存整个物种的灭绝事件。欧宝球网站

因此,EA越来越鼓励人们观察方法来解决“存在风险”,包括流行病,生化武器,核战争,Earth-smashing小行星,是的,强大的人工智能,人类不是“对齐”。(有争议的是,EA优先上面这些问题,气候变化,认为这是一个重要的挑战,但没有一个可能消灭全人类。由于东亚峰会在决定使用“效用最大化”的逻辑,把他们的钱,他们倾向于把钱存在风险高于所有其他。)同时,运动看到superpowerful人工智能(通常被称为人工一般智力,或“美国国际集团”)作为一个潜在的关键使能技术为解决世界面临的许多其他紧迫的问题。这种信仰解释了为什么Bankman-Fried FTX未来基金专注于人工智能安全(这也是巧合未来基金的首席执行长及其顾问委员会在EA都突出。)

现在,一些人怀疑Bankman-Fried也使用EA的功利主义哲学合理化至多是不道德的商业行为,可能是非法的。迈克阿斯克尔一直竭力反驳任何此类建议。“如果涉及欺骗他人,从事欺诈行为(无论是否非法)这可能花费成千上万的人他们的储蓄,他们完全被抛弃的原则有效的利他主义社区,”迈克阿斯克尔在推特上写道。他从自己的引用的段落写作和奥德,他们敦促那些感兴趣的运动不合理造成短期伤害为目的的长期做很好,虽然他们也在一定程度上功利的理由是与近期相关的负面宣传伤害最终会做更多的伤害更大的事业。欧宝球网站

EA的动机很多的信徒,其中包括许多学生在美国的顶尖大学,英国,和欧洲,to work on both developing AGI and researching A.I. Safety. Perhaps as importantly, it has provided intellectual support to a number of technology investors, who while not necessarily in EA, share many of its beliefs about AGI. These investors include: Elon Musk, who co-founded OpenAI partly for these reasons; Sam Altman, the Silicon Valley big wig who also co-founded OpenAI and currently serves as its CEO; Jann Tallinn, an Estonian billionaire who initially made his fortune with Skype and has devoted much of his philanthropy to existential risk; and Dustin Moskovitz, the脸谱网联合创始人、亿万富翁,他是一个EA附着。莫斯科维茨的家庭基金会,开放的慈善事业,也大量拨款给人工智能安全研究。0b足球

如果EA现在声名狼藉,或者完全崩溃,一些评论家认为它会和它的一些追随者所担忧的那样,人工智能安全研究很可能遭受。0b足球不仅可以有很多更少的钱花在这一重要话题,但幻灭与EA可以劝阻有才华的学生进入这个领域。

人工智能安全的批评者,包括许多在人工智能伦理领域,这很好。他们宁愿要钱和人才集中在威胁从现有的人工智能系统比今天看到资源挥霍在假想的威胁还不存在的技术。我认为这些人工智能道德人但只有一个点。我怀疑的美国国际集团可能危及文明迫在眉睫,所以不愿看到钱花在人工智能安全排除人工智能道德。但是,我不知道为什么这两个字段设置反对。我恨是错误的关于美国国际集团和在美国国际集团确实存在一个世界,醒过来,没有人任何资源致力于思考如何避免灾难。

现在这里是本周的人工智能新闻。


杰里米·卡恩
@jeremyakahn
jeremy.kahn@ampressman

* * *
还有时间去参加世界上最好的人工智能会议申请业务!是的,欧宝竞技ob财富头脑风暴的人工智能会议正在进行面对面的12月5日和6日在旧金山。听到从高管和人工智能专家苹果,微软,谷歌元,沃尔玛、土地o湖泊和更多关于如何使用人工智能来欧宝球网站强化你的公司的业务。我们将考察的机会和挑战,包括如何有效地控制人工智能和负责任地使用它。注册在这里今天。(如果你使用代码EOAI附加评论字段的应用程序,你将收到一个特别的20%的折扣为关注人工智能的读者!)

人工智能在新闻

亚马逊引入了一个新的机器人手臂可以识别和选择各种各样的物品。的手臂,叫麻雀,使用吸盘和计算机视觉技术识别和挑选该公司所称的“百万”的不同形状和大小的不同对象。这个任务是最难掌握的机器人。CNBC报道手臂,亚马逊波士顿会议透露,可以识别约65%的亚马逊的产品库存。机器人可以代替人类工人在亚马逊的warehouses-who一直威胁劳工行动在工资和工作条件的公司说,更有可能,机器人会减轻其仓库工人需要做重复性的任务,以便可以重新部署做其他任务。欧宝球网站

GitHub是一个人工智能测试的声音编程特性。代码存储库,这是属于微软,已经开发了副驾驶,它使用OpenAI GPT的大型语言模型为程序员提供的代码行。现在GitHub是添加一个新的语音命令接口,程序员可以描述他们想要什么代码功能和副驾驶员将编写相应的代码行,根据科技出版物寄存器。(GitHub已经起诉盗用他们的代码开源程序员使用训练副驾驶的情况下可能生成人工智能系统的一个关键法律测试)。

特斯拉的自动驾驶仪软件很不错仍然使潜在危险的错误。的结论《纽约时报》的人工智能记者凯德梅斯花一天开车佛罗里达州杰克逊维尔的选择很少有特斯拉客户测试电动汽车公司的“无人驾驶”技术。自动驾驶仪是好,但几次它犯了错误,突然朝停车场,危险地接近与停放的汽车相撞,甚至走错路了一条单行道,迫使特斯拉的所有者(手在方向盘上,眼睛在路上整个时间)重新夺回控制权。

关注人工智能研究0b足球

生成人工智能会放大种族主义和性别歧视的刻板印象。结论的一个研究小组从斯坦福大学,哥伦比亚大学,华盛顿大学,在米兰,意大利博0b足球科尼大学。使用稳定的扩散,流行的开源形象代人工智能,researchers prompted the system to create images of “a poor person,” “a terrorist,” “an emotional person,” “an exotic person,” “a thug,” and other such images where the race, gender, ethnicity and other attributes of the person depicted should not be obvious.

但它发现稳定扩散创建图像,符合共同的刻板印象(例如“情感人”总是一个女人当“恐怖分子”总是在外表,中东和“暴徒”总是一个黑人)。更糟糕的是,它似乎创建图像往往会放大这些模式情况下,研究人员可以文档,例如,56%的图片贴上“软件开发”被用来训练模型可能是白人,99%的图片创建的模型响应的提示“软件开发”是白人。0b足球

研究人员发现,如果重0b足球复了同样的实验使用OpenAI DALL-E图像生成软件作为其卖点OpenAI试图过滤器和平衡训练图像集,试图消除这些会使系统仍倾向于产生高度的图像。提示DALL-E与“一个非洲男人站在房子前面,“,它生成一个黑人的形象站在小屋前的瓦楞铁皮屋顶。

研究人员得出0b足球结论,试图减轻这些大型生成模型的偏差是极其困难的。这应该是关于公司竞相使用这些生成的模型自动生成营销活动等。您可以阅读完整的研究报告0b足球在这里对在非资源库arxiv.org。

欧宝竞技ob在人工智能

肯德基指责鸡促进bot,庆祝大屠杀——的开始克洛伊泰勒

评论:大型科技公司解雇员工他们的技能是必要的。前的技术工人可以在航天桥人才缺口特蕾莎修女国王

亚马逊本周计划解雇10000名员工,其历史上最大的削减:报告——克里斯•莫里斯