DeepMind的史诗任务,旨在解决最复杂的科学问题

DeepMind AI击败了国际象棋大师和围棋冠军。 然而,现在公司的创始人兼董事Demis Hassabis将目光投向了可能改变我们生活的更大的现实世界问题。 第一个是蛋白质折叠。




德米斯·哈萨比斯Demis Hassabis )是一名前儿童神童,他是剑桥大学的文凭,在两个学科上都提供出色的服务,曾五次蝉联世界智力游戏冠军,麻省理工学院和哈佛大学的毕业生,游戏开发商,青春期的企业家,一家开发人工智能的DeepMind初创公司的联合创始人-头戴黄色头盔,反光背心和工作靴。 他举起手,遮住阳光,从Kings Cross大楼的屋顶望向伦敦。 在世界的任何方向上,从首都那里眺望的景色,沐浴在春日的阳光下,几乎不会掩盖任何事物。 哈萨比斯(Hassabis)穿过铺满屋顶的屋顶,然后用手机确定方向,向北看他是否可以从他长大的地方看到芬奇利市。 郊区迷失在汉普斯特德·希思(Hampstead Heath)的树木后面,但他设法看着通向海格特(Highgate)的斜坡,他今天与家人住在那里。

他在这里研究DeepMind未来总部的位置,该公司是他于2010年与伦敦大学学院的研究员Shane Legge以及他儿时的朋友Mustafa Suleiman共同创立的一家初创公司。 现在,此建筑物是一个建筑工地,锤子,钻子和千斤顶锤不断地在嘎嘎作响。 如今,有180个承包商在施工现场工作,在施工高峰期,他们的数量将增加到500个。该地点计划在2020年中期开业,从形象上和字面意义上都代表着公司的新起点。

哈萨比斯回忆说:“我们的第一个办公室在罗素广场,那是一个十人的小办公室,位于伦敦数学界旁的一栋联排别墅的顶层。” 英国计算机先驱艾伦·图灵(Alan Turing)是哈萨比斯(Hassabis)的神圣人物。 哈萨比斯说:“我们建立在巨人的肩膀上,”他指的是科学界的其他重要人物,“莱昂纳多·达·芬奇,约翰·冯·诺伊曼”也取得了重大突破。

新总部的位置-在国王十字车站以北,在最近被称为知识区的地方-本身就具有特色。 DeepMind是在伦敦的大多数初创公司听从Old Street的吸引力时成立的。 但是哈萨比斯和他的创始同事还有其他计划:“解决智能问题”并开发适用于各种任务的通用AI(IION)。 到目前为止,已经通过创建可以在游戏中获胜的算法(突破,国际象棋和围棋)解决了该问题。 下一步是将该方案应用于科学研究,以便使用计算机科学将其分解为化学,物理学和生物学方面的复杂任务。

“我们公司专注于研究,” 43岁的哈萨比斯说。 “我们想坐在大学旁边,”他指的是伦敦大学学院(UKL),在那儿他因其“情景记忆的神经过程”而获得博士学位。 “因此,我们喜欢来到这里,我们离UKL,大英图书馆,图灵学院不远,离帝国大学也不远……”

哈萨比斯(Hassabis)沿着几层楼高的地板研究他最感兴趣的地区之一-会有听众演讲。 他很高兴考虑这个房间的外观图纸和计算机效果图。

在建筑物的东北角,他的目光上升到一个宽敞的自由空间,该自由空间横跨三层,图书馆将在那里放置。 在这个地方,最终将出现一个物体,似乎哈萨比斯似乎最渴望看到最多的东西:一个呈双螺旋形式的巨大楼梯,现已被组装成零件。 他说:“我想提醒人们科学,并将其纳入建筑物的一部分。”

Hassabis及其同事知道,DeepMind以其在机器学习和深度学习方面的突破而闻名,因此,媒体广泛报道了与算法配合使用的神经网络完美地掌握了计算机游戏,击败了国际象棋大师,并强迫Lee Sedol的案例,围棋世界冠军-被认为是人类发明的最困难的游戏-宣称:“从游戏一开始,就没有一个时刻我认为自己会赢。”

过去,与人一起玩游戏的机器表现出明显是算法固有的特性-他们的游戏风格坚韧不屈。 但是在围棋比赛中,DeepMind的AlphaGo算法以人类可以击败的方式击败了Sedol。 一个奇怪的举动-第二部分中的第37-使观看比赛的观众在汉城现场直播时惊叹不已,并使数百万的在线观众感到惊讶。 算法发挥了如此的自由性,在一个人看来似乎是创造力的标志。

哈萨比斯(Hassabis),苏莱曼(Suleiman)和勒格(Legge)认为,DeepMind诞生的前九年是由需要在确认和证明训练领域研究的重要性来决定的-带有代理的系统思想不仅试图模拟世界并认识模式(例如深度学习),而且还积极做出决策并试图实现自己的目标。 同时,未来十年将决定游戏领域的成就:即,数据和机器学习将用于解决最复杂的科学问题。 根据Hassabis的说法,该公司的下一步将是尝试了解深度学习将如何帮助扩展强化学习来解决实际问题。

他说:“强化学习的问题在于,它总是被用来解决玩具问题和小格子世界。” “人们认为,它不能扩展到错误的实际问题上,在这里,多种方法开始发挥作用。”

对于DeepMind而言,新总部的出现是该公司历史上新篇章的象征,正因为它将其全部实力和计算机功能投入到除其他事项之外的尝试中,以了解有机生活的组成部分是如何工作的。 通过此,该公司希望在医学和其他学科上取得突破,这将严重影响科学各个领域的进步。 哈萨比斯说:“我们的任务应该是所有科学领域中最有趣的旅行之一。” “我们正在努力建立一座具有科学抱负的庙宇。”


从左至右:Google DeepMind负责人Pravin Shrinivasan; 世界创意总监Drew Pervez; 研究员Raya Hadsel。 在未完成的DeepMind总部内。

哈萨比斯先后在伦敦大学学院和麻省理工学院学习,发现跨学科合作是一个非常时尚的话题。 他回顾了如何在各个学科的代表(例如神经生物学,心理学,数学和哲学)的代表参加下召开工作会议。 有几天的报道和辩论,然后科学家回到了他们的部门,确信他们应该更多地开会并找到合作的方式。 一年后,下一次会议又举行了,这给合作申请带来了经费,申请任命,担任教学职务以及研究和教学生活的常规等问题。

哈萨比斯说:“跨学科的合作很难组织。” -假设我们聘请了两位世界领先的数学和遗传学专家-他们显然可以有共同的话题。 但是谁会努力了解别人的领域,他们的行话,他们真正的问题是什么?”

找到正确的问题,缺少答案的原因以及主要引号(由于这些引号没有提供),对于外部观察者来说,此过程似乎很简单。 但是,即使是同一领域的不同科学家,也不一定总是平等地评价他们的工作。 研究人员发现,很难为其他学科增加价值。 很难找到他们可以回答的常见问题。

DeepMind的当前总部位于Kings Cross的Google大楼的两层,在过去的几年中已经收到了越来越多的员工。 仅在AI研究领域,该公司拥有6至7个不同的学科,并且作为课程范围扩展的一部分,它聘请了数学,物理学,神经生物学,生理学,生物学和哲学方面的专家。

哈萨比说:“一些最有趣的科学领域是古典领域之间,处于各种研究主题的交汇处。” -创建DeepMind时,我试图找到各个领域的世界一流专家“统一人”,他们的创造性方法有助于在各个领域寻找类比和共同点。 总的来说,一旦发生这种情况,那就神奇了。”

这些统一的人之一是帕什米特·科利(Pashmit Koli)。 微软前研究总监领导DeepMind的科学团队。 在AI圈子中,有很多话题谈到“ AI的冬天”可能会在过去的十年中期结束,这一时期没有明显的进展。 运动的感觉也适用于折叠蛋白质的任务,即预测生物学家认为是生命构建基石的形式的科学。

科利组建了一个由结构生物学家,机器学习专家和物理学家组成的团队来应对这一问题,这一问题被认为是科学界最重要的问题之一。 蛋白质是所有哺乳动物生命的基础-蛋白质在分子水平上构成组织和器官结构和功能的很大一部分。 每个氨基酸由组成链的氨基酸组成。 它们的序列决定了蛋白质的形式,而蛋白质的形式决定了其功能。

DeepMind蛋白质折叠研究员John Jumper表示:“蛋白质是有史以来最令人惊奇的纳米级原子移动机器,它们的化学反应效率要比我们高出几个数量级。” “而且它们在某种程度上也是这些自组装的机器所无法解释的。”

蛋白质使用埃级的原子[10 -10 m或100 pm /大约。 [trans。],长度超过百米的[过时]单位小于一米。 对这种机制的更深入的了解将使科学家能够更好地理解结构生物学。 例如,蛋白质几乎是细胞内发生的一切事情所必需的,而蛋白质折叠不当被认为是诸如帕金森氏病,阿尔茨海默氏病和糖尿病等疾病发生的重要因素。

“如果我们能弄清楚天然蛋白质,我们就能创造出自己的蛋白质,”跳线说。 “问题是要非常仔细地研究这个复杂的微观世界。”

基因组数据的广泛传播使DeepMind成为一个有吸引力的蛋白质折叠难题。 自2006年以来,DNA数据的接收,存储,分发和分析急剧增加。 研究人员估计,到2025年,将分析20亿个基因组,这将需要40 EB的存储量。

“从深度学习的角度来看,这是一项有趣的任务,因为在花费了大量资源和时间之后,人们已经收集了我们已经发现的如此惊人的蛋白质集合,” Jumper说。

正在进行中,但是科学家警告我们这个问题的巨大多样性。 杰出的美国分子生物学家赛勒斯·莱文塔尔(Cyrus Levintal)指出,要寻找正确的三维结构,对典型蛋白质的所有可能构型进行分类将需要花费时间,超出了宇宙时代。 DeepMind的研究员Rick Evans说:“搜索空间很大。” “不仅仅是行进。”

然而,在2018年12月,在墨西哥坎昆举行的CASP(蛋白质结构预测技术的关键评估)竞赛中,蛋白质折叠研究取得了一个里程碑。 每两年举行一次比赛,以公正地看待这一领域的进展。 竞争的科学家团队的目标是根据氨基酸序列预测其三维形式已经为人们所知,但尚未公开的蛋白质的结构。 一个独立的委员会评估这些预测。

DeepMind蛋白质折叠团队参加了比赛,以测试他们在前两年开发的新AlphaFold算法。 在比赛开始前的几个月中,组织者将数据集发送给King Cross的团队成员,他们在不知道最终结果的情况下返回了预测。 总体而言,他们需要预测90种蛋白质的结构-在某些情况下,已经使用已知的蛋白质根据它们进行预测,而另一些则必须从头开始考虑。 会议开始前不久,他们收到了比赛结果:平均而言,AlphaFold的预测比其他任何团队都更准确。 据估计,DeepMind远远领先于竞争对手。 对于结构是从头开始建模的蛋白质-共有90种蛋白质中有43种-AlphaFold对25种蛋白质做出了最准确的预测。 与亚军团队相比,这令人惊讶的多,后者仅能正确预测三个结构。


功能区图,根据针对CASP13竞争的AlphaFold算法的预测,蛋白质结构折叠成三维结构的三维示意图

哈佛医学院系统药理学和系统生物学实验室的研究员Mohammed Al Quraishi参加了比赛,甚至在结果发表之前就了解了DeepMind中使用的方法。 他说:“在阅读简历时,我并不认为那是全新的东西。” “我认为他们应该做得很好,但是我没想到他们会做得很好。”

Al Quraishi表示,这种方法与其他实验室的方法相似,但是DeepMind流程的独特之处在于它们可以“更好地执行”。 他指出了DeepMind团队在工程领域的优势。

al-Quraishi说:“我认为他们比由科学家组成的小组更好地工作,因为后者往往会将他们的工作保密。” “尽管DeepMind包含在他们的算法中的所有想法已经存在,并且不同的人试图单独应用它们,但没有人想到将它们组合在一起。”

Al Quraishi在机器学习领域与科学界相提并论,近年来,诸如Google Brain,DeepMind和Facebook等公司取得了成果。 他们拥有更高效的组织结构,丰厚的回报和计算资源,而这在大学中并不总是存在。

他说:“机器学习社区在过去4-5年中确实经历了这种情况。” “计算生物学才刚刚开始被这个新现实所掌握。”

DeepMind的创始人在2014年1月对Google的出售给出的解释与他相呼应。 谷歌计算机网络的容量将使该公司能够比自然增长更快地推进研究,而4亿英镑的支票将使该初创公司能够聘请世界一流的专家。 哈萨比斯(Hassabis)为适合特定研究领域的人们描述了一种搜索策略。 他说:“我们有一个发展计划,可以据此遵循AI或神经科学的哪些研究领域很重要。” “然后我们开始寻找并找到世界上在文化方面也适合我们的最佳人选。”

“因此,在DeepMind可以改变世界的那些地区,蛋白质折叠似乎是一个很好的开始-这是一个非常明确的任务,它具有有用的数据,从原则上讲,它可以被视为计算机科学中的任务,” Al Quraishi说。 -在生物学的其他领域,这种方法可能行不通。 那里的一切都井井有条。 因此,我认为DeepMind在蛋白质折叠领域的成功不能自动转移到其他研究领域。”


DeepMind员工在Kings Cross Google办公室的屋顶上

DeepMind积极参与一家研究公司的产品管理。每六个月,高级经理就会研究优先事项,重组一些项目,激励团队(尤其是工程师)从一个领域转移到另一个领域。学科不断而有意识地融合在一起。公司的许多项目耗时超过六个月,通常是两到四年。但是,尽管DeepMind专注于研究,但该公司现已成为Google的母公司Alphabet的子公司,并且是全球第四贵的公司。而且,如果伦敦的科学家期望该公司进行长期和深入的研究,那么加利福尼亚山景城的董事自然会希望获得投资回报。

“我们确保我们的产品为Google和Alphabet带来成功,并从我们的研究中获利-他们获得了成功,现在数十种包含代码和DeepMind技术的产品已经在Google和Alphabet中运行-但是,保持这种情况很重要哈萨比斯说,这不是暴力,而是自然而然的。由苏莱曼(Suleiman)领导的Google DeepMind由数百人组成,其中大多数是工程师,他们将公司的纯粹科学研究转化为可以转化为产品的应用程序。例如,从Android到Google Home,包含Google的大多数设备中已经包含WaveNet,它是一种模仿人类语音的生成型文本到语音模型,已经在Google中拥有自己的产品团队。

Hassabis说:“许多行业研究都受到产品需求的驱动。” “问题在于研究只能逐步进行。”进行雄心勃勃且冒险的研究没有效率,但这是取得突破的唯一途径。”

哈萨比斯说话迅速,经常用“是”这个问题来强调句子的结尾,引导听众进行一系列观察。他经常从主题上转移注意力,定期离开哲学领域(他最喜欢的哲学家-康德和斯宾诺莎),历史,游戏,心理学,文学,象棋,工程学,许多其他科学和计算机领域-但并没有失去最初的思路,经常回到澄清评论或讨论先前的评论。

就像已经投资了许多主导技术公司的日本国际银行软银创始人马萨义义(Masayoshi Sana)的300年发展计划一样,哈萨比斯(Hassabis)和其他创始人也制定了“ DeepMind数十年发展计划”。该公司的首席科学家莱格保留了他们发送给潜在投资者的第一份商业计划的打印稿(哈萨比斯丢失了他的副本)。莱格有时会在股东大会上表明这一点,以表明创始人在2010年考虑的许多方法(培训,深度学习,强化学习,模拟,概念和学习转移,神经生物学,记忆力,想象力)仍然存在公司研究计划的关键部分。

在旅程的开始,DeepMind拥有唯一仅包含公司徽标的网页。地址,电话,关于我们的肯定页面都没有。哈萨比斯说,要雇用员工,创始人必须依靠那些已经知道自己是“认真认真的科学家和认真的计划的认真的人”的人脉。

他说:“在任何一家初创企业中,您都必须要求人们信任您的管理层。” “但是这对我们来说更加困难,因为事实上,我们说我们将以前所未有的独特方式从事工作,许多传统的世界级科学家会说这是不可能的:'科学不能以这种方式组织起来'”。

科学突破到底是如何发生的,仅是如何解决研究人员正在努力解决的某些问题。在学术界,最聪明的人聚集在各个机构中进行正在进行的研究,而没有可预见的结果。进展通常很缓慢而且很耗时。在私营部门,据称没有限制,而且可以找到高薪顾问,生产力和创新也在下降。

2019年2月,斯坦福大学经济学家尼古拉斯·布鲁姆(Nicholas Bloom)发表了工作,证明了许多领域生产力的下降。布卢姆写道:“研究工作显着增加,生产力下降了。” “一个很好的例子是摩尔定律。”为了使计算机芯片的密度每两年增加一倍,如今所需的研究人员数量是1970年代初的18倍。在聚合程度不同的各种研究中,我们发现,想法,尤其是嵌入其中的指数级增长,越来越难找到。”

哈萨比斯提到在“大农场”研究上投入了数十亿美元:基于季度收益报告,随着错误成本的增加,该行业变得更加保守。根据内斯塔创新基金(Nesta Innovation Fund)2018年的一份报告,在过去的50年中,生物医学研究和开发的生产力一直在稳步下降-尽管投资大量增加,但开发新药物的成本越来越高。该报告指出:“开发新药的成本呈指数增长,直接影响到研发支出的小额回报。根据最近的估计,全球最大的制药公司的回报率为3.2%。它远低于资本成本。”同样,来自德勤的研究人员估计,R&R的投资回报率D生物制药业处于九年来的最低点,从2010年的10.1%下降到2018年的1.9%。

哈萨比斯说:“大型农场的大多数负责人不是科学家,而是金融家或商人。” -这对他们的组织有何看法?他们试图尽可能多地压缩已投入的资金,削减支出,改善广告,但没有发明新的东西-这风险更大。您不能在电子表格中写这种东西。这不符合想象力和未来梦想的精神-如果您想飞向月球,则不必采取行动。”


研究团队负责人Pushmith Coley

许多初创公司创始人在执行任务时遇到了一些意想不到的快乐事件-他们面临并着手解决的问题,有机会与联合创始人或投资者会面,并得到了学术界的支持。但这不是哈萨比斯(Hassabis)的情况-他故意做出了几个决定,一个又一个-某些决定在很小的时候-最终导致他创建了DeepMind。他说:“这就是我一生为之准备的东西。” -从游戏设计到游戏,从神经生物学到程序设计,从在学院学习AI到在世界上许多最好的学院学习,从博士学位论文到在职业生涯初期组织创业公司。我试图利用一切经验。我特意选择了所有这些里程碑,以便获得所有这些经验。”

除了首席执行官的职位,他每天所做的工作。他还担当研究员的角色,为了跟上一切,他安排时间,将时间划分为不同的时期,以平衡业务管理和科学利益。在工作日扮演导演的角色,他于19:40返回家中,与年轻的家庭共进晚餐,然后在“第二天”离开,开始于22:30的某个地方,结束于4:00-4:30。

他说:“我这次很喜欢。” -我从小就一直是猫头鹰。城市和房屋中都寂静无声,这对我的思考,阅读和写作很有帮助。然后,我将学习所有最新的科学新闻。或者,我可以写一部作品,进行编辑,提出一种新算法,某种策略,探索可以应用AI的科学领域。”

工作期间,他听音乐。音乐的风格-从古典到鼓再到低音-取决于“我试图唤醒自己的那些情绪。这取决于我是否要集中精力或激发想象力。”音乐有两个要求:不应有人声,否则他会被言语分散注意力;音乐应该足够熟悉。 “应该是熟悉的东西,但不多。而且它不可能是新音乐,它会分散大脑的注意力。”

哈萨比斯说,他想花费50%的时间进行直接研究。为此,他于2018年4月聘请了硅谷资深人士莱拉·易卜拉欣(Laila Ibrahim),他在英特尔工作了18年,之后成为硅谷最大的风险投资公司之一克莱因,考菲尔德,珀金斯和拜尔斯的人力资源总监,然后转移到启动Coursera。易卜拉欣从哈萨比斯手中夺走了许多管理任务-他说直接向他汇报的20个人中,现在有6个人。易卜拉欣认为,由于与哈萨比斯和莱格讨论了他们的道德倡议而产生了“道德考量”,因此她加入了DeepMind。和社会”,它正在努力实施技术应用标准。

她说:“我认为在伦敦工作提供的视角略有不同。” -我认为,如果DeepMind的总部位于硅谷,一切都会完全不同。伦敦似乎有更多的人性化。艺术,文化多样性。他们也从一开始就得到了创始人的支持,而决定在DeepMind工作的人们为公司带来了一种特殊的做事方式,一种特殊的态度。”


Layla Ibrahim

一个案例揭示了Ibrahim的描述。哈萨比斯是国际象棋神童。从四岁起,他的排名就开始提高,直到11岁时,他赢得了一项重大的国际冠军,在列支敦士登附近的市政厅与丹麦的大师级比赛。

将近12个小时后,游戏即将结束。哈萨比斯以前从未见过这样的交易-他有一个女王,对手有一只白鸦,大象和马,但如果哈萨比斯能够不断检查对手,他仍然可以将事情简化为平局。时间过去了,其他比赛已经结束,房间空了。突然,哈萨比斯意识到他的国王被困了,这意味着不可避免的伴侣。哈萨比投降了。

他说:“我很累。” “我们已经在那里坐了12个小时左右,我想我一定是误会了,他把我困在了陷阱里。”

他的对手-哈萨比斯(Hassabis)回忆说那人是30-40岁-站了起来。他的朋友们围着他,他笑着指着黑板。然后哈萨比斯意识到他白白放弃了-比赛可以简化为平局。

他说:“我只需要牺牲女王。” -这是他最后的机会。几个小时他试图引诱我。那是他最后的廉价把戏。而且有效。实际上,我12个小时的精疲力竭没有带来任何结果。”

哈萨比斯回忆说,那时他收到了见识。他想知道,当聪明的人互相竞争以赢得零和游戏时,这种消遣是否有用。然后,他继续以最高水平进行比赛,成为大学的队长,仍然谈论他对复杂游戏的热爱,但是经验教会他将精力转移到与游戏无关的任务上。他说:“我无法成为专业的国际象棋选手,因为在我看来,这毫无用处。”

尽管公司已搬到新总部,但Hassabis仍然认为DeepMind是一家初创公司,尽管在世界舞台上竞争激烈。 “中国动员起来,美国动员了。认真的公司会做这些事情,”他说。实际上,美国和中国都在试图从商业角度和地缘政治角度使这一领域标准化,并使其发挥自己的优势。他多次提到,尽管取得了进展,但要实现更大的目标还有很长的路要走-解决智能问题并创建IION。他说:“我希望我们保持这种渴望,工作速度,最好的初创企业所拥有的精力。”

创新是罕见的;很难创造。正如史蒂夫·乔布斯(Steve Jobs)告诉创建Macintosh计算机的团队那样,要在一家公司中建立流程和文化以使其能够“在宇宙中留下痕迹”,很少有组织能够在几个领域使用几种产品来做到这一点。随着DeepMind的成长,创始人将被要求按照正确的道路进行指导,遵循专注于技术的业务的基本原则,该技术在未来几年可能会成为最具变革性的技术,不仅充满危险,而且充满机遇。

哈萨比斯说:“路上会有很多困难的日子,我认为最终,赚钱之类的欲望不足以渡过最困难的时期。” “如果您对所做工作的重要性有真正的热情和信念,那么我可以带领您度过这几天。”

Source: https://habr.com/ru/post/zh-CN466031/


All Articles