
最近,一次
宣布了两个有关多线程和分布式系统开发的事件:
Hydra会议(7月11日至12日)和
SPTDC学校(7月8日至12日)。 接近这个话题的人都知道,
莱斯利·兰波特 (
Leslie Lamport) ,
莫里斯·赫利哈 (
Maurice Herliha)和
迈克尔·斯科特 (
Michael Scott )抵达俄罗斯是一件大事。 但是还出现了其他问题:
- 会议期望什么:“学术”还是“生产”?
- 学校和会议如何比较? 它是为谁设计的?
- 为什么它们在日期上相交?
- 它们对那些一生都没有致力于分布式系统的人有用吗?
所有这一切对于Hydra出现的人来说都是众所周知的:对我们的导演
Alexei Fedorov (
23derevo )。 他回答了所有问题。
格式
-对那些远离分布式系统的人的介绍性问题:这两个事件是关于什么的?-全球面临的挑战是,我们周围存在着无法在一台计算机上完成的服务,这些服务具有大量的操作和复杂的计算任务。 因此,应该有几辆车。 然后,出现了有关如何正确同步其工作以及在可靠性不是最高的情况下该怎么做的问题(因为设备故障并且网络断开了)。
汽车越多,故障点就越多。 如果不同的机器针对相同的计算产生不同的结果怎么办? 如果一段时间以来网络消失并且某些计算变得孤立,该怎么办,那么如何将所有这些结合起来? 总共有100万个相关问题。 新解决方案-新问题。
在这个领域中,有相当多的应用领域,但还有更多的科学领域-尚未成为主流。 我想谈一谈在实践和科学领域,以及最重要的是在他们的交汇处发生的事情。 这就是第一届Hydra会议的主题。
-我想了解一下,有一个会议,有一所暑期学校。 他们如何比较? 如果为参加学校的学生提供了参加会议的折扣,那么为什么他们会按日期相交,所以您不能一次无损失地参观所有事物?-学校是一个容纳100-150人的商会活动,来自世界各地的领先专家来这里进行为期五天的演讲。 当世界一流的灯具聚集在圣彼得堡五天,准备讲点什么时,情况就出现了。 在这种情况下,该决定表明自己不仅要组织商会学校,而且还要组织一个更大的会议。
这样的学校只能在七月的夏天举行,因为这些专家中有活跃的大学教授,而他们在其他时间根本没有准备好:他们有学生,文凭,讲座等。 学校的形式是五个工作日。 众所周知,在夏天的周末人们喜欢去某个地方。 这意味着我们不能在放学前的周末或放学后的周末举行会议。
而且,如果仍然在周末之前或之后延长几天,那么神奇的是,专家在圣彼得堡停留的5天变成了9天。 他们还没有为此做好准备。
因此,我们发现的唯一解决方案是简单地与学校并行召开会议。 是的,这会引起一些问题。 有些人想上学和参加会议,他们将不得不在这里或那里跳过部分讲座。 好消息是,所有这些都将在相邻的大厅中进行,您可以来回奔跑。 还有一个好的方面是视频的可用性,您以后可以在上面平静地观看错过的视频。
-当同时举行两个活动时,人们会问:“我需要哪一个?” 每个人究竟期望什么,有什么区别?-这所学校纯属学术活动,是一所为期数天的经典科学学校。 从事科学并与研究生院有关系的人代表着一所学术学校。

通常,由于缺乏开展活动的专业知识,此类学术活动组织得不好。 但是我们仍然是经验丰富的家伙,因此我们可以胜任所有工作。 我认为从组织的角度来看,SPTDC将超越您所见过的任何科学或实践学校。
SPTDC学校是这样一种形式,其中每场大型讲座
分两对进行:“一个半小时-休息-一个半小时”。 应该理解,这对参与者来说第一次是很困难的:两年前第一次举办这所学校时,我本人很不寻常,在一次双重演讲中我几次关闭,然后很难理解发生了什么。 但这很大程度上取决于讲师:一个好的讲师有趣地讲了三个小时。
九头蛇会议是一个更为实用的活动。 学校里将有几位科学名人来演讲:从
Leslie Lamport (其工作基于多线程和分布式系统的理论)到
Maurice Herlichi (著名的并发教科书“多处理器编程的艺术”的作者之一)。 但是在会议上,我们将尝试讨论这些或这些算法如何在现实中实现,工程师在实践中面临哪些问题,谁会发生什么而又行不通,为什么某些算法在实践中应用而另一些却没有应用。 当然,让我们谈谈多线程和分布式系统的未来发展。 也就是说,我们将提供这样的前沿技术:世界科学正在谈论什么,领先工程师的思想围绕着它发展,以及它们如何融合在一起。
-由于会议的应用更为广泛,因此不仅会有学术界的知名人士,而且还有“来自生产”的演讲者?-当然可以 我们正在尝试研究所有“大公司”:谷歌,Netflix,Yandex,Odnoklassniki和Facebook。 有一些有趣的问题。 例如,每个人都说:“ Netflix是一个分布式系统,几乎一半的美国访问量都很酷”,当您开始查看他们的真实报告,文章和出版物时,会有些失望。 因为,尽管这肯定是世界一流的水平,并且有割礼狂,但比起乍看之下它要少得多。
一个有趣的困境出现了:您可以拜访大型知名公司的代表,也可以拜访我们已经认识的人。 实际上,那里和那里都有专业知识。 我们宁愿不选拔“来自非常大品牌的人”,而是吸引非常大的专家,特定的人。
例如,会有马丁·克莱普曼(Martin Kleppman),他曾经在LinkedIn上大肆宣传,还发行了一
本好书 -也许是分布式系统领域的基础书之一。
-如果某人不在Netflix工作,但在一家公司工作更轻松,他可能会想:“我应该参加这样的会议,或者有网友互相交谈,但我无事可做?”-我要说的是:当我在Oracle公司工作了三年多时,当我的同事们聚集在一起做这些或那些Java平台时,我听到了厨房和吸烟室中最令人惊奇和有趣的事情。 可能是来自虚拟机,测试部门或性能并发的人员,例如Lesha Shipilev和Seryozha Kuksenko。
当他们开始互相讨论话题时,我通常只是张着嘴听。 对我来说,这些是我什至没有想到的令人惊奇和意外的事情。 自然地,起初我听不懂他们在说什么的90%。 然后变得不可理解的80%。 在我完成作业并读了几本书之后,这个数字减少到了70%。 我仍然不太了解他们之间在谈论什么。 但是,坐在角落里喝杯咖啡并窃听,我开始对发生的事情有所了解。
因此,当Google,Netflix,LinkedIn,Classmates和Yandex互相交谈时,这并不意味着它是令人费解和无趣的。 相反,我们必须认真倾听,因为这是我们的未来。
当然,有些人不需要所有这些。 如果您不想发展这个主题,则不必参加本次会议,您只会在此浪费时间。 但是,如果这个话题很有趣,但您一无所知,或者只是仔细看,则意味着您必须来,因为在其他任何地方都找不到类似的东西。 我认为,不仅在俄罗斯,而且在全世界。 我们正在尝试召开一次会议,该会议不仅将成为俄罗斯在这一主题上的领导者,而且还将成为世界上排名第一的组织。
这不是一件容易的事,但是当我们有如此绝妙的机会召集来自世界各地的优秀演讲者时,我准备付出很多努力来实现这一目标。 当然,我们要求第一架九头蛇的某些人将无法前来。 但是我要说的是:我们从来没有以如此强大的阵容开始新的会议。 也许除了六年前的第一个JPoint。
-我想用“这就是我们的未来”来表达:这个话题以后是否会涉及到那些今天不考虑的人?“是的,我确定。” 因此,在我看来,尽快开始讨论它是正确的。 例如,多线程理论是很久以前出现的(70年代的工作已经全面展开),但是很长一段时间以来,他们都是很多专家,直到2000年代初出现了第一台用户双核计算机。 现在我们都拥有多核服务器,笔记本电脑甚至手机,这是主流。 这种方法花了大约十年的时间才普及起来,使人们了解到,这种话语并不是狭a的专家圈。
我们现在在分布式系统上看到的几乎是同一件事。 因为诸如负载平衡,提供容错之类的基本决策已经进行了很长时间,但是很少有人知道例如分布式共识或Paxos。
我为此次活动设置的最重要的任务之一就是让工程师越来越多地投入到讨论中。 应当理解,在会议上不仅讨论了一些主题和解决方案,而且还产生了叙词表-单个概念上的装置。
我的任务是创建一个平台,每个人都可以在此平台上讨论所有这些,分享经验和意见。 这样,您和我对一种算法的作用,另一种算法的作用,在什么条件下哪种更好,它们如何相互关联等有着共同的理解。
一个非常有趣的事情与相同的多线程有关。 当我们来自Oracle的朋友(首先是Lyosha Shipilev和Sergey Kuksenko)开始积极谈论性能,尤其是关于多线程的问题时,实际上是在两三年后,这些问题开始在公司的采访中问到,人们开始在吸烟室中讨论这个问题。 也就是说,很多狭窄的专家突然变成了主流。
这是非常正确的。 在我看来,我们帮助这些人普及了所有这一问题,这确实非常重要,有用和有趣。 如果没有人想到过Java服务器如何并行处理请求,那么现在人们至少在某种程度上已经了解了这一切是如何工作的。 这太好了。
我现在看到的任务与分布式系统差不多。 这样,每个人都可以大致了解它的含义,从何而来,任务和问题在哪里,因此这也成为主流。
公司对了解此事的人有巨大的需求,但这种人很少。 我们围绕此内容创建的内容越多,就越有机会学习这些内容,我们给人们提供的机会越多,他们提出的问题越多,我们朝着这个方向前进的机会就越多。
背景知识
-会议是第一次举行,但学校不是第一次。 这一切是如何产生和发展的?-这是一个有趣的故事。 两年前,即2017年5月,我们和多线程专家Nikita
Kovale (
ndkoval )一起在基辅。 他告诉我,
暑期学校的并行计算理论和实践将在圣彼得堡举行。
在我的工程生涯的最后三年中,多线程编程这个主题非常有趣。 事实证明,夏天,非常非常有名的人们来到圣彼得堡,就像我研究过的那
本莫里斯·赫利希(Maurice Herlihi)和尼尔·沙维特(Nir Shavit)一样。 我的许多朋友都与此有关-例如,罗马·
伊利扎罗夫 (
elizarov )。 我意识到我不能错过这样的活动。
当清楚地表明2017年学校课程很酷时,便产生了必须将讲座录制在视频上的想法。 在JUG.ru集团,我们对如何录制此类讲座有完整的了解。 我们适合为SPTCC制作视频的人。 结果,学校的所有讲座
都在我们的YouTube频道上。
我开始与彼得·库兹涅佐夫(Peter Kuznetsov)进行交流,彼得·库兹涅佐夫(Peter Kuznetsov)是这所学校的主要思想家和组织者,还与维塔利·阿克索诺夫(Vitaly Aksyonov)进行了交流,后者在圣彼得堡组织地完成了所有这些工作。 我意识到这非常健康且有趣,而且很糟糕,只有100位参与者可以接触到美丽的事物。
当彼得想到需要再次上学时(2018年没有时间和精力,因此他决定在2019年去上学),很明显我们可以通过简单地从他身上删除所有组织事务来帮助他。 到现在为止,Peter从事内容工作,剩下的就是我们。 这似乎是正确的计划:Peter可能比“每个人在何时何地吃午饭”对该程序更感兴趣。 而且我们擅长于大厅,场地等。
这次,该学校而不是SPTCC,被称为SPTDC,不是“并行计算”,而是“分布式计算”。 因此,有关的区别在于:学校最近一次没有谈论分布式系统,但是在此我们将积极地讨论它们。
-由于这不是第一次上学,已经有可能从过去得出一些结论。 上次发生了什么事?-两年前第一所学校建成时,预计会有一场学术活动,主要是学生感兴趣的。 而且,来自世界各地的学生,因为学校只有英语,而且据认为会有很多外国学生来。
实际上,事实证明,很多工程师来自像Yandex一样的大型俄罗斯公司。 有来自Odnoklassniki的Andrei Pangin(
apangin ),有来自JetBrains的家伙都积极参与了这个话题。 通常,我们的合作伙伴公司有很多熟悉的面孔。 我一点也不感到惊讶,我完全理解他们为什么来到那里。
实际上,组织者曾期望该学院会有学术人员,然后突然有业内人士来了,然后对我来说很明显,行业有需求。
如果这个几乎从未在任何地方推广的活动,第一次用手指点击吸引了大批观众,那么实际上是有兴趣的。 在我看来,对此主题的要求已经成熟。
Maurice Herlichi在JUG.ru会议上-除学校外,莫里斯·赫里奇(Maurice Herlichi)在2017年圣彼得堡的JUG.ru会议上发表讲话 , 谈到交易记忆,这与会议形式有点接近。 然后谁来了-通常参加JUG.ru会议的是同一个人,还是其他观众?-有趣的是,因为我们了解到Maurice会有一份一般性的报告,而不是Java的特定报告,并且发布的公告比我们对JUG新闻订阅者的通常发布略宽。
我认识的很多人都来自根本不谈论Java的社区:.NET环聊,JavaScript环聊。 因为事务性内存的主题不是特定的开发技术。 当世界一流的专家到达谈论事务记忆时,错过听此类人并向他提问的机会,简直是犯罪。 当您正在学习书的人来找您并告诉您一些东西时,它会给人留下深刻的印象。 太棒了。
-基于结果的反馈是什么? 对于业内人士来说,这种方法是否过于学术化和难以理解?-对Herlichi报告的反馈很好。 人们写道,他非常简单明确地列出了一位学术教授所没有的期望。 但是我们必须明白,我们不仅称呼他,而且是一位世界著名的专家,具有丰富的演讲经验,并且拥有大量书籍和文章的背景。 而且,由于他有能力向人们传达信息,他可能在许多方面都成名。 因此,这不足为奇。
他的英语很普通,而且可以理解,当然,他对自己在说什么很了解。 也就是说,绝对可以问他任何问题。 , : , . , , .
动机
— JUG.ru Group , . ? , ?— , , , . — , — . - . , -.
« ». - ( , - ), : , .
, . , . , . , . .
, « », «, ». - , . .
. . Java- , . , , . , , , , , , — .
, . , , , .
70-80% . , ( , ) ( ). . .
, -. . , , , , -. , - . JavaScript, Java .NET , , , , , — , - .
: 70–80% . ? , . ? : , .
SPTDC , Hydra , .