对自由行走者的申请重新火热了起来,但命中率实在不高,而且审核时间被拖得越来越长。
好在,现在的申请者大多是有专业背景的研究人员,都不缺乏等待的耐心。
命中的研究工作五花八门,什么方向的都有,从小分子药物实验,到新架构的引力波探测器。
从反重力材料,到大规模人体实验仿真环境。
甚至有一个团队申请到了一款时间加速装置用于农作物育种研究。
他们在神国里得到一栋几百层的大楼,每层都有两亩农田,并配有以假乱真的阳光模拟装置,和各种完全自动化的无人农机。
其中最神奇的是,每层楼的时间流速都能被任意控制,甚至最高能加速上千倍之多。
作物种下去,实验程序设定好,一键按下去,一天之后作物就有了收成。
这个效率把全世界的农业研究人员都刺激得像打了鸡血一样。
有些自由行走者开始往自己的团队里面塞外国研究人员,这些人竟然也都顺顺利利地进入了神国。
这一现象让世界各主要国家内部都开始暗流涌动。
当然,在命中的这些申请书中,还是计算机领域的研究工作最多。各种性能屌炸天的gpu集群和超算平台被人们幻想了出来,用于各种各样稀奇古怪的研究任务。
--------------------
早上,李晓军把手下的五名博士生都召集到自己的办公室。
他是985高校计算机专业的教授,今天这个会议主题非常明确,让大家群策群力地规划一个自由行走的申请书出来。
缺乏大规模gpu资源的他,面对各大公司如烈火烹油般热闹的大模型研究,早已经产生了一种深深地无力感和危机感。
神国能够为自由行走者提供的计算资源,在他看来简直就是一根救命稻草。
何况自己媳妇也催得紧,让他赶紧想办法给他们一家弄个自由行走的名额出来。
大家现在都称那些申请成功的自由行走者为“王栋的宠儿”,称那些团队成员为“伙计”。
好吧,他的确已经年近五十,但当一当这个“王栋的宠儿”又何妨?
今天,他就准备启动这件事了,并且按照往常的工作习惯,遇事不决开会讨论。
然而,出乎李晓军预料的是,当他把会议的目的交待清楚后,竟然无一人发言,办公室里长时间陷入到冷场的状态之中。
现在的年轻人都学精了,如果真有好点子,为什么自己不去当“自由行走者”?
实际上,现在已经获得成功的申请者,那些“王栋的宠儿”,还真以年轻人居多。
年轻人头脑灵活,更容易想出超出常理的研究方向和研究设备出来。
而且,第一位王栋的宠儿,那个“太空粒子对撞机”的申请者,已经用他悲催的经历给大家做了很好的示范,太在乎地球上的尊卑关系,脸皮不够厚,最后倒霉的只能是自己。
不得不承认,王栋的这一举措,又把地球上讲人脉、讲资历的学术圈子冲击了个七零八落。
李晓军后知后觉,此时才意识到问题所在,一时之间也面沉似水。
大家在沉重的气氛中僵持了半天,终于有人开口说话了,“我们弄个连续学习方面的本子吧。”
说话的人叫方麟,是一位平时很让李晓军头疼的学生。
倒不是说方麟是个很笨的学生,他才华横溢,聪明得紧,应该是李晓明带过的学生中最聪明的一个。
但就是太有个性,自己想研究什么就研究什么,不怎么听指挥。
李晓军不止一次想劝退这个学生,或转到别的老师名下。
不能给老师干活的博士生当然不是好博士生。
李晓军迟疑道:“这算是通用人工智能的范畴了,有点太超前了吧?”
方麟瘦瘦高高,顶着一脑袋的长头发,虽然还没长到尽显艺术家的风范,但也足以像鸡窝一样乱糟糟的。
方麟:“王栋不就是想要超前的东西么,越超前越好。”
余下的同学都点头赞同,表示深以为然。
李晓军也觉得有理:“大家现在都在做自监督预训练,有大模型大算力加持,出现了智能涌现。”
“这几年连续学习相关的研究工作的确进展缓慢,好像没有什么清晰的方向,不好做啊。”
“不过,好做的都被申请完了,做连续学习也不错,但咱们得弄出一个具有可行性的解决方案来。”
方麟:“连续学习面对的主要问题是灾难性遗忘。如果让深度神经网分多次学习,学了后面的知识,就把前面的知识忘掉了,或者说覆盖掉了。”
“所以,这是个如何在深度模型中保留记忆的问题。”
“已有方法大概采用了如下三种技术路线:”
“一是保留以前学过的部分代表性样本作为记忆,这些样本要参与到后面的模型训练,从而把记忆转化为模型参数;”
“二是在模型学习新知识时限制参数在一个限定的范围内变化,而这个范围是由旧知识决定的,所以就达到了不会遗忘它们的效果;”
“三是每次弄出不同的网络分支以对应不同的知识。”
“第三种方法性能最差,较少被关注到,但我反倒觉得最具合理性。”
“仿真人类的情况,我们的记忆难道不应该是神经网络形式的,不同的记忆难道不应该是不同的子网络么?。”
“以前遇到的困难是如何将这些分支融合以达到记忆选择的效果,然而不融合直接选择也是一种办法。”
“假设面对一种任务,其所要学习的知识有一万种子模式,每种模式我们都可以保留三个模型:一个用于生成已习得数据的模型,大模型形式的生成模型现在就很好用;另一个用于对新到达样本做数据增强,达到将一个样本变成上千个内容相同但表示不同的样本的目的;最后一个才是这个子模式对应的处理模型。”
“用这三个模型来代表对某种模式知识的记忆。”
“训练时,先将新到达样本在每个记忆模式里分别做数据增强,然后用对应的生成模型生产大量记忆样本。把记忆样本与增强样本一起去重新训练处理模型”
“如果该处理模型对各种生成样本仍旧有较高的准确率,该子模式就被选中,把处理模型更新为重训模型,当然,生成模型和增强模型也需要一起被重新训练。”
“推理时,过程也是一样的,将待处理样本在每个知识子模式中都进行增强,然后与生成样本一起重训处理模型,根据重训模型对各种生成样本的准确率,决定是否接受其识别结果。”
李晓军已经听得眉头紧皱:“有点道理,这是用模型训练来解决模型选择问题,或者说记忆选择问题。”
“假如真有上万个知识子模式,每一个样本都要进行上万次模型训练才能完成对它的学习和推理。学习时还行,慢就慢了。但推理时必须经过上万次模型训练,这能忍受么?”
方麟:“我看王栋已经提供的那些计算平台,算力也都高得离谱。我们可以大致估算出来,我们这个方案如果要达到实时的推理速度,大概需要什么样的算力,比现在最高算力还要高几千万倍。”
“不过这不是我们的问题,是王栋的问题,如果他能提供这样的算力,我们就可以按照这一思路进行研究。”
“现在这个世界已经很魔幻了,不妨更魔幻一些。说不定王栋就喜欢这样魔幻的东西呢!”
李晓军被说服了,他充满希冀地望着方麟:“方麟,你来主笔写个草稿,我们再讨论,行不行?”
方麟爽快地答应了。
李晓军突然觉得不甚把握,看了看大家,开始画饼:“如果申请成功,你们都是团队成员。”
想了想,又许愿道:“每个人都可以带一名家属。”
除了方麟,四名博士生都欢呼了起来。
李晓军看了看沉默不语的方麟,把他单独留了下来,准备再进一步做做他的思想工作。
其他人离开后,方麟却抢先一步开口说话:“李老师,您放心,我不会自己去提出申请的,但我也不会跟您去神国。”
李晓军听到前面的话还略显尴尬,听到后面却只剩下了迷惑不解,问道:“为什么?”
方麟:“我是反神联盟组织的成员。”
李晓军被惊得直接从椅子上蹦了起来,连办公椅都被他带倒了。
他被吓得有些六神无主了,急急忙忙地问道:“为什么?”
方麟:“我们不能把人类的命运交到个别人手中,王栋居心叵测,这个世界上总得有制衡的力量吧。”
李晓军神色复杂,脸上的表情变幻莫测。
他不觉得方麟这句话有逻辑上的错误,但也没有那么高的觉悟去螳臂挡车。
“你告诉我这个消息,不怕暴露自己的身份么?”
“李老师,你放心,王栋傲慢得很,根本不在乎反神联盟,我们许多成员都去了神国,他也没有阻拦,其中还有一个是自由行走者。”
“我们这个组织其实是高铁候车室事件后才成立的,虽然沿用了之前的名字,但其实并没有实质的联系。”
“王栋肯定早就知道了,但只要我们不做出危害他的行为,他就懒得管我们。”
“他肯定不会因为我是反神联盟组织的成员就阻拦你的申请。”
李晓军神情舒缓了一些,他把椅子扶了起来,慢慢坐下,最后说:“既然如此,你也可以跟我去神国啊。”
方麟:“我在地球上有更重要的任务要完成。李老师,我今天不是要劝您加入反神联盟,只是希望将来需要您站队的时候,您能站在人类这边。”
李晓军盯着满脸悲壮之色的方麟看了许久,终于缓缓地点了点头。