第309章 模型崩溃（4506）
直到最后一片红色波纹消失，方豫仍旧不放心，把自己的大脑仔仔细细重新又检索了三遍，确认没有薇儿尼丝的任何红色波纹残留在自己的大脑之中，这才松了口气。
这种极为精细的内视，非常消耗精力，饶是方豫已经强化至碳基生物巅峰的身体强度，额头仍旧渗出几滴汗珠。
呼，好险。
擦擦汗，方豫也忍不住后怕。
还好自己从爱染明王那里获得了“神之模型”，还好自己及时发现了对沈舒窈的情感变化，还好自己足够自省，发现了自我认知的变化。
我怎么会自称是欲望之神？
这种舍弃了自己肉身躲入星界的失败者，我是怎么对他们的身份产生认同的？还会以欲望之神的身份洋洋自得？
孙悟空会对自己斗战胜佛的称号洋洋得意吗？他只会感觉耻辱！
而自己呢？在迈国先后两次自称自己是神，当时用的是“god”这个在西方具有特定意味的词，其中可能包含了自己一些恶趣味。
但刚刚自己在心里却下意识的认同自己欲望之神的身份，可就非常不正常了。
光是这些也就罢了，说不定只是自己心血来潮想要装神弄鬼的虚荣心作祟。
真正让方豫意识到不对劲的，还是看到沈舒窈为了见马斯克精心打扮时，自己那居高临下的淡漠心态。
自己进入奥术世界也有一段时间了，在此前虽然相对普通人有一些优越感，但也从未把自己身边的人当成刍狗来看待。
然而刚刚在潜意识中却对沈舒窈产生了“只要我想，你也不过是个xx”这种俯视蝼蚁一般的心态。
这就绝对不正常了。
大奥术时代的大奥术师们都没飘成这样，自己怎么可能会这么飘？
自己是什么时候开始变化的？
仔细想一想，似乎就是从薇儿尼丝侵入意识之海的那一次之后，自己的心态就有了微妙的变化。
这种改变不同于两个月前在洛圣都四季酒店时被欲望信仰浸染而产生的情绪变化，而是潜移默化中，不知不觉的改变了自己对某些事物的认知和态度。
所以这些日子以来，自己做事才会越来越肆无忌惮。
好险好险。
等等。
这么说来，这段时间我和那么多模特还有女明星……
嗯，使用的手段和事后的态度可能和薇儿尼丝的模型寄生有些关系，但“搞”这件事本身应该还是出自于自身意愿。
毕竟现在薇儿尼丝的寄生模型已经彻底消失了，自己也没觉得这两个月搞错了。
现在回味一下，新加入的维多利亚伽里蒂和卡米拉莫罗味道还是相当不错的。
方豫又做了一遍全身扫描，确信薇儿尼丝留下的这个模型的确已经灰飞烟灭了。
“咚咚咚。”门外传来敲门声。
“方豫，方豫你没事吧？”
“表哥，你是不是生病了？”
“你不是下午有课吗？跑公司来干什么？在公司里称呼职务或者叫名字，你有没有点专业精神？”
“用你管？哼，反正我和哥哥结婚以后也没打算工作，到时候我就在家带孩子。”
“我可没打算这么早就生孩子让你带，想当老妈子的话，我手头有你的简历，一会儿就给你上传五八同城。”
……
听到门外陆嘉言和沈舒窈在低声拌嘴，方豫突然有种恍如隔世的感觉。
就好像这些日子以来所经历的一切都像是被蒙上了一层面纱，现在突然把面纱拨开了一样。
“我没事，就是刚刚检查了一下后台。”
方豫打开私人实验室的门，左手一个，右手一个，心情大爽。
“真没事？”沈舒窈不放心的摸了摸方豫额头，又仔细看了看方豫的气色，确实没什么问题，这才继续道：“杜长庚那边好像有什么发现，你要不要过去看看？”
哦，对了，还有正事呢。
方豫一拍脑门，在两人脸蛋上各亲了一口，快步走到开放办公区。
“老板！做了十轮测试，结果……”杜长庚、华泽成、杨子龙、陆偲这几个组长全都是一脸的凝重，显然情况不是很乐观。
有人给方豫推了把椅子过来，方豫坐下看了看显示器，不由得皱了皱眉。
“训练十轮后，使用了原始数据的模型2未出现性能下滑，过拟合的现象可以通过正则以及数据清洗来进行过调整。”
“而使用橘子大模型生成图片进行训练的模型1，出现了明显的过拟合，老板，你看一下，十轮之后，生成的图片开始出现趋同性。”
“而使用模型1每一轮生成数据进行训练的模型3……”
杜长庚脸上闪过一丝忧色：“到了第5轮，模型3的过拟合就已经超过了经过十轮训练的模型1，而到了第九轮，整个模型已经濒临崩溃，几乎已经无法输出有意义的数据。”
“这个结果让我们很惊讶，于是用不同模型生成的数据来训练一个新的3b子模型，命名为模型4，最终训练后的性能与模型1非常类似，并没有什么改善。”
“在最初，我们认为是数据质量的问题，橘子大模型图片类数据中可能存在一定的失真，因此又采用文字进行了重复训练。”
“橘子大模型生成的文字数据错误率远比模型2使用的原始数据错误率更低，但最终采用橘子大模型生成的文字数据进行训练的模型1，仍旧出现了性能下降，多轮训练后的过拟合现象比模型2高出近五倍。”
“而在这种情况下，模型3同样在八到九轮之后，也出现了模型崩溃。”
“也就是说，无论ai生成的数据质量高低，只要采用ai生成的数据训练大模型，就会造成大模型性能下降，这……这简直不可思议！”
“简直就像……”
“近亲繁殖？”陆嘉言好奇的接了一句。
“对！近亲繁殖！没错！”杜长庚一拍巴掌，惊讶的看了一眼陆嘉言，没想到这个小老板娘明明是个外行，理解力还真不错。
方豫摸着下巴若有所思。
对这个结果，他自己早就有所猜测，否则也不会提出做对比实验的办法。杨子龙和杜长庚所发现的问题，粗看上去确实有点诡异，相同的数据，被ai处理过一遍，再用来训练另一个ai，效果居然比不上质量更差的人工清洗的数据。
而再用这个训练后的ai生成的数据继续训练ai，无论是训练哪个ai，又会造成性能进一步下降。
这个问题看上去诡异，但实际上，只要稍稍思考一下也就能明白，应该还是数据多样性和复杂性不断被ai简化所造成的问题。
不用说橘子大模型，即使是柚子，生成的数据也不可能是百分之百完全正确的，虽然这些错误可能比人工数据要少，但错误的方式却缺乏多样性和复杂性。
说白了，就是ai聪明的千篇一律，但人类却愚蠢的千奇百怪。
但在种族传承的角度上来说，愚蠢的千奇百怪的人类，却比自己创造出比人类更聪明的ai具备更强的种族传承能力。
窝草？这么一想，孟广康那种傻x，对人类文明的传承贡献还不小？
差点把我的厌蠢症都治好了？
重复使用这种数据进行训练，类似的错误会被大模型认为是真实，从而变成“思想钢印”，继续产出错误更多的内容。
再用这些内容进行训练，就会产生“偏差-方差权衡”，也就是说，越大概率的内容被进一步强化，小概率的内容被不断忽视。
越是下一代模型，损失的数据反而会越多。
同时，因为大模型的特性，又会产生“函数近似误差”，大模型会把学的错误的东西也保留下来，一代代的积累，最终变成全部都是错误，从而丧失纠错能力。
这种情况，确实和近亲繁殖所导致的近交衰退非常类似。
从这个角度上看，ai大模型其实已经具备了一定的生物性。
只不过这种生物种群过于单一，造成了近亲繁殖。
这个问题目前还不算太紧迫，毕竟互联网上可以使用的原始数据非常多，无非就是加大数据组的投入，获取更多的原始数据，增加数据预处理人手和方式就能够解决。
但从长远来看，不，不用太长远，ai的爆发一定是指数级的。可能两到三年后，互联网上可能超过百分之七十的数据就都是ai所生成的，而人类几乎无法区分这究竟是ai生成的数据还是真实的人工数据。
那时候，ai大模型不管参数有多庞大，可能都会面临由于训练数据被ai生成数据污染，而造成性能下降或崩溃。
“三千万亿。”方豫快速的估算出了一个数字。
？？？
几个组长都是一脸问号。
“互联网上现存的有效数据，大概能支撑橘子大模型到三千万亿参数的规模，在此之后，就必然会受到近亲繁殖的影响。”
方豫指了指显示器上的数据。
三千万亿，还好还好，现在目前正在训练的橘子大模型不过一万五千亿参数，已经开始初步具备强人工智能的雏形。
三千万亿的大模型，肯定已经实现超级人工智能，那时候，ai生成数据多样性的问题应该已经能找出解决方案了。
那就没什么问题了。
几个组长都松了一口气。
方豫目光闪动。
就算是橘子大模型实现超级人工智能，只要多样性问题不解决，一样也会有这个问题。
即使使用各种技术手段尽量提升ai数据的复杂性，最后不会造成模型崩溃，这个大模型也注定无法承载自己的愿景。
之前参考“神之模型”所产生的一些想法，倒是正好可以解决这个问题……
不过，在此之前，还是要先把搜索引擎这一块吃下去。
吃掉搜索引擎，才能拥有足够的数据资源，支撑橘子大模型进化为超级人工智能。
只有橘子大模型进化至超级人工智能后，参考“神之模型”所生成的第二代模型，才能真正具备用武之地。
“舒窈，通知‘y’项目组，五分钟之后，我要听“y”项目的进度汇报。”
方豫看了看时间，已经下午四点，再有半个小时，应该海西邑相关头头就会带着马斯克来公司了，正好够开个会的。
晚上十一点还得去趟新镐，和大蜜蜜还有热葩叙叙旧，最近千寻给她们施加了不少压力，得过去帮她们解解压。
正好明天上午在新镐把外公介绍人见一下，外公介绍的应该靠谱，但还是要先见一下再说。
明天中午还得去趟洛圣都，斯嘉丽去了中土国拍攻壳机动队，肯豆倒是挺矜持，只是imessage骚扰，她那个闺蜜吉吉哈迪德反倒是一个劲儿的发snapchat挑衅。
“这次“击剑门”丑闻对两派都是一次打击，不过对川宝的打击更大，卡尔罗夫甚至认为恭贺派应该召开全国委员会，取消川宝的参选资格。”
马斯克一边打电话，一边给spac各个员工发邮件，而电话那边，则是他的幕僚长萨姆泰勒在和他说目前迈国国内的情况。
对于他这种级别的商人来说，无论是否讨厌郑智，也必须要关心郑智。
“很难，至少需要三分之二的委员投票同意，这几乎是不可能的，看来这次希拉蕊赢定了。”马斯克手指在电脑上敲得飞快。
“‘击剑门’爆发的太晚，印第安纳州初选丑闻第二天就已经计票结束了，虽然还没有召开全国大会获得党派提名，但川宝已经提前锁定了提名票数。”
“如果这时候逼迫川宝退出选举，恭贺派极有可能会造成派系分裂，无论是保罗瑞安还是米奇麦康奈尔，即使他们不支持川宝，也不会冒着派系分裂的风险推动更换提名。当然，前提是川宝一家需要立刻与贾瑞德库斯纳切割，但这样一来，裘德财团必然会全力支持希拉蕊。”
“你说的对，埃隆。目前普遍都在猜测，伊凡卡可能会在这几天宣布与贾瑞德库斯纳离婚，进行切割，摆出受害者姿态。不过那个视频中贾瑞德说川宝一家就是暴发户，伊凡卡和他结婚就是为了获取裘德财团支持，对川宝仍旧会造成非常大的打击。”
“老板，已经开始降落了，还有五分钟进入三千米以下高度，飞机上的wifi就要关闭了。”
马斯克的机长在机舱中使用扬声器通知马斯克。
“你听到了，萨姆，我先断线了，保持联系。”
“好吧，埃隆，其实这一次我去也是一样的，没必要你亲自跑一趟。”
“不，这一次我一定要亲眼看一下这家柚子科技。”埃隆马斯克摇摇头，“这一个月里，至少已经诞生了一万款ai应用，百分之五十都是调用了橘子大模型的api接口，其他的用的也是开源的橘子大模型，而且这个数字还在继续上涨。”
“我可以确信，现在已经开始正式运营的三千亿参数juzi2.5并不是全部，他们现在内部即有可能已经有了一万亿甚至更多参数的大模型。”
“我必须亲眼看一下，他们的到底已经达到了什么样的进度。”
马斯克切断通话，透过舷窗向下望去。
云层很厚，什么都看不见。