目录
设置
书架
听书
欢迎使用听书服务

发声

  1. 小美
  2. 小宇
  3. 逍遥
  4. 软萌
  5. 小娇
  6. 米朵
  7. 博文
  8. 小童
  9. 小萌
  10. 小贤
  11. 小鹿
  12. 灵儿
  13. 小乔
  14. 小雯
  15. 米朵
  16. 姗姗
  17. 小贝
  18. 清风
  19. 小新
  20. 小彦
  21. 星河
  22. 小清
  23. 南方

语速

  1. 适中
  2. 超快

音量

  1. 适中
播放
评论

裁员后,我成了科技教父

作者:辰小序 | 分类:都市 | 字数:0

第109章 OpenAI最近有点儿跳,得限制一下!

书名:裁员后,我成了科技教父 作者:辰小序 字数:0 更新时间:01-07 03:23

郝成请了一顿饭,何钢吃了满肚子的心事。

饭局刚刚一结束,他就立刻回到酒店,联系上了于东。

“老何,我咋发现你每次一去临州,都会变得这么慌慌张张的呢?”于东甚至调侃上了。

“你先别忙,听我说。”

何钢仔细的将郝成在车上的话简单跟于东复述了一遍,而后总结道:“可不要看这东西是郝成在扯闲篇,是在泛泛而谈大路的概念,是没有透露任何AI训练方法的。

“但实际上,他这个泛泛而谈,跟我们一大群人去聊天,他不一样!”

“我知道,他已经训练出小沙了,他的大路概念那是正确的概念。”于东长长的呼了口气:“从这泛泛而谈中或许能找到方向。

“但光听这些也没有用啊!”思索了很久,于东也是无奈道:“你说的所有的东西,我只能总结出三个字‘类似人’,而这种方向,团队早就考虑过了。

“但现在的问题不是方向,是方法,我们没有找到任何的方法。唯一的好消息是,我们以传统方式训练AI的成本也大大的降低了,效率却大大的提高了。”

于东说的这个倒是实情,不仅仅是华为、抖音、腾讯甚至OpenAI,训练AI的成本都降低了。

究其原因,也很简单,他们让小沙帮他们做数据清洗、标定和反馈。

数据清洗原本是一个非常复杂且繁琐的工作,也是训练AI非常关键的步骤,数据清洗的质量越高,AI训练的质量也就越高。

以往,这个工作都是由人工来实现的,也有用AI来做的,但是效果就会很差,往往会投喂一些垃圾数据,造成模型被污染,进而产生一些低级错误。

而现在有了小沙,这项工作可以更快速的进行,准确率甚至不比人工清洗差。

而更关键的一个问题,以往GPT类的模型,是RLHF,也就是基于人类反馈的强化学习。

怎么做的呢:就是先预训练一个语言模型,然后做微调。

微调怎么调呢:就是你问一个问题,语言模型给你回答,然后人工给这些回答进行排名,然后获得一个有质量排序的数据集,用这个数据集反过来再去微调相关的模型参数,一遍又一遍循环往复,然后答案就会越来越接近人想要的。

而现在,小沙代替了人工的这个步骤。

RLHF模型先前被认为不可能无限提高,其中最重要的一个原因就是,随着参数越来越多,数据量越来越大,人工去获取一个有质量排序的数据集也变得越来越不可能。

于是有人就认为,自我反馈模型,也就是让模型自我去评价去提升的模型才是未来,纵然它有时候显得很弱智。

但是现在,有了小沙,小沙替代【基于人类反馈的强化学习】里边的人类,变成了【基于小沙反馈的强化学习】,这一切就又变得可能了!

不仅解决了自我反馈容易弱智的问题,同时解决了人工反馈效率过低、成本过高的问题。

这就相当于将两个模型的优点直接结合了。

而且,超大规模超超大规模,也不用担心人工的问题了。

所以,各家的模型现在进步都非常大,原因就在于此。

想要变得跟小沙一样厉害,那当然不可能——基于小沙训练的AI想超过小沙那本身就是一个悖论。

但是,只要舍得堆积算力,无限的堆积算力,再加上用小沙代替人类进行反馈的强化学习,理论上最终能极限逼近小沙的水准。

当然,理论只是理论,现实中不存在无限算力,考虑实际情况,用这种方式结合超大算力训练一年,达到小沙的六七成水准应该是可能的。

华为这边默默的评估过,现在几乎所有的AI训练企业都在偷偷的这么干。

“需要跟郝成说一下这个情况吗?”何钢问了一嘴。

“这他应该知道吧?”于东一愣:“以前,很多模型都用ChatGPT反馈做初期训练,训练到一个阶段了才转人工反馈的,都是惯例了。”

“我估摸着他还真不知道,他现在应该没关注其他的AI同行。”

听何钢这么说,于东直接嘴角一抽,是啊,一群弱鸡同行,有什么好关注的呢:

“那还是说一下吧,这事影响还是挺大的。尤其是OpenAI,他那算力堆的,而且最近有点儿跳,得限制一下。”

“对了,苹果指望就是这个呢吧?”何钢脑子里突然把两件事儿联系到一起了。

“嗯。”于东笑道:“苹果之所以现在还没有彻底急眼,就是得到了OpenAI的承诺,而OpenAI之所以这么有把握,是因为他们又购买了上千亿美元的显卡。

“对投资者号称是研发了一种新的算法,可追赶小沙。实际上,说白了就是【基于小沙的深度学习】。”

“【趋同于人】的【类似意识】。”于东一说【基于小沙的深度学习】,何钢不自觉的就嘀咕了这么一句。

“什么‘趋同于人的类似意识’?”于东一怔,问道。

何钢把郝成关于这方面的说法一字不落的给于东叙述了一遍。

“那这就有意思了!”华为这边倒是没问题,但是OpenAI那问题可是大了。

经过万亿亿次的循环之后,由小沙反馈训练而成的ChatGPT的“思想”是什么样子,那可就是由小沙控制的了!

都说科技无国界,但训练的AI其实是有“偏向”的,别说郝成说的什么【趋同于人】的【类似意识】这种技术概念,就传统的AI,也夹杂着训练者的各种意识形态。

甚至,哪怕不体现在AI本身上,规则限制和人工干预,也必须达到这种效果。

……

“原来是这么回事儿!”

郝成还真没特别关注过用户使用小沙都干了些什么,就算想关注也关注不过来。

除非是一些违法违规的操作,由小沙的【AI可控方向】进行监控和限制。

法无禁止即可为,利用小沙去做数据标定、去做结果反馈,然后训练别的AI,这事儿郝成没有特意交代过,小沙也就没有做任何限制。

再有就是,数据使用和溯源的要求,用户的数据,怎么获取的,怎么流动的,最终干了什么,用户自己那是必然需要了如指掌的。

数据溯源的公示算法就在那里,人人皆可验证,白驹科技也无法例外。

这在一定程度上也是阳谋,因为小沙本身实在是太强大了,如果再完全是一个黑盒子,很多人就该担心害怕了。

而现在,白驹科技控制核心算法,而将信息溯源、推荐等外围算法公示开源,人人都可以进行监督验证,那使用起来就放心很多。

不过,何钢刚刚说的事儿——

郝成想起了苹果的诸悦来之前,李清波跟自己说的“布罗克曼告诉苹果的CEO库克,他说OpenAI将最迟在明年三月之前解决问题,达到小沙的水平。”

“原本你以为是布罗克曼在忽悠库克,敢情是这么一回事儿!”

郝成摇了摇头,终于理解诸悦先前为什么是那样的态度了:

“我还是大意了!”

上一章 目录 下一章