什么是RLHF

RLHF的英文为Reinforcement Learning with Human Feedback,中文译为“人类反馈强化学习”,是一种结合人类指导和自动强化学习的训练方法。人类通过对AI的行为进行评价或指导,帮助其在学习过程中做出更好的决策,优化输出内容。

由于人类可以通过直觉、视觉和实践经验等来帮助AI,因此,应用RLHF的产品可大幅度提升拟人化能力。

在ChatGPT等大语言模型的预训练过程中,RLHF在微调、优化输出、拟人化等方面发挥了巨大作用。很多开源大语言模型生成的文本内容非常生硬甚至有点“傻”,这是因为缺少RLHF的支持或核心训练数据不足。

简单来说,可以把RLHF看成是一种“妈妈教孩子”的的训练方法。AI相当于刚出生毫无经验的孩子,当它摔倒在地时,母亲(RLHF)会告诉他如何避免摔倒,以及更好地走路方法。AI可以在这种不断反馈的学习环境中快速成长,甚至自己学会跑步。

RLHF的4个流程

通常RLHF有无监督预训练、有监督的微调、奖励模型和基于奖励模型的强化学习4个流程组成。

无监督预训练:AI开始学习一个任务,可以采用随机的策略或基于某种启发式的策略。例如,从一个预训练好的语言模型GPT-3开始学习。

有监督的微调:AI在执行任务时,人类会对其行为进行评估。评估可以是连续的,例如,分数或奖励。也可以是离散的,例如,对某个行为是否正确的二元反馈。然后对预训练的模型进行微调,增强其拟人化能力。

奖励模型:建立一个奖励模型对大语言模型的输出进行评分。AI根据人类的奖励反馈,会自动优化其策略,以便在未来的输出中更好地执行任务。

基于奖励模型的强化学习:AI会基于奖励模型不断地执行任务,接收人类反馈,并根据反馈更新其输出行为。这个过程会持续进行,直到AI的表现达到人类满意的水平。

虽然RLHF对于AI大模型来说好处很多,但中小型企业或普通开发人员想训练RLHF并不容易,对于谷歌、Meta这样的科技巨头也并非易事。

缺少真实、高质量人类训练数据是最大原因之一。而Prolific经营了一个超过12万人的社区,主要帮助AI大模型厂商提供真实训练数据、压力测试、在线调查等服务。(体验地址:https://www.prolific.co/)

Prolific提供真实、高质量训练数据

Prolific成立于2014年4月,总部位于英国牛津郡。创立至今Prolific仅获得了两次融资,2019年12月获得120万美元种子轮融资,另外一次受生成式AI风口影响,在今年7月12日获得的3200万美元融资。

经过多年的市场深耕,Prolific已获得了3000多家知名组织,其中包括谷歌、牛津大学、斯坦福大学、伦敦国王学院和欧盟委员会等。超过2万名科研人员在其平台上获取高质量数据。

截至目前,Prolific已经为12万社区人员支付了超过1亿美元的数据提供费用,每小时价格在6—8美元或更高。也就是说,Prolific提供的所有真实数据都是有版权的可以用于商业化。这一点对于大模型厂商来说非常重要,避免产生数据版权的纠纷。

前几天,谷歌就因为非法搜集用户数据用于训练AI模型,被美国加利福尼亚州克拉克森律师事务所起诉,要求向用户赔偿数据使用费和告知数据用途。

数据方面,Prolific保证提供的所有数据都是真人提供的,例如,所有参与者均通过Onfido 的银行级身份检查,以验证“人”是真实存在

这12万人来自38个国家活跃度非常高。企业使用的方法也非常简单,只需要登录到Prolific平台,然后根据300多种数据过滤器创建多元化数据搜集任务,例如,科学、生活、文学、影视、农业等数据。然后启动订单,平均2小时左右就能完成数据集任务。

Prolific表示,高质量、真实训练数据对于AI大模型来说有减少幻觉、非法输出、增强RLHF能力、避免数据纠纷等诸多好处。其中,增强RLHF能力至关重要,在人类高度监督下AI可以极大提升内容的输出,例如,翻译模型将英语翻译为法语时,RLHF可提供专业翻译人员的建议,使得内容更加自然贴近真实。

发表回复

后才能评论