chatgpt训练数据从哪来

8人浏览 2026-10-18 07:29
chatGPT
chatGPT在线试用

新一代对话式人工智能,历史上增长最快的消费者应用程序

共7个回答

  • 最佳回答
    索以媛蓓
    索以媛蓓

    答:GPT(Generative Pre-trained Transformer),是由OpenAI研发的一种大型预训练语言模型,是自然语言处理的强大基础。该模型的出现会给整个自然语言处理行业带来巨大的变化,但是这要取决于GPT的广泛应用,以及投资和发展的层次高低。从技术的角度来看,GPT可以减少工程师们利用编程、人工智能等手段创造和思考原始产品、服务和信息所需的大量时间。本质上,GPT可以减少人工向机器重复传输数据和信息的需求,因此可以分担大量的重复、费时的工作,提高工作的效率和质量。GPT的出现有可能会给职业生涯领域带来一定程度的变化,但我们不能轻易地说这种变化会导致大量职业裁员和失业。虽然它可以减少工作量,但这只不过意味着职业人员需要改变和调整自己的知识,使其能够更好地应对新的技术,从而更好地发挥其价值,以满足新型技术的要求。GPT可以为新技术产生更多的机会,从而提供新的就业机会,而不是裁员和失业。

  • 都姣诚龙
    都姣诚龙

    ChatGPT的训练数据来自于互联网上的公开文本。OpenAI使用了大量的网络爬虫工具来收集各种来源的文章、书籍、论文、博客、维基百科和其他网站上的文本数据。这些数据覆盖了广泛的主题,包括科学、艺术、历史、流行文化等等。

    为了保护个人的隐私和保密信息,OpenAI在训练数据中进行了一些处理。他们使用了自动化的方法来从数据中删除了大部分的个人身份和敏感信息,并采取了其他措施来减少数据中的偏见和不当内容。

    ChatGPT的训练数据的质量非常重要。OpenAI投入了大量资源来清洗数据、解决样本中的问题,并确保模型更好地遵守道德准则。他们也积极邀请用户提供有关系统输出中的问题和偏差方面的反馈,以改进模型的表现和修复潜在的问题。

    ChatGPT的训练数据采集自互联网上的公开文本,经过了处理和筛选,以确保数据质量和保护用户的隐私。

  • 元家英巧
    元家英巧

    ChatGPT的训练数据主要来自于互联网上的大量对话文本。OpenAI使用了公开可用的互联网论坛、社交媒体等在线平台上的对话数据,其中包括Reddit等社区,并按照一定的规则进行了筛选和处理。

    为了确保训练数据的质量,OpenAI采取了多种方法进行数据净化。他们会移除敏感或违反道德规范的对话,确保ChatGPT不会生成不当的回复。在处理数据时,他们也会排除包含特定的个人信息、隐私数据或其他敏感信息的对话。

    OpenAI还进行了一系列的数据加工步骤,以使ChatGPT的训练更加有效。他们使用了自动方法来删减对话中的重复内容,并进行了基于模式的过滤,去除那些可能带有噪音或缺乏信息性的对话。

    ChatGPT的训练数据来源于公开可用的互联网对话文本,这意味着数据的质量和内容可能存在一定的限制和偏差。OpenAI已经尽力确保数据的净化和筛选,以提高ChatGPT的品质和适应性,但仍然难以避免潜在的问题。在使用ChatGPT时,用户应谨慎对待和验证生成的回复。

  • 师韵雅子
    师韵雅子

    大约3年前,对于那些喷增程是落后技术的人,李想气得直接开骂:

    「一帮搞臭技术的,天天冲我们BB」

    在李厂长看来,这帮搞技术的人说理想落后,那是因为他们根本不关心用户,毫无用户思维。

    三年为期,销量成绩的确给了李想十足的底气。

    5月,理想汽车再次创下销量新高,共交付新车2.82万辆,同比增长146%,连续三个月交付跨入2万俱乐部。基于此,6月17日晚,理想汽车在常州「理想 AI 梦工厂」举办了理想汽车首个家庭科技日,并在这个「梦开始的地方」迎来了它的第 40 万辆新车下线。

    但销量狂飙的背后并非一片坦途,从下定决心从增程切入纯电赛道的那一刻起,理想应该明白,仅仅依靠产品的精准定义,绝不足以再推动品牌继续向高价值跃迁。

    在如今白热化竞争的新能源市场,这家车企必须拿出更有说服力的行动。投资大师巴菲特在1993年提出「护城河」的投资概念,即一个企业如同一个城堡,而城堡的价值是由其「护城河」决定的。

    至于理想,究竟有没有护城河,最近车圈吵得不可开交。

    正面的声音不用赘述,一家成立不到7年的新势力车企,销量股价齐飞,管他增程技术落后与否,消费者不是傻子,实用才是王道。但看衰的声音却愈演愈烈。

    前有问界M7,依靠华为智能座舱,加入增程战局;后有手握更好的混动技术和成本控制的魏派,将蓝山的价格「打」入27万的水平,并且还有拿铁、摩卡和玛奇朵三款PHEV等待改款,估计价格会覆盖15-25区间。

    于是,压力来到理想,当出现一款差不多的产品,用户只用一半的价格就可以平替,单靠空间和配置构筑起的销量神话恐怕难以延续。所以理想在其首届家庭科技日上,几乎使出浑身解数只想讲清楚一件事:迈入纯电赛道,我有技术护城河。

    主要还是在目前战役最凶猛的领域:智能座舱和智能驾驶。

    先来李厂长最拿手的「画饼」部分,针对于智能座舱打造的「大模型上车」,简单理解就是「ChatGPT版理想同学」。

    值得一提是,随着ChatGPT 实力涌现,并通过图灵测试,汽车智能驾舱被认为正式迈入AI时刻。

    而所谓「大模型上车」最主要的作用就是赋予人机交互更大的想象力。

    举个例子,以往理想同学是依靠语音识别驾驶者的意图,此后,它可以像人一样主动地去「看」,去感知环境、感知人,甚至像人一样去学习、认知、推理和记忆,做到像人一样去思考,最终实现像人一样去表达和互动。这背后将依赖理想自研的Mind GPT,该模型不仅控制汽车,还能进行故事讲述、儿童百科制作、行程规划、智能诊断和复杂任务理解等功能。

    据介绍,Mind GPT使用了1.3万亿个token进行基座模型训练,数十TB的原始训练数据经过精心过滤和去重,相当于具备人类高质量知识总和。

    个人看来,理想的大模型秀肌肉的成分更大,大模型与智能驾驶的融合还只是开启了第一步,就连国内头部梯队百度打造的文言一心都还存在基础识别的问题,理想从头开始打造的Mind GPT距离量产上车恐怕并非朝夕,也难怪李想并未透露该大模型具体上车时间。

    说点实际的。

    在发布会上,理想汽车发布了不依赖高精地图的城市 NOA 产品,成为这场发布会的亮点之一。「去图化」俨然成为了如今各大车企在智能驾驶上追逐的共同目标,原因很简单,高精地图成本高,制作周期长,已经远远跟不上智能驾驶发展的速度。

    回看近一年内,除了理想之外,已有包括华为、蔚来、小鹏、地平线等超过8家企业明确表达了弃用高精地图的想法。

    今年2月17日,理想汽车迎来了重大OTA——AD Pro高速NOA功能正式上线,车辆可自主实现超车、调节车速、进出匝道等操作。

    同期,李想在理想L7的发布会中提到,理想会在今年四季度,在AD Max车型上开放城市NOA的「早鸟用户内测」。

    说实话,理想的自研智驾算不上跑得快,即便是放在2022年,高速导航辅助驾驶功能也已经不是一个新鲜事物,像是小鹏、特斯拉等车企的类似功能都早已推送用户并投入使用。

    而车企发展智驾有一个最实际的棘手问题,就是不仅依赖技术积淀,更重要的是还要有足够的数据支持,这就非实际上路不可了——做得早的车企基本才有可能成为头部。相比于城市NOA,我个人倒是更加看好理想此次同步发布的「通勤NOA」:在一条自己非常熟悉的固定路线上(上下班通勤),让系统自主反复学习路线和路况,车辆就可以具备一定的自主驾驶以及应对各种突发情况的能力。

    理想汽车表示,倘若每天都开同一条路,相对简单的路线,基本可以在1周以内完成激活,较为复杂的路线,2-3周也足以完成。

    可以这么理解,城区NOA是一个无边际广阔的田野,而通勤NOA相当于在这片田野下画下了边界线,这种对于有限环境下实现的高阶智能驾驶辅助,一如既往符合理想的调性,实用为王。

    没准,还真有机会。说了一大堆臭技术,理想亮出了产品「獠牙」。

    此次发布会上,理想汽车正式宣布其首款纯电车型命名MEGA。「我们有信心成为50万元以上所有乘用车车型的销冠。」理想汽车商业副总裁刘杰表示。

    没有定语,没有纯电、中大型、SUV等任何限定词,理想要干翻的是整个乘用车市场。

    在中国市场,售价50万元以上最畅销的车型是宝马X5。2022年上险量超过5万辆,今年1-5月宝马X5的销量为3.82万辆,同比增长985.1%。也就是说,理想要用一辆中国纯电车型「偷塔」BBA最核心的高端市场。

    从目前来看,除了狠话之外,关于MEGA的消息还仅限于一个名字和大概价格范围,至于定位、配置、性能参数全都要等年底才会揭晓。

    但可以肯定的是,好马需配好鞍。要推纯电车型,补能先行。

    此次发布会上,理想汽车介绍了自研的800V高压纯电平台,并将大规模量产5C纯电车。理想还对电池进行了系统级别的优化,充分利用了电池的最大 5C充电倍率,实现了只需9分30秒即可充电,并且可行驶400公里。

    虽然800V整车电压平台是未来的发展趋势,但由于成本、基建配电容量和高峰分流等问题,目前数量非常有限。

    但李想说,没关系,我们有钱。

    自4月20日开启试运营以来,理想汽车已经在全国运营25座理想4C 超级充电站。57天,25座,两天一座。

    根据理想的计划,截至2023年底,理想将建成300+高速超充站,覆盖京津冀、长三角、大湾区和成渝四大经济带;到2026年,目标建成充电场、站3000座以上,将覆盖全国90%的国家高速里程以及一二三线主要城市。

    理想汽车甚至表示,每个充电桩之间的间隔,不会超过100km。理想一季度财报显示,其仍是手握最健康利润率和最雄厚现金流的车企:一季度毛利率保持稳定为20.4%,相比之下,小鹏为1.7%,蔚来为1.5%。而理想自由现金流达到67亿元,毛利润为39.3亿元。

    但理想毕竟是纯电市场的后来者。

    MEGA相对L9除了车型尺寸以及纯电动力形式之外,究竟有哪些质的提升,「那些年一起吹过的」智能化能否落地。

    如果只是车辆更大,外观更酷炫(像高铁头)以及堆料无底线,而价格却要比L9高出十万左右,市场真的能继续为理想狂欢?从曾经开骂「臭搞技术」,到如今埋头「臭搞技术」,理想或许比谁都焦虑。

    毕竟最近李厂长在微博写小作文的频率可谓是与日俱增。

    可以感受到的是,目前新能源行业已经进入了深水区,大家不仅是拼技术、战略、营销,甚至还有企业定力,不确定因素大大增加。

    但不可否认的是,乱战至今,市场方才如此繁荣。

    【本文来自易车号作者电动湃,版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点,与易车无关】

  • 禄瑞希桂
    禄瑞希桂

    chatGPT念“柴特鸡皮题”,GPT全称Generative Pre- -trained Transformer,是一种预训练语言模型,这种模型读的越多,也就懂的越多。Chat是聊天的意思,顾名思义,ChatGPT的核心是GPT模型,只不过加上了一个能跟人聊天的对话框。

    2023年2月7日,微软宣布推出由ChatGPT支持的最新版本人工智能搜索引擎Bing(必应)和Edge浏览器。微软CEO表示,“搜索引擎迎来了新时代”。

    2023年2月8日凌晨,在华盛顿雷德蒙德举行的新闻发布会上,微软宣布将OpenAI传闻已久的GPT-4模型集成到Bing及Edge浏览器中。chatGPT的规范使用

    2023年2月,媒体报道,欧盟负责内部市场的委员蒂埃里·布雷东日前就“聊天生成预训练转换器”发表评论说,这类人工智能技术可能为商业和民生带来巨大的机遇。

    但同时也伴随着风险,因此欧盟正在考虑设立规章制度,以规范其使用,确保向用户提供高质量、有价值的信息和数据。

  • 熊艳苛枫
    熊艳苛枫

    论文查重的目的就是为了检测出相似内容,然后以通过论文降重进行修改,达到合格比例。如果想快速降重,选择机器降重,如果想保证质量,那么人工降重必选。如果只是追求速度,那就直接选择机器降重,常用论文降重方法如下:人工降重方法:

    1、变换表达。先理解原句的意思,用自己的话复述一遍。

    2、词语替换,在变换表达方式的基础上结合同义词替换,效果更好。

    3、变换句式,通过拆分合并语句的方式进行修改,把长句变短句,短句变长句。

    4、图片法,针对专业性太强不好修改的语句或段落(比如计算机代码,法律条款,原理理论等),可以适当把文字写在图片上展现,但是这种方法不宜用的太多。知网查重系统不太合适,可以识别图片,公式,表格,其他查重系统可以适当使用。

    5、翻译法,用百度翻译或谷歌翻译,中文翻译成英文,英文翻译成日语或其他语种,再从日语翻译成中文,这种看似不错,还得需要人工润色,感觉效果还是鸡肋,适当用用也无妨。

    机器降重方法:

    论文降重软件只是辅助手段,最后还得人工润色一下,完全降重有效的没有。

    PaperBye论文查重系统里有自动降重功能,可以作为你查重后修改参考的一种辅助手段。关于效果,针对专业不同效果也不一样,比如理工科或专业术语比较多的,改的效果不太好。如果一些文课类文章,改好后语句还是蛮通顺的,效果没有人工修改好,但是可以给一些修改建议提示,也是不错的,主要看怎么使用。看看下面修改的例句,降重效果还算满意。最后提醒一句,软件论文降重,只是辅助,即使改也需要人工去复核修改一遍,因为毕竟是软件,有的表达上会欠缺妥当,需要人工润色。同时也不要过度依赖软件降重,目前还是没有人工一字一句修改的效果好,只能作为一种改重的辅助手段,不要期望过高。

  • 蒲晓蓓军
    蒲晓蓓军

    GPT之于自动驾驶意味着什么?

    文丨智驾网 黄华丹

    ChatGPT带火了AI,当GPT遇到自动驾驶,又会发生怎样的化学反应?

    GPT全称Generative Pre-trained Transformer,即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。

    4月11日,在第八届毫末AI DAY上,毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT,中文名雪湖·海若。

    DriveGPT能做到什么?又是如何构建的?顾维灏在AI DAY上都做了详细解读。AI DAY还展示了毫末自动驾驶数据体系MANA的升级情况,主要是其在视觉感知能力上的进展。

    01.

    什么是DriveGPT?能实现什么?

    顾维灏首先讲解了GPT的原理,生成式预训练Transformer模型本质上是在求解下一个词出现的概率,每一次调用都是从概率分布中抽样并生成一个词,这样不断地循环,就能生成一连串的字符,用于各种下游任务。

    以中文自然语言为例,单字或单词就是Token,中文的Token词表有5万个左右。把Token输入到模型,输出就是下一个字词的概率,这种概率分布体现的是语言中的知识和逻辑,大模型在输出下一个字词时就是根据语言知识和逻辑进行推理的结果,就像根据一部侦探小说的复杂线索来推理凶手是谁。而作为适用于自动驾驶训练的大模型,DriveGPT雪湖·海若三个能力:

    1.可以按概率生成很多个这样的场景序列,每个场景都是一个全局的场景,每个场景序列都是未来有可能发生的一种实际情况。

    2.是在所有场景序列都产生的情况下,能把场景中最关注的自车行为轨迹给量化出来,也就是生成场景的便会产生自车未来的轨迹信息。

    3.有了这段轨迹之后,DriveGPT雪湖·海若还能在生成场景序列、轨迹的输出整个决策逻辑链。

    也就是说,利用DriveGPT雪湖·海若,在一个统一的生成式框架下,就能做到将规划、决策与推理等多个任务全部完成。具体来看,DriveGPT雪湖·海若的设计是将场景Token化,毫末将其称为Drive Language。

    Drive Language将驾驶空间进行离散化处理,每一个Token都表征场景的一小部分。目前毫末拥有50万个左右的Token词表空间。如果输入一连串过去已经发生的场景Token序列,模型就可以根据历史,生成未来所有可能的场景。也就是说,DriveGPT雪湖·海若同样像是一部推理机器,告诉它过去发生了什么,它就能按概率推理出未来的多个可能。

    一连串Token拼在一起就是一个完整的驾驶场景时间序列,包括了未来某个时刻整个交通环境的状态以及自车的状态。

    有了Drive Language,就可以对DriveGPT进行训练了。

    毫末对DriveGPT的训练过程根据驾驶数据以及之前定义的驾驶尝试做一个大规模的预训练。通过在使用过程中接管或者不接管的场景,对预训练的结果进行打分和排序,训练反馈模型。也就是说利用正确的人类开法来替代错误的自动驾驶开法。

    后续就是用强化学习的思路不断优化迭代模型。

    在预训练模型上,毫末采用Decode-only结构的GPT模型,每一个Token用于描述某时刻的场景状态,包括障碍物的状态、自车状态、车道线情况等等。毫末的预训练模型拥有1200亿个参数,使用4000万量产车的驾驶数据,本身就能够对各种场景做生成式任务。

    这些生成结果会按照人类偏好进行调优,在安全、高效、舒适等维度上做出取舍。毫末会用部分经过筛选的人类接管数据,大概5万个Clips去做反馈模型的训练,不断优化预训练模型。在输出决策逻辑链时,DriveGPT雪湖·海若利用了prompt提示语技术。输入端给到模型一个提示,告诉它“要去哪、慢一点还是快一点、并且让它一步步推理”,经过这种提示后,它就会朝着期望的方向去生成结果,并且每个结果都带有决策逻辑链。每个结果也会有未来出现的可能性。这样我们就可以选择未来出现可能性最大,最有逻辑的链条驾驶策略。可以用一个形象的示例来解释DriveGPT雪湖·海若的推理能力。假设提示模型要“抵达某个目标点”,DriveGPT雪湖·海若会生成很多个可能的开法,有的激进,会连续变道超车,快速抵达目标点,有的稳重,跟车行驶到终点。这时如果提示语里没有其他额外指示,DriveGPT雪湖·海若就会按照反馈训练时的调优效果,最终给到一个更符合大部分人驾驶偏好的效果。

    02.

    实现DriveGPT毫末做了什么?

    DriveGPT雪湖·海若的训练和落地,离不开算力的支持。

    今年1月,毫末就和火山引擎共同发布了其自建智算中心,毫末雪湖·绿洲MANA OASIS。OASIS的算力高达67亿亿次/秒,存储带宽2T/秒,通信带宽达到800G/秒。光有算力还不够,还需要训练和推理框架的支持。毫末也做了以下三方面的升级。

    一是训练稳定性的保障和升级。大模型训练是一个十分艰巨的任务,随着数据规模、集群规模、训练时间的数量级增长,系统稳定性方面微小的问题也会被无限放大,如果不加处理,训练任务就会经常出错导致非正常中断,浪费前期投入的大量资源。

    毫末在大模型训练框架的基础上,与火山引擎共同建立了全套训练保障框架,通过训练保障框架,毫末实现了异常任务分钟级捕获和恢复能力,可以保证千卡任务连续训练数月没有任何非正常中断,有效地保障了DriveGPT雪湖·海若大模型训练的稳定性。

    二是弹性调度资源的升级。毫末拥有量产车带来的海量真实数据,可自动化的利用回传数据不断的学习真实世界。由于每天不同时段回传的数据量差异巨大,需要训练平台具备弹性调度能力,自适应数据规模大小。

    毫末将增量学习技术推广到大模型训练,构建了一个大模型持续学习系统,研发了任务级弹性伸缩调度器,分钟级调度资源,集群计算资源利用率达到95%。

    三是吞吐效率的升级。在训练效率上,毫末在Transformer的大矩阵计算上,通过对内外循环的数据拆分、尽量保持数据在SRAM中来提升计算的效率。在传统的训练框架中,算子流程很长,毫末通过引入火山引擎提供的Lego算之库实现算子融合,使端到端吞吐提升84%。

    有了算力和这三方面的升级,毫末可对DriveGPT雪湖·海若进行更好的训练迭代升级。

    03.

    MANA大升级,摄像头代替超声波雷达

    毫末在2021年12月的第四届AI DAY上发布自动驾驶数据智能体系MANA,经过一年多时间的应用迭代,现在MANA迎来了全面的升级。

    据顾维灏介绍,本次升级主要包括:

    1.感知和认知相关大模型能力统一整合到DriveGPT。

    2.计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化,并集成到OASIS当中。

    3.增加了使用NeRF技术的数据合成服务,降低Corner Case数据的获取成本。

    4.针对多种芯片和多种车型的快速交付难题,优化了异构部署工具和车型适配工具。

    前文我们已经详细介绍了DriveGPT相关的内容,以下主要来看MANA在视觉感知上的进展。

    顾维灏表示,视觉感知任务的核心目的都是恢复真实世界的动静态信息和纹理分布。因此毫末对视觉自监督大模型做了一次架构升级,将预测环境的三维结构,速度场和纹理分布融合到一个训练目标里面,使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过400万Clips,感知性能提升20%。在泊车场景下,毫末做到了用鱼眼相机纯视觉测距达到泊车要求,可做到在15米范围内达测量精度30cm,2米内精度高于10cm。用纯视觉代替超声波雷达,进一步降低整体方案的成本。在纯视觉三维重建方面,通过视觉自监督大模型技术,毫末不依赖激光雷达,就能将收集的大量量产回传视频转化为可用于BEV模型训练的带3D标注的真值数据。

    通过对NeRF的升级,毫末表示可以做到重建误差小于10

    【本文来自易车号作者智驾网,版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点,与易车无关】

相关推荐

更多

chatGPT,一个应用广泛的超级生产工具

  • 扫码优先体验

    chatGPT小程序版

    chatGPT小程序版
  • 关注公众号

    了解相关最新动态

    关注公众号
  • 商务合作

    GPT程序应用集成开发

    商务合作

热门服务

更多
    暂无数据

    最新问答

    更多