GPT之于自动驾驶意味着什么？
文丨智驾网 黄华丹
ChatGPT带火了AI，当GPT遇到自动驾驶，又会发生怎样的化学反应？
GPT全称Generative Pre-trained Transformer，即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。
4月11日，在第八届毫末AI DAY上，毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT，中文名雪湖·海若。
DriveGPT能做到什么？又是如何构建的？顾维灏在AI DAY上都做了详细解读。AI DAY还展示了毫末自动驾驶数据体系MANA的升级情况，主要是其在视觉感知能力上的进展。
01.
什么是DriveGPT？能实现什么？
顾维灏首先讲解了GPT的原理，生成式预训练Transformer模型本质上是在求解下一个词出现的概率，每一次调用都是从概率分布中抽样并生成一个词，这样不断地循环，就能生成一连串的字符，用于各种下游任务。
以中文自然语言为例，单字或单词就是Token，中文的Token词表有5万个左右。把Token输入到模型，输出就是下一个字词的概率，这种概率分布体现的是语言中的知识和逻辑，大模型在输出下一个字词时就是根据语言知识和逻辑进行推理的结果，就像根据一部侦探小说的复杂线索来推理凶手是谁。而作为适用于自动驾驶训练的大模型，DriveGPT雪湖·海若三个能力：
1.可以按概率生成很多个这样的场景序列，每个场景都是一个全局的场景，每个场景序列都是未来有可能发生的一种实际情况。
2.是在所有场景序列都产生的情况下，能把场景中最关注的自车行为轨迹给量化出来，也就是生成场景的便会产生自车未来的轨迹信息。
3.有了这段轨迹之后，DriveGPT雪湖·海若还能在生成场景序列、轨迹的输出整个决策逻辑链。
也就是说，利用DriveGPT雪湖·海若，在一个统一的生成式框架下，就能做到将规划、决策与推理等多个任务全部完成。具体来看，DriveGPT雪湖·海若的设计是将场景Token化，毫末将其称为Drive Language。
Drive Language将驾驶空间进行离散化处理，每一个Token都表征场景的一小部分。目前毫末拥有50万个左右的Token词表空间。如果输入一连串过去已经发生的场景Token序列，模型就可以根据历史，生成未来所有可能的场景。也就是说，DriveGPT雪湖·海若同样像是一部推理机器，告诉它过去发生了什么，它就能按概率推理出未来的多个可能。
一连串Token拼在一起就是一个完整的驾驶场景时间序列，包括了未来某个时刻整个交通环境的状态以及自车的状态。
有了Drive Language，就可以对DriveGPT进行训练了。
毫末对DriveGPT的训练过程根据驾驶数据以及之前定义的驾驶尝试做一个大规模的预训练。通过在使用过程中接管或者不接管的场景，对预训练的结果进行打分和排序，训练反馈模型。也就是说利用正确的人类开法来替代错误的自动驾驶开法。
后续就是用强化学习的思路不断优化迭代模型。
在预训练模型上，毫末采用Decode-only结构的GPT模型，每一个Token用于描述某时刻的场景状态，包括障碍物的状态、自车状态、车道线情况等等。毫末的预训练模型拥有1200亿个参数，使用4000万量产车的驾驶数据，本身就能够对各种场景做生成式任务。
这些生成结果会按照人类偏好进行调优，在安全、高效、舒适等维度上做出取舍。毫末会用部分经过筛选的人类接管数据，大概5万个Clips去做反馈模型的训练，不断优化预训练模型。在输出决策逻辑链时，DriveGPT雪湖·海若利用了prompt提示语技术。输入端给到模型一个提示，告诉它“要去哪、慢一点还是快一点、并且让它一步步推理”，经过这种提示后，它就会朝着期望的方向去生成结果，并且每个结果都带有决策逻辑链。每个结果也会有未来出现的可能性。这样我们就可以选择未来出现可能性最大，最有逻辑的链条驾驶策略。可以用一个形象的示例来解释DriveGPT雪湖·海若的推理能力。假设提示模型要“抵达某个目标点”，DriveGPT雪湖·海若会生成很多个可能的开法，有的激进，会连续变道超车，快速抵达目标点，有的稳重，跟车行驶到终点。这时如果提示语里没有其他额外指示，DriveGPT雪湖·海若就会按照反馈训练时的调优效果，最终给到一个更符合大部分人驾驶偏好的效果。
02.
实现DriveGPT毫末做了什么？
DriveGPT雪湖·海若的训练和落地，离不开算力的支持。
今年1月，毫末就和火山引擎共同发布了其自建智算中心，毫末雪湖·绿洲MANA OASIS。OASIS的算力高达67亿亿次/秒，存储带宽2T/秒，通信带宽达到800G/秒。光有算力还不够，还需要训练和推理框架的支持。毫末也做了以下三方面的升级。
一是训练稳定性的保障和升级。大模型训练是一个十分艰巨的任务，随着数据规模、集群规模、训练时间的数量级增长，系统稳定性方面微小的问题也会被无限放大，如果不加处理，训练任务就会经常出错导致非正常中断，浪费前期投入的大量资源。
毫末在大模型训练框架的基础上，与火山引擎共同建立了全套训练保障框架，通过训练保障框架，毫末实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数月没有任何非正常中断，有效地保障了DriveGPT雪湖·海若大模型训练的稳定性。
二是弹性调度资源的升级。毫末拥有量产车带来的海量真实数据，可自动化的利用回传数据不断的学习真实世界。由于每天不同时段回传的数据量差异巨大，需要训练平台具备弹性调度能力，自适应数据规模大小。
毫末将增量学习技术推广到大模型训练，构建了一个大模型持续学习系统，研发了任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%。
三是吞吐效率的升级。在训练效率上，毫末在Transformer的大矩阵计算上，通过对内外循环的数据拆分、尽量保持数据在SRAM中来提升计算的效率。在传统的训练框架中，算子流程很长，毫末通过引入火山引擎提供的Lego算之库实现算子融合，使端到端吞吐提升84%。
有了算力和这三方面的升级，毫末可对DriveGPT雪湖·海若进行更好的训练迭代升级。
03.
MANA大升级，摄像头代替超声波雷达
毫末在2021年12月的第四届AI DAY上发布自动驾驶数据智能体系MANA，经过一年多时间的应用迭代，现在MANA迎来了全面的升级。
据顾维灏介绍，本次升级主要包括：
1.感知和认知相关大模型能力统一整合到DriveGPT。
2.计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化，并集成到OASIS当中。
3.增加了使用NeRF技术的数据合成服务，降低Corner Case数据的获取成本。
4.针对多种芯片和多种车型的快速交付难题，优化了异构部署工具和车型适配工具。
前文我们已经详细介绍了DriveGPT相关的内容，以下主要来看MANA在视觉感知上的进展。
顾维灏表示，视觉感知任务的核心目的都是恢复真实世界的动静态信息和纹理分布。因此毫末对视觉自监督大模型做了一次架构升级，将预测环境的三维结构，速度场和纹理分布融合到一个训练目标里面，使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过400万Clips，感知性能提升20%。在泊车场景下，毫末做到了用鱼眼相机纯视觉测距达到泊车要求，可做到在15米范围内达测量精度30cm，2米内精度高于10cm。用纯视觉代替超声波雷达，进一步降低整体方案的成本。在纯视觉三维重建方面，通过视觉自监督大模型技术，毫末不依赖激光雷达，就能将收集的大量量产回传视频转化为可用于BEV模型训练的带3D标注的真值数据。
通过对NeRF的升级，毫末表示可以做到重建误差小于10
【本文来自易车号作者智驾网，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】
扫码关注公众号
扫码体验小程序版
暂无数据
如果里面有太多重要的东西，可以尝试以下几种方式来解决这个问题：1.备份重要的东西：将重要的文件和数据备份到其他地方，如云端存储、硬盘等，以防遗失。2.认真分析删除风险：仔细分析哪些内容是必须要保留的，哪些内容是可以删除的，以便作出正确的决策。3.分类整理：将文件按照类别进行整理，删除不必要的，保留重要的，整理出一个清晰的档案存档。4.寻求帮助：如果你实在无法判断某些数据是否重要，可以向专业人士或亲友寻求帮助，让他们为你提供更好的建议。5.防止遗漏：在删除之前，要仔细检查一遍，确保你没有遗漏任何东西。
ChatGPT是由OpenAI开发的一种基于GPT（生成对抗网络）的聊天模型，它可以对用户提出的问题或对话进行响应。为了让ChatGPT正确地处理数据，需要注意以下几点：
1. 数据预处理：在输入数据之前，首先需要进行适当的预处理。这包括去除特殊字符、数字、标点符号等，以及将所有文本转换为小写。预处理有助于减少噪声和方便模型学习。
2. 数据格式：ChatGPT接受一系列对话或问题-回答对作为输入。在准备数据时，需要将对话转化为这种格式。对话中的每个回合都应输入为一个完整的句子，以便模型能够理解上下文。
3. Tokenization：ChatGPT使用的是基于token的模型，因此需要对输入进行tokenization（分词）。通常情况下，可以使用一种标准的分词器，例如NLTK或spaCy来进行分词处理。这样可以将输入转化为模型理解的格式。
4. 数据平衡：为了训练ChatGPT，需要收集与聊天目标相关的对话数据。要确保数据集对于不同类型的问题和对话进行了充分覆盖，以提高模型的适应性和响应能力。
5. 提供上下文：为了使ChatGPT能够理解上下文并给出合理的回答，需要在输入时提供适当的对话历史。这可以通过将前面的对话回合连接起来，或将先前的问题作为上下文输入给模型来实现。
6. Fine-tuning微调：通常，在使用ChatGPT之前，需要对模型进行fine-tuning以更好地适应特定的任务或领域。这可以通过在目标数据上进行额外的训练来实现。Fine-tuning可以提高模型对特定问题的准确性和理解能力。
在以上过程中，需要注意数据的质量和正确性，以及模型在测试集上的表现。定期监控和调整模型的性能，可能还需要迭代应用上述步骤来优化ChatGPT的处理能力。
ChatGPT 是一种基于模型生成的聊天机器人，要让它正确处理数据，可以采取以下几个步骤：
1. 数据预处理：需要对输入的数据进行预处理，例如清洗、分词、去除标点符号和停用词等。这可以通过使用自然语言处理库（如NLTK或spaCy）来实现。
2. 数据标注：对于聊天机器人，数据标注是非常重要的一步。需要为聊天内容提供适当的标签或分类，以便 ChatGPT 能够正确理解和回应不同类型的输入。可以使用常见的分类标签，如问题、答案、闲聊、用户指令等。
3. 数据平衡：确保训练数据集中不同类别的数据有一定的平衡性，这有助于 ChatGPT 在各种场景下都能正确处理数据。如果某个类别的数据较少，可以考虑进行数据增强或收集更多的样本，以实现数据平衡。
4. 异常处理：为了应对 ChatGPT 在处理未知或无法理解的问题时的情况，需要添加适当的异常处理机制。可以设置默认回复或提示用户提供更清晰的问题，以便能够更好地处理数据。
5. 技术监控：在 ChatGPT 上线后，需要进行监控以确保其正常工作。可以使用用户反馈、人工审核或自动化工具来检测和修复 ChatGPT 的错误回复或不当行为。
6. 持续学习：ChatGPT 可以通过不断的反馈和迭代来提高自身的处理能力。可以将用户的反馈数据添加到训练数据集中，进行再次训练，以便更好地适应用户需求并提供更准确的回答。
要让 ChatGPT 正确处理数据，需要进行数据预处理、数据标注、数据平衡、异常处理、技术监控和持续学习等步骤，以确保其能够正确理解不同类型的输入并给出准确的回答。
原料/工具：ChatGPT、手机或电脑
第一步：下载多御浏览器，安卓端或PC端都可以第二步：打开多御浏览器，左边工具栏点击Chatgpt，直接点击即可使用第三步：输入问题，例如“帮我写一封邮件，以**为主题”，或者输入“我想给某某发一封关于**（邮件主题）的邮件，我该如何写”之类的问题，稍等片刻即可获得答案
第四步：例如我输入：我希望某个新闻媒体就我受到职场性骚扰而帮我发声，我该怎么写邮件告诉他们？第五步：再例如我输入：我想给国内某个网站发送一封邮件，主题是我希望她们收录我写的文章，请问我该怎么写？
GPT之于自动驾驶意味着什么？
文丨智驾网 黄华丹
ChatGPT带火了AI，当GPT遇到自动驾驶，又会发生怎样的化学反应？
GPT全称Generative Pre-trained Transformer，即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。
4月11日，在第八届毫末AI DAY上，毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT，中文名雪湖·海若。
DriveGPT能做到什么？又是如何构建的？顾维灏在AI DAY上都做了详细解读。AI DAY还展示了毫末自动驾驶数据体系MANA的升级情况，主要是其在视觉感知能力上的进展。
01.
什么是DriveGPT？能实现什么？
顾维灏首先讲解了GPT的原理，生成式预训练Transformer模型本质上是在求解下一个词出现的概率，每一次调用都是从概率分布中抽样并生成一个词，这样不断地循环，就能生成一连串的字符，用于各种下游任务。
以中文自然语言为例，单字或单词就是Token，中文的Token词表有5万个左右。把Token输入到模型，输出就是下一个字词的概率，这种概率分布体现的是语言中的知识和逻辑，大模型在输出下一个字词时就是根据语言知识和逻辑进行推理的结果，就像根据一部侦探小说的复杂线索来推理凶手是谁。而作为适用于自动驾驶训练的大模型，DriveGPT雪湖·海若三个能力：
1.可以按概率生成很多个这样的场景序列，每个场景都是一个全局的场景，每个场景序列都是未来有可能发生的一种实际情况。
2.是在所有场景序列都产生的情况下，能把场景中最关注的自车行为轨迹给量化出来，也就是生成场景的便会产生自车未来的轨迹信息。
3.有了这段轨迹之后，DriveGPT雪湖·海若还能在生成场景序列、轨迹的输出整个决策逻辑链。
也就是说，利用DriveGPT雪湖·海若，在一个统一的生成式框架下，就能做到将规划、决策与推理等多个任务全部完成。具体来看，DriveGPT雪湖·海若的设计是将场景Token化，毫末将其称为Drive Language。
Drive Language将驾驶空间进行离散化处理，每一个Token都表征场景的一小部分。目前毫末拥有50万个左右的Token词表空间。如果输入一连串过去已经发生的场景Token序列，模型就可以根据历史，生成未来所有可能的场景。也就是说，DriveGPT雪湖·海若同样像是一部推理机器，告诉它过去发生了什么，它就能按概率推理出未来的多个可能。
一连串Token拼在一起就是一个完整的驾驶场景时间序列，包括了未来某个时刻整个交通环境的状态以及自车的状态。
有了Drive Language，就可以对DriveGPT进行训练了。
毫末对DriveGPT的训练过程根据驾驶数据以及之前定义的驾驶尝试做一个大规模的预训练。通过在使用过程中接管或者不接管的场景，对预训练的结果进行打分和排序，训练反馈模型。也就是说利用正确的人类开法来替代错误的自动驾驶开法。
后续就是用强化学习的思路不断优化迭代模型。
在预训练模型上，毫末采用Decode-only结构的GPT模型，每一个Token用于描述某时刻的场景状态，包括障碍物的状态、自车状态、车道线情况等等。毫末的预训练模型拥有1200亿个参数，使用4000万量产车的驾驶数据，本身就能够对各种场景做生成式任务。
这些生成结果会按照人类偏好进行调优，在安全、高效、舒适等维度上做出取舍。毫末会用部分经过筛选的人类接管数据，大概5万个Clips去做反馈模型的训练，不断优化预训练模型。在输出决策逻辑链时，DriveGPT雪湖·海若利用了prompt提示语技术。输入端给到模型一个提示，告诉它“要去哪、慢一点还是快一点、并且让它一步步推理”，经过这种提示后，它就会朝着期望的方向去生成结果，并且每个结果都带有决策逻辑链。每个结果也会有未来出现的可能性。这样我们就可以选择未来出现可能性最大，最有逻辑的链条驾驶策略。可以用一个形象的示例来解释DriveGPT雪湖·海若的推理能力。假设提示模型要“抵达某个目标点”，DriveGPT雪湖·海若会生成很多个可能的开法，有的激进，会连续变道超车，快速抵达目标点，有的稳重，跟车行驶到终点。这时如果提示语里没有其他额外指示，DriveGPT雪湖·海若就会按照反馈训练时的调优效果，最终给到一个更符合大部分人驾驶偏好的效果。
02.
实现DriveGPT毫末做了什么？
DriveGPT雪湖·海若的训练和落地，离不开算力的支持。
今年1月，毫末就和火山引擎共同发布了其自建智算中心，毫末雪湖·绿洲MANA OASIS。OASIS的算力高达67亿亿次/秒，存储带宽2T/秒，通信带宽达到800G/秒。光有算力还不够，还需要训练和推理框架的支持。毫末也做了以下三方面的升级。
一是训练稳定性的保障和升级。大模型训练是一个十分艰巨的任务，随着数据规模、集群规模、训练时间的数量级增长，系统稳定性方面微小的问题也会被无限放大，如果不加处理，训练任务就会经常出错导致非正常中断，浪费前期投入的大量资源。
毫末在大模型训练框架的基础上，与火山引擎共同建立了全套训练保障框架，通过训练保障框架，毫末实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数月没有任何非正常中断，有效地保障了DriveGPT雪湖·海若大模型训练的稳定性。
二是弹性调度资源的升级。毫末拥有量产车带来的海量真实数据，可自动化的利用回传数据不断的学习真实世界。由于每天不同时段回传的数据量差异巨大，需要训练平台具备弹性调度能力，自适应数据规模大小。
毫末将增量学习技术推广到大模型训练，构建了一个大模型持续学习系统，研发了任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%。
三是吞吐效率的升级。在训练效率上，毫末在Transformer的大矩阵计算上，通过对内外循环的数据拆分、尽量保持数据在SRAM中来提升计算的效率。在传统的训练框架中，算子流程很长，毫末通过引入火山引擎提供的Lego算之库实现算子融合，使端到端吞吐提升84%。
有了算力和这三方面的升级，毫末可对DriveGPT雪湖·海若进行更好的训练迭代升级。
03.
MANA大升级，摄像头代替超声波雷达
毫末在2021年12月的第四届AI DAY上发布自动驾驶数据智能体系MANA，经过一年多时间的应用迭代，现在MANA迎来了全面的升级。
据顾维灏介绍，本次升级主要包括：
1.感知和认知相关大模型能力统一整合到DriveGPT。
2.计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化，并集成到OASIS当中。
3.增加了使用NeRF技术的数据合成服务，降低Corner Case数据的获取成本。
4.针对多种芯片和多种车型的快速交付难题，优化了异构部署工具和车型适配工具。
前文我们已经详细介绍了DriveGPT相关的内容，以下主要来看MANA在视觉感知上的进展。
顾维灏表示，视觉感知任务的核心目的都是恢复真实世界的动静态信息和纹理分布。因此毫末对视觉自监督大模型做了一次架构升级，将预测环境的三维结构，速度场和纹理分布融合到一个训练目标里面，使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过400万Clips，感知性能提升20%。在泊车场景下，毫末做到了用鱼眼相机纯视觉测距达到泊车要求，可做到在15米范围内达测量精度30cm，2米内精度高于10cm。用纯视觉代替超声波雷达，进一步降低整体方案的成本。在纯视觉三维重建方面，通过视觉自监督大模型技术，毫末不依赖激光雷达，就能将收集的大量量产回传视频转化为可用于BEV模型训练的带3D标注的真值数据。
通过对NeRF的升级，毫末表示可以做到重建误差小于10
【本文来自易车号作者智驾网，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】
Chat GPT可以做什么?给你搞明白了!
Chat GPT能干嘛?
私人小助手
Chat GPT可以作为你的个人助手， 帮助你回答问题、提供信息和建议。
您可以向Chat GPT提问关于天气、新闻、时事等方面的问题，它将根据能收集的数据回答你的问题。
案例描述和提问
你可以使用Chat GPT来描述你遇到的问题或情况，并提出相关问题以获得解决方案或建议。
假设遇到了一个计算机故障， 可以向Chat GPT描述问题的细节，然后询问它可能的解决方法或建议。
比如写文案不知道风格怎么描述，可以将内容发给Chat GPT， 让它撰写类似风格的文案。
编写代码
Chat GPT可以帮助你编写代码， 提供语法建议、解释特定函数或方法的用途，并给出示例代码。
比如可以向Chat GPT询问如何使用Python编写一个简单的网页爬虫程序，它就可以为你提供代码示例和相关说明。
遇到不懂的代码，可以直接将代码发给它，让Chat GPT来解释。
内容撰写
如果你需要撰写文章、博客或其他类型的文字内容，Chat GPT可以提供创意、帮助你组织思路， 并提供相关的信息和参考资料。
比如您想撰写一篇关于人工智能的文章，你可以与Chat GPT交流关于人工智能的重要发展、应用领域和未来趋势，它可以帮你提供相关资料和观点。
文章总结
hat GPT可以帮助你对一篇文章或一段文本进行总结和摘要，提取关键信息并形成简洁准确的概述，就像小时候读书提取中心思想一样。
小总结
个人小助手：智能问答
·Chat GPT可以作为私人助手， 全方位解答你的问题， 无论是天气预报、时事新闻，还是更专业的领域知识
智能顾问：解答问题，提供建议
·遇到困难?只需向Chat GPT描述你的问题或情况， 无论是日常生活的小麻烦还是专业领域的棘手难题，它都能为你提供解决方案或建议
编程助手：简化代码编写
·编程难题不再难解。只需询问Chat GPT， 它可以帮你编写代码，提供语法建议，解释函数或方法的用途，并给出示例代码
创意伙伴：文章撰写
·缺乏灵感或不知从何下手， Chat GPT可以帮助你产生创新的想法，提供相关信息和参考资料，帮助你清晰地组织和表达自己的思想
专业总结师：快速提取关键信息
·面对长篇报道或学术论文， Chat GPT可以帮助你进行总结和摘要，提取关键信息，让你更快地了解文章的核心内容
ChatGPT是是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，一款人工智能技术驱动的自然语言处理工具。
它能够通过学习和理解人类的语言来进行对话，不仅上知天文下知地理，知识渊博，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，但ChatGPT不单是聊天机器人的简单，甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。同时也引起无数网友沉迷与ChatGPT聊天，成为大家讨论的火爆话题。