deep sequencing技术_deep科技_deepseek技术报告详情分析
deepseek技术报告详情分析
1、DeepSeek是基于深度学习的大模型技术，在图像识别、文本分类、语音识别等场景可提供高精度结果。架构分数据预处理层、模型训练层、应用部署层。
2、DeepSeek-R1通过创新训练策略实现成本降低，推理成本低，输入tokens为$0.55/百万tokens ，输出tokens为$2.19/百万tokens ，对比O1优势显著。
3、核心训练策略上，DeepSeek团队减少监督微调（SFT）步骤降成本，尝试跳过SFT推出DeepSeek-R1-Zero版，仅依赖强化学习（RL）技术，加少量冷启动数据可提升稳定性与推理能力。
4、理解RLHF原理很重要，先数据收集，创建提示并收集人类响应；再监督微调，用预训练语言模型在人类数据上微调，对比模型响应与参考并打分；接着构建奖励模型，人类评估者评分训练“奖励模型”；最后策略优化，语言模型从奖励模型获反馈，调整生成文本策略。
5、DeepSeek-R1采用组相对策略优化（GRPO）替代传统近端策略优化（PPO），是关键训练方法之一。
6、DeepSeek技术在课堂教学智能化、数字人应用、科研创新、学生学习辅助、股票分析等场景有巨大潜力。
7、其核心优势是强大特征提取能力与高效计算性能，能自动提取特征，减少人工特征工程工作量，且计算性能高，让模型训练和部署更迅速。
8、从原理看，有强大的复合专业语言模型，无损耗的负载均衡策略，多令牌预测（MTP）目标，少而精的蒸馏体系结构。
9、在使用技巧方面，高效提问可用合理分词公式：【目标 + 约束条件 + 输出格式】 ，如制定学习计划、分析业务问题等。
10、联网搜索可爬取海量数据输出结构化，比如查询漫展信息，利用AI检索能力极速统计结果。
11、深度推理能提供优质解决方案与思路，像解决情感难题，体现高情商回复。
12、DeepSeek-V3在多模态，代码编程等诸多领域表现优异。
13、DeepSeek技术的发展也带来诸多效应，如引发算力价格战，打破开源与闭源边界，颠覆对AI研发成本和中国AI水平的认知等。
14、从发展历程看，生成式AI从2014年Attention机制到2024年o1/R1技术，DeepSeek在此基础上不断创新。
15、技术创新包括稀疏激活的DeepSeekMoE架构、低秩压缩技术（MLA）、多token预测（MTP）、基于大规模强化学习的推理模型训练框架等，提升性能与性价比，降低训练成本，绕过美国算力限制。
16、在训练过程中，不同阶段有不同重点，如强化学习特训阶段训练数学/编程/科学推理，创新设计COT语言一致性奖励。
17、数据增强阶段由600K Reasoning数据和200K non - Reasoning数据构成。
18、全场景强化学习从推理能力、有用性、安全性等维度评估，有Rule - based奖励机制、数学/代码专用奖励信号等。
19、知识蒸馏可让小模型获得超能力，实现方案涉及数据准备等环节。
20、DeepSeek以其独特优势和广泛应用场景，为国家科技创新提供强大动力，推动我国在全球科技竞争中地位提升。
