本文目录一览：
如何构建长上下文处理能力的预训练模型(二)
数据预处理优化：解决拼接与边界问题传统concat-and-chunk方法通过拼接文档并切分训练窗口，存在三大缺陷：注意力干扰：不同文档拼接导致模型关注无关内容；计算冗余：注意力复杂度与输入长度平方相关，拼接增加计算成本；边界截断：窗口切分破坏文档完整性，降低长文本建模能力。
长上下文训练：用重缩放 RoPE 训练新技能。混合模式：使模型同时具备短长任务处理能力，成为“全才”。
预训练模型基础：迁移学习与训练流程预训练模型本质是迁移学习的应用，通过保存已训练网络的权重（即多层神经网络的参数），将知识迁移至新任务。例如，自然语言处理领域的预训练模型训练流程分为三步：词嵌入转换：将文本字符串转为数字向量（如独热编码、词向量嵌入）。
从零开始训练一个垂类大模型的预训练阶段，需结合模型结构设计、位置编码优化、计算效率提升及混合专家机制等技术。以下是具体步骤和要点：模型基础结构设计词向量与Transformer层：模型将每个词表示为512维的数字向量（embedding），通过8层Transformer结构实现深度文本理解。
全链接自注意力网络：全链接自注意力网络（如Transformer）是一种非序列模型，它通过计算文本中任意两个位置之间的相关性来捕获长期依赖。这种网络结构复杂但高效，能够显著提高模型的性能。综上所述，预训练模型在自然语言处理领域取得了显著的进展。
Google的RAG替代方案RIG简介
1、谷歌推出的DataGemma通过检索交错生成（RIG）和检索增强生成（RAG）两种方法，有效解决大型语言模型处理统计数据时的“幻觉”问题，显著提升数据可靠性和模型准确性。
2、RAG”字源苏美语”RIG”，意为言论，代表了古人在法院的诉讼过程，匈牙利语”RAGA-lom”也是原告一字之意，故传拉贵尔为对律法的破坏者加以判罪的天使。梅塔特隆（Metatron）达伦有神的代理人之称，亦是天使之王。在诸多大天使的候补中，最为宗教律法学者所偏好。
3、又作Rachel、Reuel、Raguil、Rasuil、Rufael、Suryan、Akrasiel、Ruhiel、Ruagel、Ruahel。字意为「神之友－Friend fo God」。”RAG”字源苏美语”RIG”，意为言论，代表了古人在法院的诉讼过程，匈牙利语”RAGA-lom”也是原告一字之意，故传拉贵尔为对律法的破坏者加以判罪的天使。
怎么让deepseek记住对话框的内容
让DeepSeek记住对话框内容可通过以下方法实现，具体分为网页端、API调用、对话迁移及辅助功能四类场景：网页端会话内连续交互（默认机制）在官方网页平台中，系统默认启用上下文记忆功能。用户需确保不刷新页面、不关闭标签页、不点击【新对话】按钮，直接在原输入框中继续提问。
DeepSeek支持通过日期来调用历史会话。在对话框中输入“@”符号后跟上具体的日期（例如“@2025-02-04”），系统就会自动显示该日期的对话记录。优点：这种方法适用于想要回顾特定日期对话内容的情况，能够快速定位到所需日期，节省时间。
手机DeepSeek保存对话的方法主要有以下几种，可根据需求选择适合的方式： 使用#标签保存对话记录在对话界面中，输入“#标签名”（如“#重要问题”“#工作记录”）即可为当前对话添加标签。后续需检索时，在搜索框输入对应标签，系统会快速定位标记的对话内容。
DS直接复制法步骤一：用鼠标框选需要复制的对话区域，右键选择“复制”或使用快捷键Ctrl+C；步骤二：在Excel空白区域粘贴，内容会自动分布至不同单元格。注意：需避免直接点击DeepSeek自带的复制按钮，以防内容截断或格式错乱。此方法操作简单，但适合内容量较少的场景。
DeepSeek保存对话记录的方法如下： 一键备份与导出功能DeepSeek提供简洁的操作界面，用户可通过“一键备份”功能快速保存对话内容。在对话界面中，通常可找到“备份”或“导出”选项，点击后可选择将记录保存至本地设备（如手机、电脑）或云端存储。导出格式支持文本、PDF等常见类型，便于后续查阅或分享。
