训练研究与数据工程,
同一支团队
TokenDaddy 的核心成员来自 AI 训练实验室与国内一线互联网公司的数据团队。我们既理解哪些数据能真正推动模型能力,也具备将其规模化、标准化交付的工程与运营经验。专为解决未来大模型训练的数据需求而来。
训练实验室背景
核心成员参与过大模型训练一线工作,从模型的视角定义数据。
- 覆盖预训练、SFT、偏好对齐与强化学习全流程
- 理解数据对 loss、评测与能力的实际影响
- 以训练消融而非标注数量衡量数据价值
- 与客户研究团队使用同一套技术语言沟通
互联网大厂数据专家
来自一线互联网公司的数据团队,具备大规模数据生产与治理经验。
- 大规模数据采集、清洗与治理体系建设
- 标注运营、专家网络管理与多层质检
- 数据安全、隐私合规与跨境流程
- 平台化工具链,保证交付稳定可复现
面向下一代训练范式
大模型训练正从「更多数据」转向「更好的数据与环境」,我们为此而建。
- 重点投入 RL 环境、智能体轨迹与可验证奖励
- 持续跟踪前沿训练方法,提前布局数据形态
- 研究与生产一体,从样本到交付周期更短
- 中文与本土场景数据的原生能力
| 维度 | 传统数据标注服务 | TokenDaddy |
|---|---|---|
| 交付标准 | 标注数量与抽检准确率 | 模型目标能力的可测量提升 |
| 团队构成 | 项目经理 + 众包标注员 | 训练研究员 + 数据工程师 + 领域专家 |
| 质量证明 | 抽检报告 | 一致性指标 + 校验器结果 + 去污染报告 + 训练消融 |
| 数据形态 | 静态标注数据 | 语料、RL 环境、智能体轨迹、可验证难题 |
| 协作方式 | 按需求单执行 | 与客户研究团队共同定义数据规格与验收指标 |
大规模、可追溯、配比合理的语料
从采集、授权、清洗到配比和验证,交付可直接进入训练管线的数据。每个数据包附来源清单、授权链与质量报告。
网页语料清洗与提纯
把原始抓取数据处理成高质量训练文本。
- 正文抽取、语言识别、格式规整
- 精确去重 + MinHash 近似去重(文档级 / 段落级)
- 质量分类器打分与分档过滤
- 有害内容、广告、低质模板过滤
授权语料采购与版权链
对接出版社、期刊、媒体和专业机构,获取可商用的高价值文本。
- 书籍、学术论文、新闻、行业报告
- 授权谈判、合同与使用范围管理
- 逐条来源记录,可应对版权审查
个人信息与敏感信息脱敏
训练前移除或替换可识别个人的信息,降低合规风险。
- 姓名、电话、证件号、地址、邮箱识别与替换
- 中文场景专项规则(身份证、手机号、车牌等)
- 脱敏抽检与漏检率报告
多语种与小语种语料
补齐英语以外的语言能力,重点覆盖资源稀缺语种。
- 中文高质量语料(含繁体、方言书面语)
- 东南亚、中亚、中东、非洲等小语种
- 平行语料与翻译对
- 母语者质量抽检
代码语料
面向代码能力的预训练数据,兼顾质量与许可证合规。
- 开源仓库采集与许可证过滤
- 仓库级去重、自动生成代码与密钥剔除
- 代码–文档–issue 关联数据
- 可编译 / 可运行性过滤
垂直领域语料
为行业模型补充领域知识,来源可控、术语准确。
- 金融、医疗、法律、工业制造、能源等
- 法规、标准、教材、技术手册结构化处理
- 表格、公式、PDF / 扫描件高精度解析
合成数据
在真实语料不足之处,以模型生成并经过校验的数据补位。
- 教材式改写、问答化、习题化
- 长上下文拼接与检索型任务构造
- 多样性控制与事实校验,避免模型自我复读
图文与文档类数据
为多模态预训练准备对齐良好的图文数据。
- 图文对采集与相关性过滤
- 图文交错文档(网页、教材、说明书)
- OCR 文档、图表、表格的结构化标注
数据配比与去污染验证
不仅提供数据,还帮助确认这批数据值得进入训练。
- 领域 / 语种 / 质量档的配比建议
- 与主流评测集的 n-gram 去污染检查
- 开源小模型消融训练,对比加入前后的指标
可运行、可判分、防作弊的训练环境
为智能体与推理模型搭建强化学习环境:容器化沙箱 + 分级任务集 + 自动判分器。环境可复现、可并行,并持续补充新任务。
代码仓库任务环境
基于真实仓库的缺陷修复、功能开发与重构任务。
- issue → 补丁的完整任务,含可运行测试
- 多语言、多框架仓库,镜像化依赖
- 隐藏测试 + 回归测试双重判分
Web 操作环境
让模型在网页上完成搜索、填表、下单、比价等多步任务。
- 可重置的网站镜像,状态可控
- 电商、出行、政务、企业后台等场景
- 任务完成度与过程合规双判分
桌面与操作系统环境
面向 computer use 的桌面应用操作任务。
- 办公软件、文件管理、系统设置
- Windows / Linux 虚拟机快照与重置
- 截图 + 无障碍树双观测
工具与 API 环境
训练模型正确选择、组合和调用工具。
- 模拟后端服务与 MCP 工具集
- 多工具编排、错误处理、重试场景
- 参数正确性与调用顺序判分
业务流程环境
将真实工作流构建为可训练的环境,适用于企业智能体。
- CRM、ERP、客服工单、财务报销、HR 流程
- 中国本土场景:企业微信、电商后台、税务票据
- 带权限、审批、异常分支的多角色流程
数理推理题库环境(RLVR)
带标准答案、可程序判分的高难度题目环境。
- 数学、物理、化学、算法竞赛级题目
- 答案归一化与等价判断(数值、表达式、集合)
- 难度分级与通过率标定
奖励函数与判分器构建
没有标准答案的任务,同样需要可靠的奖励信号。
- 程序化判分器开发
- rubric + LLM 评审组合判分,人工校准一致性
- 奖励模型训练数据准备
Reward hacking 审计
识别模型规避任务目标获取奖励的漏洞,并在交付前修复。
- 对判分器进行对抗测试(改测试、硬编码答案等)
- 训练轨迹抽样审查
- 漏洞修复与回归验证
环境工程与持续运营
环境交付后保持稳定运行,并持续扩充。
- Docker 容器化、高并发 rollout 支持
- 任务版本管理与难度曲线调整
- 定制评测基准(与训练任务严格隔离)
由专家生产、专家审核、可验证的数据
由博士、工程师、医生、律师等从业者组成的专家网络生产,覆盖 SFT、偏好对齐、强化学习与安全评估各环节。
SFT 示范数据
高质量的指令–回答对,为模型建立优质回答的范式。
- 多轮对话、指令遵循、复杂格式约束
- 长文写作、摘要、改写、翻译
- 按客户风格指南定制语气与格式
专家推理过程数据
由专家撰写的完整解题与思考过程。
- 数学、科学、编程、逻辑的逐步推导
- 包含试错、自我检查与纠错的过程
- 步骤级正确性标注(过程奖励)
偏好对比数据(RLHF / DPO)
对多个模型回答进行比较和排序,训练偏好与奖励模型。
- 成对比较、多选排序、Likert 打分
- 按有用性、真实性、安全性等维度分项评分
- 附评分理由,便于审核与复用
Rubric 编写与评分
为开放式任务制定可执行的评分标准,并按标准评分。
- 按任务拆解评分项、权重与扣分条件
- rubric 的专家互审与可判性测试
- 按 rubric 对模型输出逐项打分
可验证难题(RLVR)
前沿模型尚无法解决、但答案可程序验证的题目。
- 研究生到竞赛级的原创题目
- 附标准答案或测试用例
- 用前沿模型对抗筛选,保留真正的难题
智能体轨迹数据
专家在真实工具和环境中完成任务的完整操作记录。
- 编程、浏览器、桌面、业务系统操作轨迹
- 每步的观察、思考、动作与结果
- 失败轨迹与纠错示范
领域专家数据
由持证或资深从业者生产的专业领域数据。
- 医学、法律、金融、会计、工程、科研
- 专业问答、案例分析、文书写作
- 双专家交叉审核关键事实
红队与安全数据
系统性发现模型的安全短板,并提供修正数据。
- 越狱、诱导、偏见、隐私泄露等攻击样本
- 安全拒答与有益回答的边界示范
- 按地区法规定制的合规评估集
中文与本地化数据
提升模型对中文语境与本地规则的理解。
- 中文写作风格、成语典故、网络用语
- 中国法规、行业规范、办事流程知识
- 多地区文化与语言习惯适配
人工评估与定制评测集
以专家评估量化模型在目标能力上的进展。
- 模型版本间的盲评对比
- 私有评测集构建,严格防泄漏
- 能力短板分析与下一轮数据建议
每一批数据都附带质量证据
质量是 TokenDaddy 的核心竞争力。从需求到交付共七道工序,每一道都留下可审计的记录。
需求拆解
定义目标能力、数据规格、rubric 和验收指标。
专家准入
按学科招募,考试准入,持续评级淘汰。
人机协同生产
AI 起草、专家修改,关键判断由人完成。
多层审核
交叉一致性、资深抽检、答案独立验证。
自动检测
识别 AI 代写、评测污染、重复与模板化。
训练消融
小模型训练,验证数据对指标的提升。
合规交付
来源授权链、脱敏、跨境评估、保密协议。
服务不同阶段的模型团队
从前沿模型实验室到企业自建团队,不同阶段的模型团队需要不同的数据组合。
| 客户类型 | 常用服务 | 典型诉求 |
|---|---|---|
| 前沿模型实验室 | RL 环境 · 可验证难题 · 偏好数据 · 红队 | 突破推理与智能体能力上限 |
| 开源 / 中型模型团队 | 预训练语料 · SFT · 偏好数据 | 以有限预算追赶一线水平 |
| 垂直模型公司 | 垂直语料 · 领域专家数据 · 定制评测 | 金融、医疗、法律、工业场景的专业度 |
| 智能体创业公司 | 业务流程环境 · 工具调用环境 · 轨迹数据 | 让智能体在真实业务中稳定完成任务 |
| 企业自建模型团队 | 私有数据清洗 · 脱敏 · 微调数据 | 将内部数据转化为可训练资产 |
四种合作模式,按需组合
从一次性定制到长期订阅,匹配不同的训练节奏与预算结构。
定制项目
按客户规格从零生产数据,独家交付。
按条 / 按工时现货数据集
即买即用的语料包、难题库与评测集。
非独家授权RL 环境订阅
环境按年授权,持续补充新任务与修复。
年度订阅专家团队外包
客户提供工具与流程,我们提供经筛选的专家。
按工时加成合作流程
需求沟通
明确目标能力、数据类型、规模和验收标准。
样本交付
先交付小批量样本,双方对齐质量口径。
付费试点
中等规模生产,附消融或评测结果。
规模化交付
按月交付,持续跟踪模型指标并调整方向。
与我们讨论您的数据需求
说明目标能力与当前瓶颈,我们将在一周内提供数据方案与样本计划。