JoyHIAI 景智光年
返回数据可信度体系
制度文件

数据方法论

详细说明数据采集、清洗、验证、分析的全流程方法论与质量控制标准

最后更新:2024-11-18版本:v2.1

1
数据采集

1.1 数据来源

  • 官方渠道:政府公开数据、监管机构公告、上市公司财报、专利数据库
  • 行业渠道:行业协会报告、研究机构出版物、会议演讲资料
  • 媒体渠道:权威财经媒体、科技媒体、行业垂直媒体
  • 自有渠道:景智光年产业监测网络、合作伙伴数据共享

1.2 采集标准

时效性要求:

  • 融资事件:发生后 24 小时内采集
  • 政策文件:发布后 48 小时内采集
  • 产业报告:发布后 72 小时内采集
  • 企业动态:发生后 7 天内采集

完整性要求:

  • 每条数据必须包含:标题、来源、发布时间、核心内容
  • 融资数据必须包含:企业名称、融资金额、轮次、投资方
  • 企业数据必须包含:成立时间、总部地点、核心业务、团队背景

2
数据清洗

2.1 去重与合并

  • 标题去重:基于标题相似度(>85%)识别重复数据
  • 内容去重:基于内容指纹识别重复报道
  • 实体合并:同一企业的不同名称映射到统一实体 ID

2.2 质量检查

  • 完整性检查:必填字段缺失率 < 5%
  • 一致性检查:数值范围、日期格式、枚举值校验
  • 异常检测:统计异常值识别与人工复核

3
数据验证

3.1 多源交叉验证

A 级数据(高可信度):

  • 至少 3 个独立来源交叉验证
  • 人工复核确认
  • 原始数据可追溯
  • 无利益冲突声明

B 级数据(中可信度):

  • 至少 2 个独立来源验证
  • 人工复核确认
  • 来源可靠(官方或权威媒体)

C 级数据(参考级):

  • 单源验证
  • 自动采集 + 基础质量检查
  • 需进一步核实

D 级数据(待验证):

  • 未经验证
  • 可能存在偏差
  • 仅供参考,不用于正式报告

3.2 人工复核流程

  1. 研究员初审:检查数据完整性与合理性
  2. 高级研究员复审:验证数据来源与逻辑一致性
  3. 质量主管抽检:随机抽取 10% 数据进行深度核查
  4. 问题数据标记:发现问题的数据标记为"待复核"并进入修正流程

4
数据分析

4.1 分析方法

  • 定量分析:统计分析、趋势分析、对比分析、回归分析
  • 定性分析:案例研究、专家访谈、政策解读、竞争格局分析
  • 混合方法:定量与定性结合,相互验证与补充

4.2 质量控制

  • 方法论透明:公开所有分析方法、假设与局限
  • 结果可复现:提供足够的方法细节,使他人可复现分析结果
  • 不确定性说明:明确说明结论的置信区间与适用边界
  • 同行评议:重要报告发布前经过内部同行评议

5
数据发布

5.1 发布标准

  • 完整性:所有必填字段完整,无缺失关键信息
  • 准确性:数据经过验证,错误率 < 1%
  • 时效性:数据在有效期内,过期数据明确标注
  • 可追溯性:所有数据可追溯到原始来源

6
数据纠错

6.1 纠错流程

  1. 反馈接收:通过网站、邮件、电话接收数据纠错反馈
  2. 初步评估:24 小时内评估反馈的合理性与紧急程度
  3. 调查核实:3 个工作日内完成数据核实
  4. 修正发布:确认错误后 24 小时内修正并公开更正说明
  5. 反馈闭环:向反馈者告知处理结果

联系我们:如发现数据错误,请发送邮件至 joyhiai@163.com 或通过网站"数据纠错"通道提交反馈。