DATUMOJ · 0.3 外部存储 · 2026-10-25 估算

NAS 要多大

按现在的采集节奏和 0.3、0.4 的计划推算:1 年内可用空间最少要 28 GB,最多约 1 TB;远景(约 3 年)最少 81 GB,最多约 3.5 TB。两头相差几十倍,主要看两件事:气象厅每小时的防灾 XML 全留还是封顶,存储开不开压缩。

建议4 盘位 NAS,先装 2 × 4 TB 做 RAID1,raw 另做一份异地备份
现在 · 本机实测

盘上 21 GB,有用的约 6.6 GB

2026-10-24 在本机状态目录量的。向量库占了 15 GB,可真正的向量只有 0.16 GB,其余是 LanceDB 每次写入留下的旧版本,一共 32,789 份清单。

向量库(LanceDB)15.0 GB
气象厅 raw3.26 GB
SQLite 分块与关键词≈1.8 GB
其他 raw 与状态≈1.4 GB

浅蓝是真实向量,斜纹是旧版本。“其他”一行由 6.6 GB 减去前三项得出,没有单独量。

34 GiB现有 7 个来源的 raw 上限合计(sources/*.yaml)
440 MB气象厅每天新增,约 1,340 份 XML;一年约 160 GB
≈5 天按这个速度,气象厅碰到 5 GiB 上限,之后停止采集
怎么算

五层叠起来,再留三成余量

raw 按 sha256 存,只增不删(团队定的“不做清理”)。其余各层都由 raw 推出来,所以先估每个来源的 raw,再按比例加上其余几层。

raw × 压缩率+索引+观测库+状态代次+日志等÷ 0.7 =需要的可用空间
参数最少最多
压缩NAS 文件系统压缩(zstd / lz4)× 0.5不压缩
索引SQLite 分块、FTS5 关键词、向量raw 的 12%raw 的 40%
观测库DuckDB / Parquet,只算结构化来源5%25%,含修订历史
状态代次ADR 0005:分块去重,保留当前和上一代索引的 15%整份一代 + 6.5 GB 增量
气象厅每小时防灾 XML封顶 5 GB全留,每天 0.44 GB

期限对应的进度是我的假设:3 个月 ≈ MAPLE 完成;半年 ≈ WISTERIA 试点;1 年 ≈ 国际来源扩开;远景 ≈ 3 年,接入 130 个案例用到的其余来源。

四个期限

选一个期限,看空间花在哪

右边的圆柱是一个 4 TB 的卷,水位就是所选情形需要的可用空间;细环标出另一种情形。

四个期限的范围 · 可用空间 · 对数刻度
这一期需要
按来源的 raw(未压缩)· 最多 / 最少
汇总

最少和最多,四个期限

期限最少 · 数据最少 · 可用空间最多 · 数据最多 · 可用空间

“数据”是五层之和;“可用空间”再除以 0.7,留三成余量给重建索引、换向量模型时的临时双份和文件系统本身。单位是十进制 GB / TB。

怎么买

两块 4 TB 镜像够到远景,空盘位留给以后

RAID1 两块盘互为镜像,坏一块不丢数据;但 RAID 不是备份,误删和整机故障它都挡不住。

够用就行
2 盘位 · 2 × 2 TB RAID1
  • 可用约 2 TB
  • 覆盖 1 年最多情形(1.0 TB),还剩一半
  • 远景最多情形不够,要整体换大盘
适合先只跑日本来源、气象厅封顶的情况
建议
4 盘位 · 先装 2 × 4 TB RAID1
  • 可用约 4 TB
  • 覆盖远景最多情形(3.5 TB)
  • 空着两个盘位,以后加两块就能翻倍
选 NAS 级硬盘;文件系统选支持透明压缩的(Btrfs 或 ZFS)
对照 · R2
按量计费,无需买盘
  • 1 TB 约每月 15 美元,3.5 TB 约 53 美元
  • 出网免费,读写操作另计
  • 本机建索引仍要一份本地副本
按 R2 标准存储公开价 0.015 美元/GB·月估,未核对最新价

备份只备 raw。 raw 是唯一不能重建的东西,而且内容寻址、只增不删,增量备份很省事;索引、向量、观测库都能从 raw 重建(ADR 0005 里 27,880 个分块的关键词索引 65 秒就重建完)。1 年最多情形下 raw 约 340 GB,一块移动硬盘或 R2 一个桶就放得下。

能省在哪

三件事决定落在哪一头

15 GB → 0.16 GB

LanceDB 定期清掉旧版本,现在就能腾出 15 GB;不清的话,每次写入都留一份清单,增长比数据本身快。

这是索引维护,不碰 raw。要不要做、多久做一次,需要团队定。

160 GB / 年

气象厅全留是最大的单项,三年近 500 GB。可以提高上限,也可以只留需要的电文种类。

现在 5 GiB 的上限几天内就会碰到,碰到后这个来源就停了,这件事要先定。

× 0.2 – 0.5

开文件系统压缩。XML、JSON、HTML 通常压到原来的 1/3 到 1/5;PDF、GIS、已压缩的下载包几乎压不动。

最少情形只按 × 0.5 算,偏保守。

风险

远景来源最不确定130 个案例的其余来源估了 0 到 300 GB,国际组织 0 到 150 GB,都没实测。接进来时按真实下载量重估。
换向量模型或维度向量要整库重建,重建期间新旧两份同时在盘上。三成余量就是留给这种时候的。
大文件来源GIS、普查这类下载包单个就是 GB 级,一个来源可能顶掉一整期的估算。接入前先看来源说明里的文件大小。
NAS 和 R2 还在协商如果最后状态放 R2,NAS 只做本地工作副本,需求按 raw 加索引算,比这里的数小。
实测的:现有 21 GB 的构成、气象厅存量和日增量、各来源上限、ADR 0005 的分块去重数据。
估的:各来源未来的 raw 大小、各层比例、压缩率、期限和进度的对应。
模型:nas_model.py,最少与最多各一套参数,逐期限求和;数字都是十进制。