NAS 要多大
按现在的采集节奏和 0.3、0.4 的计划推算:1 年内可用空间最少要 28 GB,最多约 1 TB;远景(约 3 年)最少 81 GB,最多约 3.5 TB。两头相差几十倍,主要看两件事:气象厅每小时的防灾 XML 全留还是封顶,存储开不开压缩。
盘上 21 GB,有用的约 6.6 GB
2026-10-24 在本机状态目录量的。向量库占了 15 GB,可真正的向量只有 0.16 GB,其余是 LanceDB 每次写入留下的旧版本,一共 32,789 份清单。
浅蓝是真实向量,斜纹是旧版本。“其他”一行由 6.6 GB 减去前三项得出,没有单独量。
五层叠起来,再留三成余量
raw 按 sha256 存,只增不删(团队定的“不做清理”)。其余各层都由 raw 推出来,所以先估每个来源的 raw,再按比例加上其余几层。
| 参数 | 最少 | 最多 |
|---|---|---|
| 压缩NAS 文件系统压缩(zstd / lz4) | × 0.5 | 不压缩 |
| 索引SQLite 分块、FTS5 关键词、向量 | raw 的 12% | raw 的 40% |
| 观测库DuckDB / Parquet,只算结构化来源 | 5% | 25%,含修订历史 |
| 状态代次ADR 0005:分块去重,保留当前和上一代 | 索引的 15% | 整份一代 + 6.5 GB 增量 |
| 气象厅每小时防灾 XML | 封顶 5 GB | 全留,每天 0.44 GB |
期限对应的进度是我的假设:3 个月 ≈ MAPLE 完成;半年 ≈ WISTERIA 试点;1 年 ≈ 国际来源扩开;远景 ≈ 3 年,接入 130 个案例用到的其余来源。
选一个期限,看空间花在哪
右边的圆柱是一个 4 TB 的卷,水位就是所选情形需要的可用空间;细环标出另一种情形。
最少和最多,四个期限
| 期限 | 最少 · 数据 | 最少 · 可用空间 | 最多 · 数据 | 最多 · 可用空间 |
|---|
“数据”是五层之和;“可用空间”再除以 0.7,留三成余量给重建索引、换向量模型时的临时双份和文件系统本身。单位是十进制 GB / TB。
两块 4 TB 镜像够到远景,空盘位留给以后
RAID1 两块盘互为镜像,坏一块不丢数据;但 RAID 不是备份,误删和整机故障它都挡不住。
- 可用约 2 TB
- 覆盖 1 年最多情形(1.0 TB),还剩一半
- 远景最多情形不够,要整体换大盘
- 可用约 4 TB
- 覆盖远景最多情形(3.5 TB)
- 空着两个盘位,以后加两块就能翻倍
- 1 TB 约每月 15 美元,3.5 TB 约 53 美元
- 出网免费,读写操作另计
- 本机建索引仍要一份本地副本
备份只备 raw。 raw 是唯一不能重建的东西,而且内容寻址、只增不删,增量备份很省事;索引、向量、观测库都能从 raw 重建(ADR 0005 里 27,880 个分块的关键词索引 65 秒就重建完)。1 年最多情形下 raw 约 340 GB,一块移动硬盘或 R2 一个桶就放得下。
三件事决定落在哪一头
LanceDB 定期清掉旧版本,现在就能腾出 15 GB;不清的话,每次写入都留一份清单,增长比数据本身快。
这是索引维护,不碰 raw。要不要做、多久做一次,需要团队定。
气象厅全留是最大的单项,三年近 500 GB。可以提高上限,也可以只留需要的电文种类。
现在 5 GiB 的上限几天内就会碰到,碰到后这个来源就停了,这件事要先定。
开文件系统压缩。XML、JSON、HTML 通常压到原来的 1/3 到 1/5;PDF、GIS、已压缩的下载包几乎压不动。
最少情形只按 × 0.5 算,偏保守。