Parquet 和 HDF5格式对比

Apache Parquet

• 列式存储: 数据按列组织存储，而不是按行存储12。这提高了数据局部性，对于只涉及部分列的查询可以显著减少 I/O 操作12。

• 高效压缩与编码: 支持多种压缩算法（如 Snappy, Gzip）和针对列数据的编码方案（如 RLE, Delta），有效减少存储空间12。由于同一列的数据类型相似，压缩效果通常很好1。

• 支持复杂数据类型: 能够处理嵌套数据结构1。

• 语言无关与跨平台: 被多种大数据处理框架（如 Hadoop, Spark）和语言（如 Python, Java）支持12。

• 开源免费: 遵循 Apache 许可1。

• 包含元数据: 文件内嵌元数据，有助于加快数据读取和解析2。

• 查询性能高: 列式存储使得读取特定列的分析型查询（OLAP）速度快，可以跳过不相关的数据列12。

• 存储空间节省: 高效的列式压缩能显著减小文件体积，降低存储成本1。相比 CSV 等行式存储，存储空间可减少高达 87%1。

• 大数据生态兼容性好: 与 Spark, Hive, AWS Athena, Google BigQuery 等大数据工具和云服务集成良好14。

• 高数据吞吐量: 数据跳过（data skipping）等技术提高了处理大规模数据的效率1。

• 写入性能相对较慢: 列式存储的特性使得写入操作通常比行式存储慢，可能需要分批写入来优化2。

• 不适合实时或频繁更新: 更适合批处理场景，不太适合需要频繁单条记录更新或实时写入的场景2。

• 对小数据集优势不明显: 对于非常小的数据集，其读取速度可能不如 Feather 或 HDF5 等格式48。

• 维护成本: 格式相对复杂，可能需要一定的维护精力2。

• 大数据分析（OLAP）和数据仓库14。

• 需要对大规模数据集进行部分列读取和聚合操作的场景1。

• 与 Spark、Hive 等大数据框架集成的环境4。

• 需要高压缩率以节省存储成本的场景1。

HDF5 (Hierarchical Data Format 5)

• 层次化结构: 允许将相关的数据对象（如数组、表格、元数据）组织在类似文件系统目录的组（Group）和数据集（Dataset）结构中37。

• 支持多种数据类型: 可以存储标量、多维数组、图像、表格甚至嵌套数据集合37。

• 自描述性: 文件包含元数据，使得文件内容可以在没有外部信息的情况下被理解3。

• 灵活性和可扩展性: 易于容纳新的数据模式，并与其他标准兼容3。

• 跨平台性: HDF5 文件无需转换即可在不同操作系统和机器上使用37。

• 支持大文件和高效 I/O: 针对大容量数据设计，支持数据分块（chunking）存储以优化 I/O 性能，并支持并行 I/O57。

• 内置压缩: 支持多种压缩算法，可在不牺牲太多访问速度的情况下减少存储空间57。

• 组织复杂数据: 层次结构非常适合组织和管理结构复杂、多维度或包含大量元数据的科学和工程数据357。

• 高效随机访问: 支持对大型数组进行切片和随机访问，性能较好6。

• 高性能: 针对高吞吐量和低延迟操作设计，尤其是在处理大规模数据集时5。相比传统关系数据库，在处理持续更新的大型数据集时延迟更低5。

• 多语言支持: 提供 C, Java, Python 等多种语言接口7。

• 存储效率: 通过分块和压缩，可以有效管理存储空间5。

• 写入速度可能稍慢于 Parquet: 在某些基准测试中，HDF5 的写入速度略逊于 Parquet6。

• 相对 Parquet 的列式查询优势不明显: 虽然可以高效访问数据子集，但其底层存储并非纯粹的列式优化，对于只读少数列的分析查询，可能不如 Parquet 高效12。

• 生态系统侧重不同: 虽然被广泛使用，但在 Hadoop/Spark 大数据分析生态中的原生集成度不如 Parquet41。

• 安装可能稍复杂: 有些用户反映其库的安装可能比某些纯 Python 库复杂3。

• 科学计算和工程领域（如物理、气象、生物医学、基因测序、流体力学）37。

• 存储大规模多维数组、图像数据7。

• 需要存储复杂、具有层次关系的数据和丰富元数据的场景37。

• 金融领域，特别是高频交易数据存储和需要快速访问子集的场景5。

• 需要跨平台共享复杂数据集3。

• 机器学习和深度学习中的大型数据集或模型参数存储47。

Parquet vs HDF5 对比总结

金融交易数据场景下的选择

• 典型的分析查询: 金融交易数据通常是结构化的表格数据。如果主要应用场景是进行数据分析，例如按时间、按品种聚合计算统计指标（如每日交易量、平均价格等），需要频繁读取某些特定列（如价格、数量、时间戳），Parquet 的列式存储能提供非常高的查询效率和 I/O 性能12。

• 存储成本: 金融交易数据量巨大，Parquet 的高压缩率可以显著节省存储空间1。

• 大数据平台集成: 如果数据处理和分析依赖于 Spark、Hive 等大数据平台，Parquet 是这些平台的首选或原生支持格式之一，集成更方便4。

• 高频交易数据 (HFT): HFT 产生的数据量巨大且对访问延迟敏感。HDF5 被设计用于高吞吐量和低延迟操作，其分块存储和快速随机访问能力对于需要快速读取特定时间段或特定合约数据的场景非常有利5。一些金融机构专门使用 HDF5 存储和处理高频市场数据5。

• 复杂数据结构: 如果交易数据不仅仅是扁平的记录，还包括更复杂的信息，例如订单簿快照（是多维数据）、期权与标的物的关联、或者需要附加大量结构化元数据，HDF5 的层次化结构能更好地组织和表达这些复杂关系37。

• 科学计算/Python 集成: 如果后续分析主要使用 Python (NumPy/Pandas) 进行复杂的数值计算或模型回测，HDF5 与这些库有良好的集成7。

• 如果你的主要场景是大规模的、基于表格的交易数据批处理分析，并且对存储效率和特定列的查询性能要求很高，同时可能会用到 Spark 等大数据工具，那么 Parquet 通常是更优的选择14。

• 如果你处理的是极高频率的交易数据，对数据访问延迟有严格要求，或者数据本身具有复杂的多维或层次结构（如订单簿数据），或者需要非常灵活地组织关联数据和元数据，那么 HDF5 可能是更合适的选择57。