在数据科学的旅程中，数据的存储与计算是构建可靠、高效分析流程的基石。本课程将围绕整体流程、关键概念、数据库选择以及Lambda与Kappa架构展开，帮助你建立坚实的后端知识体系。
一、整体流程与核心概念
一个完整的数据处理流程通常遵循“数据采集 → 数据存储 → 数据处理 → 数据分析/应用”的路径。其中，数据存储负责持久化保存原始数据和处理结果，而数据计算则涉及对数据进行清洗、转换、聚合和分析。理解存储与计算的分离与协同，是设计高效系统的关键。
二、数据库的选型：因地制宜的策略
面对众多数据库，选型需基于数据特性与业务需求：
- 关系型数据库（如MySQL、PostgreSQL）：适合结构化数据、需要强一致性与复杂事务的场景（如用户账户、交易系统）。
- NoSQL数据库：
- 文档型（如MongoDB）：灵活存储半结构化数据（如JSON），适合内容管理、产品目录。
- 列式（如Cassandra、HBase）：擅长快速读写海量数据，适用于时序数据、日志分析。
- 键值型（如Redis）：提供极快的内存读写，常用于缓存、会话存储。
- 图数据库（如Neo4j）：专为关系网络设计，适用于社交网络、推荐引擎。
- 数据仓库（如Snowflake、BigQuery）：为大规模分析查询优化，支持多维度聚合，是商业智能（BI）的核心。
- 数据湖（如AWS S3、HDFS）：以原始格式存储海量异构数据（结构化、半结构化、非结构化），支持灵活的后处理分析。
选型时需权衡：数据模型、读写模式、一致性要求、扩展性及成本。
三、架构之争：Lambda vs. Kappa
这两种架构旨在处理大规模流式数据，但路径不同：
- Lambda架构：包含批处理层（处理全量数据，保证高准确性）、速度层/流处理层（处理实时数据，保证低延迟）和服务层（合并两者结果供查询）。它稳健但复杂，需要维护两套处理逻辑。
- Kappa架构：由Jay Kreps提出，简化架构，只保留流处理层。所有数据（包括历史数据回填）都通过流处理系统（如Kafka + Flink/Spark Streaming）处理，通过重播日志来实现批处理能力。它更简洁，但对流处理引擎要求极高。
选择建议：若业务对实时与批处理结果一致性要求极高，且团队能承受复杂度，Lambda架构仍具价值。若追求架构简洁，并相信流处理系统能覆盖所有场景，Kappa是更现代的选择。许多现代平台（如Delta Lake、Apache Iceberg）正试图融合两者优势。
四、数据处理与存储支持服务
实际应用中，我们常依赖云服务或开源生态：
- 计算引擎：Apache Spark（批流一体）、Flink（高级流处理）、AWS Glue/EMR、Google Dataflow。
- 消息队列/日志系统：Apache Kafka（数据管道核心），实现数据缓冲与异步处理。
- 存储服务：对象存储（AWS S3、Azure Blob）、云数据库（RDS、Cosmos DB）、托管数据仓库（Redshift、Snowflake）。
- 编排调度：Apache Airflow、Kubernetes，用于自动化工作流管理。
###
掌握数据存储与计算，意味着你能够为数据科学项目选择合适的基础设施，确保数据在流动中保持可用、一致与高效。从理解数据本身出发，到选择数据库与架构，每一步都影响着最终的分析效能与系统弹性。在后续课程中，我们将深入具体工具与实战编码，将概念付诸实践。
