Bigdata Wiki OS

  • Bigdata Wiki OS - 面向大数据全栈工程师、数据架构师与未来 CDO/CDAO 角色的个人知识图谱系统。

Core Maps

  • BigData Map - 工程能力、数据链路、平台交付和职业资产导航。
  • MOC-Data Architecture Map - 架构、建模、治理、平台、数据产品和 CDO/CDAO 视角导航。
  • MOC-DCMM-DAMA Map - DCMM、DAMA、元数据、标准、质量和治理证据导航。
  • DATA Agent Map - Data Agent、语义层、指标体系、RAG、工具调用和治理边界导航。
  • MOC-职业资产地图 - 面试题、项目案例、架构评审、演讲教程和作品集导航。

Core Notes

Architecture

Governance

Modeling And Semantics

Engineering Reliability

DATA+AI

Career Assets

  • MOC-职业资产地图
  • Bigdata Interview Question Bank
  • Bigdata Project Case Library
  • Data Architecture Review Playbook
  • Bigdata Presentation Playbook

Maintenance

  • Obsidian Naming Governance - tags、filename、title、aliases 和双链的命名治理规则。
  • Obsidian Tag Monitor - 使用 Dataview 监控 tag 分布、孤立 tag、命名异常和清理候选。
  • 每次新增核心笔记,至少挂到一个 MOC。
  • 每次新增项目案例,补充 part-of::used-in::asked-in:: 关系。
  • 每次新增 DATA+AI 相关内容,同步检查 DATA Agent Map 和 AI 首页入口。
  • 每次新增面试、案例、评审或演讲内容,同步检查 MOC-职业资产地图。

81 items under this folder.

  • AQE(Adaptive Query Execution)

    AQE 是大数据 SQL 引擎在运行时基于真实数据反馈动态优化执行计划的能力,主要用于优化 Join、Shuffle 分区和数据倾斜问题,是 CBO 之后更进一步的动态优化机制。

  • BigData Map

    面向大数据全栈工程师的知识地图,连接数据采集、存储、计算、治理、服务、AI 增强与职业资产。

  • Bigdata Wiki OS

    面向大数据全栈工程师、数据架构师与未来 CDO/CDAO 角色的个人知识图谱系统规划。

  • DataWorks

    阿里云一站式智能大数据开发治理平台

  • Data Architecture Blueprint

    数据架构蓝图用于把业务目标、数据域、平台能力、治理规则和交付路线组织成可评审的总体设计。

  • Data Contract

    数据契约定义生产方和消费方之间对 schema、语义、质量、SLA 和变更的约定。

  • Data Mesh

    Data Mesh 是以数据域、数据产品、联邦治理和自助平台为核心的分布式数据架构思想。

  • Data Product

    数据产品把数据资产封装为有 owner、SLA、文档、质量承诺和消费体验的可复用服务。

  • MOC-DCMM-DAMA Map

    用 DCMM 和 DAMA 组织数据治理、数据管理成熟度和落地证据的知识地图。

  • MOC-Data Architecture Map

    面向数据架构师的能力地图,连接战略、架构、建模、治理、平台、数据产品和商业价值。

  • CDO

    CDO/CDAO 是负责数据战略、治理、资产化、分析与 AI 价值转化的管理角色。

  • DAMA-DMBOK

    DAMA-DMBOK 是国际数据管理知识体系,用于组织数据治理、架构、建模、质量、元数据、安全和 BI 等能力。

  • Data Governance Operating Model

    数据治理运行机制定义组织、制度、流程、平台和度量如何协同,保证治理可以持续落地。

  • Data Lineage

    数据血缘描述数据从源系统到模型、指标、报表和应用的加工链路,是影响分析和可信解释的基础。

  • Data Quality

    数据质量用于保证数据满足业务使用要求,覆盖完整性、准确性、一致性、及时性、唯一性和有效性。

  • Data Security

    数据安全通过分类分级、权限、脱敏、审计和合规控制,保护数据资产在全生命周期中的安全使用。

  • Data Standard

    数据标准通过统一业务术语、数据元、参考数据、主数据和指标口径,降低组织内的数据歧义。

  • Metadata Management

    元数据管理用于描述、连接和治理数据资产,是数据目录、血缘、质量、权限、语义层和 AI Agent 的基础。

  • Data Observability

    数据可观测性通过元数据、质量、血缘、任务和使用行为监控,持续发现数据链路风险。

  • Data Pipeline SLA

    数据链路 SLA 定义数据任务在时效、质量、可用性和恢复方面的服务承诺。

  • Data Domain

    数据域用于按照业务能力和管理边界组织数据资产,是数据架构、建模和治理协同的基本单元。

  • Indicator System

    指标体系用于定义业务指标、维度、口径、层级和责任人,是 BI、经营分析、数据产品和 AI Agent 的共同语言。

  • Metrics Governance

    指标治理通过口径、维度、责任、变更和质量控制,保证企业核心指标一致可信。

  • Semantic Layer

    语义层把底层数据模型封装为业务可理解、指标一致、权限可控的语义接口。

  • What's Apache Paimon?

    Apache Paimon 是面向统一批流、实时更新、湖仓存储和多引擎计算的数据湖表格式与存储系统概览。

  • Dinky

    Apache Dinky - 开源实时计算平台,基于Apache Flink构建的一站式实时数据开发、部署和运维平台

  • Federated Query

    Federated Query(联邦查询)是一种让你在不搬迁、不复制数据**的情况下,直接跨多个数据源执行 SQL 查询的能力。

  • Flink Codebase Architecture

    基于 DeepWiki 对 Apache Flink 源码的分析,从架构、运行时、状态管理、SQL、连接器和部署六个维度总结 Flink 的内部实现。

  • HDFS

    HDFS (Hadoop Distributed File System) is a distributed file system designed to run on commodity hardware, providing high-throughput access to application data.

  • Time Travel

    Time Travel = 给一张表加上「版本」,让你能查询任意历史时刻的数据快照——本质上就是对数据做 git checkout。

  • What is Apache Spark?

    Apache Spark 统一分析引擎的架构全景:Core Engine、SQL Catalyst/Tungsten、Spark Connect、Structured Streaming、MLlib、GraphX 与 Declarative Pipelines

  • What is Apache Storm?

    Apache Storm 是一个开源分布式实时计算系统,提供对无界数据流的可靠处理能力。核心概念包括 Topology(计算图)、Spout(数据源)、Bolt(处理单元)和 Stream(元组序列),支持实时分析、在线机器学习、持续计算等场景,单节点处理速度超过百万元组/秒。