Text2SQL

Text2SQL 让用户用自然语言生成 SQL，但必须依赖语义层、指标口径、权限和质量约束才能可靠落地。

Semantic Layer

语义层把底层数据模型封装为业务可理解、指标一致、权限可控的语义接口。

Bigdata Wiki OS

面向大数据全栈工程师、数据架构师与未来 CDO/CDAO 角色的个人知识图谱系统规划。

AIAgentic

用架构图、流程图和类比讲清楚 Agentic AI：定义、四大组件、ReAct 循环、五大工作流模式、记忆与上下文工程、MCP、多智能体与框架选型。资料来源为 Anthropic/OpenAI 官方指南、ReAct/Reflexion/CoALA 等论文与热门开源仓库。

What's RAG?

RAG（检索增强生成）通过在生成前检索外部知识，让 LLM 回答更准确、可溯源，是企业落地大模型的核心架构模式。

Text2SQL

Text2SQL 让用户用自然语言生成 SQL，但必须依赖语义层、指标口径、权限和质量约束才能可靠落地。

Bigdata With AI

Knowledge Distillation（知识蒸馏）

Token是如何计费的

深入了解人工智能服务中的Token计费机制，包括工作原理、计算方法、不同模型的成本差异以及优化策略

Data Lake Formation（DLF）

AIAgentic

用架构图、流程图和类比讲清楚 Agentic AI：定义、四大组件、ReAct 循环、五大工作流模式、记忆与上下文工程、MCP、多智能体与框架选型。资料来源为 Anthropic/OpenAI 官方指南、ReAct/Reflexion/CoALA 等论文与热门开源仓库。

Data Lake Formation（DLF）

Dataphin

MaxCompute

DataWorks

阿里云一站式智能大数据开发治理平台

What's Apache Paimon?

Apache Paimon 是面向统一批流、实时更新、湖仓存储和多引擎计算的数据湖表格式与存储系统概览。

AIAgentic

用架构图、流程图和类比讲清楚 Agentic AI：定义、四大组件、ReAct 循环、五大工作流模式、记忆与上下文工程、MCP、多智能体与框架选型。资料来源为 Anthropic/OpenAI 官方指南、ReAct/Reflexion/CoALA 等论文与热门开源仓库。

HDFS

HDFS (Hadoop Distributed File System) is a distributed file system designed to run on commodity hardware, providing high-throughput access to application data.

Flink Codebase Architecture

基于 DeepWiki 对 Apache Flink 源码的分析，从架构、运行时、状态管理、SQL、连接器和部署六个维度总结 Flink 的内部实现。

Data Mesh

Data Mesh 是以数据域、数据产品、联邦治理和自助平台为核心的分布式数据架构思想。

Data Product

数据产品把数据资产封装为有 owner、SLA、文档、质量承诺和消费体验的可复用服务。

Data Domain

数据域用于按照业务能力和管理边界组织数据资产，是数据架构、建模和治理协同的基本单元。

MOC-Data Architecture Map

面向数据架构师的能力地图，连接战略、架构、建模、治理、平台、数据产品和商业价值。

Metadata Management

元数据管理用于描述、连接和治理数据资产，是数据目录、血缘、质量、权限、语义层和 AI Agent 的基础。

Bigdata Wiki OS

面向大数据全栈工程师、数据架构师与未来 CDO/CDAO 角色的个人知识图谱系统规划。

电商数据中台业务知识手册

面向数据架构、数据中台、指标体系和数据建模的电商业务知识沉淀。

Indicator System

指标体系用于定义业务指标、维度、口径、层级和责任人，是 BI、经营分析、数据产品和 AI Agent 的共同语言。

Semantic Layer

语义层把底层数据模型封装为业务可理解、指标一致、权限可控的语义接口。

Data Management Capability Maturity Assessment Model (DCMM)

BigData

Bigdata Wiki OS 的地图入口，汇总角色能力、数据治理、数据架构和 DATA+AI Agent 导航。

Apache Flink

Apache Flink 核心知识地图，系统解释流式优先的数据模型、运行时架构、数据流执行、状态与时间、容错语义及生产基础技术栈。

Apache HBase

HDFS

HDFS (Hadoop Distributed File System) is a distributed file system designed to run on commodity hardware, providing high-throughput access to application data.

Flink Codebase Architecture

基于 DeepWiki 对 Apache Flink 源码的分析，从架构、运行时、状态管理、SQL、连接器和部署六个维度总结 Flink 的内部实现。

Text2SQL

Text2SQL 让用户用自然语言生成 SQL，但必须依赖语义层、指标口径、权限和质量约束才能可靠落地。

BigData Map

面向大数据全栈工程师的知识地图，连接数据采集、存储、计算、治理、服务、AI 增强与职业资产。

Bigdata Wiki OS

面向大数据全栈工程师、数据架构师与未来 CDO/CDAO 角色的个人知识图谱系统规划。

电商数据中台业务知识手册

面向数据架构、数据中台、指标体系和数据建模的电商业务知识沉淀。

分析型数仓模型治理评价

Flink CDC

MySQL Binlog

MOC-Data Architecture Map

面向数据架构师的能力地图，连接战略、架构、建模、治理、平台、数据产品和商业价值。

CDO

CDO/CDAO 是负责数据战略、治理、资产化、分析与 AI 价值转化的管理角色。

Bigdata Wiki OS

面向大数据全栈工程师、数据架构师与未来 CDO/CDAO 角色的个人知识图谱系统规划。

Serverless Architecture

VPC（Virtual Private Cloud）

Data Lake Formation（DLF）

Dataphin

Common data compression algorithms

Data Management Capability Maturity Assessment Model (DCMM)

What is Apache Storm?

Apache Storm 是一个开源分布式实时计算系统，提供对无界数据流的可靠处理能力。核心概念包括 Topology（计算图）、Spout（数据源）、Bolt（处理单元）和 Stream（元组序列），支持实时分析、在线机器学习、持续计算等场景，单节点处理速度超过百万元组/秒。

Apache Hadoop

MMP (Massively Parallel Processing)

Apache Spark

Micro-batch

AQE（Adaptive Query Execution）

AQE 是大数据 SQL 引擎在运行时基于真实数据反馈动态优化执行计划的能力，主要用于优化 Join、Shuffle 分区和数据倾斜问题，是 CBO 之后更进一步的动态优化机制。

CBO（Cost-Based Optimizer）

CBO = Cost-Based Optimizer，基于代价的优化器

Federated Query

Federated Query（联邦查询）是一种让你在不搬迁、不复制数据**的情况下，直接跨多个数据源执行 SQL 查询的能力。

Shared-nothing vs Shared-data

Time Travel

Time Travel = 给一张表加上「版本」，让你能查询任意历史时刻的数据快照——本质上就是对数据做 git checkout。

VPC（Virtual Private Cloud）

MMP (Massively Parallel Processing)

CDC（Change Data Capture）

PoC（Proof of Concept）

MOC-DCMM-DAMA Map

用 DCMM 和 DAMA 组织数据治理、数据管理成熟度和落地证据的知识地图。

DAMA-DMBOK

DAMA-DMBOK 是国际数据管理知识体系，用于组织数据治理、架构、建模、质量、元数据、安全和 BI 等能力。

Bigdata Wiki OS

面向大数据全栈工程师、数据架构师与未来 CDO/CDAO 角色的个人知识图谱系统规划。

Apache Flink

Apache Flink 核心知识地图，系统解释流式优先的数据模型、运行时架构、数据流执行、状态与时间、容错语义及生产基础技术栈。

What's Apache Paimon?

Apache Paimon 是面向统一批流、实时更新、湖仓存储和多引擎计算的数据湖表格式与存储系统概览。

Apache Paimon

Lake-DataWarehouse Architecture

Apache Doris

Data Management Capability Maturity Assessment Model (DCMM)

DAMA-DMBOK

DAMA-DMBOK 是国际数据管理知识体系，用于组织数据治理、架构、建模、质量、元数据、安全和 BI 等能力。

Dinky

Apache Dinky - 开源实时计算平台，基于Apache Flink构建的一站式实时数据开发、部署和运维平台

DataWorks

阿里云一站式智能大数据开发治理平台

Data Mesh

Data Mesh 是以数据域、数据产品、联邦治理和自助平台为核心的分布式数据架构思想。

Data Product

数据产品把数据资产封装为有 owner、SLA、文档、质量承诺和消费体验的可复用服务。

Data Observability

数据可观测性通过元数据、质量、血缘、任务和使用行为监控，持续发现数据链路风险。

Data Quality

数据质量用于保证数据满足业务使用要求，覆盖完整性、准确性、一致性、及时性、唯一性和有效性。

Data Security

数据安全通过分类分级、权限、脱敏、审计和合规控制，保护数据资产在全生命周期中的安全使用。

Serverless Architecture

ZooKeeper

Data Standard

数据标准通过统一业务术语、数据元、参考数据、主数据和指标口径，降低组织内的数据歧义。

CDO

CDO/CDAO 是负责数据战略、治理、资产化、分析与 AI 价值转化的管理角色。

Data Management Capability Maturity Assessment Model (DCMM)

Log-Structured Merge Tree (LSM) Architecture

LSM，全称 **Log-Structured Merge Tree，日志结构合并树**，是一种常见的存储引擎架构

What's Apache Paimon?

Apache Paimon 是面向统一批流、实时更新、湖仓存储和多引擎计算的数据湖表格式与存储系统概览。

Shared-nothing vs Shared-data

What's StarRocks

Data Lake Formation（DLF）

Log-Structured Merge Tree (LSM) Architecture

LSM，全称 **Log-Structured Merge Tree，日志结构合并树**，是一种常见的存储引擎架构

Apache Cassandra

MySQL

Data Store Homepage

Data Lake

Data Lake

Data Observability

数据可观测性通过元数据、质量、血缘、任务和使用行为监控，持续发现数据链路风险。

Data Pipeline SLA

数据链路 SLA 定义数据任务在时效、质量、可用性和恢复方面的服务承诺。

Open Sources DataSets

大数据数据集

MOC-DCMM-DAMA Map

用 DCMM 和 DAMA 组织数据治理、数据管理成熟度和落地证据的知识地图。

Bigdata Wiki OS

面向大数据全栈工程师、数据架构师与未来 CDO/CDAO 角色的个人知识图谱系统规划。

ZooKeeper

MMP (Massively Parallel Processing)

HDFS

HDFS (Hadoop Distributed File System) is a distributed file system designed to run on commodity hardware, providing high-throughput access to application data.

Apache Flink

Apache Flink 核心知识地图，系统解释流式优先的数据模型、运行时架构、数据流执行、状态与时间、容错语义及生产基础技术栈。

电商数据中台业务知识手册

面向数据架构、数据中台、指标体系和数据建模的电商业务知识沉淀。

Data Observability

数据可观测性通过元数据、质量、血缘、任务和使用行为监控，持续发现数据链路风险。

Data Pipeline SLA

数据链路 SLA 定义数据任务在时效、质量、可用性和恢复方面的服务承诺。

BigData Map

面向大数据全栈工程师的知识地图，连接数据采集、存储、计算、治理、服务、AI 增强与职业资产。

What is Apache Kafka?

Apache Airflow

Apache Flink

Apache Flink 核心知识地图，系统解释流式优先的数据模型、运行时架构、数据流执行、状态与时间、容错语义及生产基础技术栈。

Flink Codebase Architecture

基于 DeepWiki 对 Apache Flink 源码的分析，从架构、运行时、状态管理、SQL、连接器和部署六个维度总结 Flink 的内部实现。

Flink CDC

Flink Table API and SQL

Dinky

Apache Dinky - 开源实时计算平台，基于Apache Flink构建的一站式实时数据开发、部署和运维平台

Streaming Processing

Apache Flume

Data Governance Operating Model

数据治理运行机制定义组织、制度、流程、平台和度量如何协同，保证治理可以持续落地。

Data Lineage

数据血缘描述数据从源系统到模型、指标、报表和应用的加工链路，是影响分析和可信解释的基础。

Data Security

数据安全通过分类分级、权限、脱敏、审计和合规控制，保护数据资产在全生命周期中的安全使用。

Metrics Governance

指标治理通过口径、维度、责任、变更和质量控制，保证企业核心指标一致可信。

MOC-DCMM-DAMA Map

用 DCMM 和 DAMA 组织数据治理、数据管理成熟度和落地证据的知识地图。

CDO

CDO/CDAO 是负责数据战略、治理、资产化、分析与 AI 价值转化的管理角色。

DAMA-DMBOK

DAMA-DMBOK 是国际数据管理知识体系，用于组织数据治理、架构、建模、质量、元数据、安全和 BI 等能力。

Data Quality

数据质量用于保证数据满足业务使用要求，覆盖完整性、准确性、一致性、及时性、唯一性和有效性。

Data Standard

数据标准通过统一业务术语、数据元、参考数据、主数据和指标口径，降低组织内的数据歧义。

Metadata Management

元数据管理用于描述、连接和治理数据资产，是数据目录、血缘、质量、权限、语义层和 AI Agent 的基础。

HDFS

HDFS (Hadoop Distributed File System) is a distributed file system designed to run on commodity hardware, providing high-throughput access to application data.

What is Apache Storm?

Apache Storm 是一个开源分布式实时计算系统，提供对无界数据流的可靠处理能力。核心概念包括 Topology（计算图）、Spout（数据源）、Bolt（处理单元）和 Stream（元组序列），支持实时分析、在线机器学习、持续计算等场景，单节点处理速度超过百万元组/秒。

Yarn（Yet Another Resource Negotiator）

YARN 是 Yet Another Resource Negotiator（另一个资源管理器）的缩写，可充当 Hadoop 堆栈的集群协调组件。

Apache Hadoop

Apache Hive

HDFS

HDFS (Hadoop Distributed File System) is a distributed file system designed to run on commodity hardware, providing high-throughput access to application data.

Apache Hive

Apache Hadoop

Apache Spark

Micro-batch

Dinky

Apache Dinky - 开源实时计算平台，基于Apache Flink构建的一站式实时数据开发、部署和运维平台

Apache Atlas

DataWorks

阿里云一站式智能大数据开发治理平台

Metrics Governance

指标治理通过口径、维度、责任、变更和质量控制，保证企业核心指标一致可信。

Data Management Capability Maturity Assessment Model (DCMM)

Apache Pulsar

Apache Flume

Apache Airflow

CDC（Change Data Capture）

Data Store Homepage

BigData

Bigdata Wiki OS 的地图入口，汇总角色能力、数据治理、数据架构和 DATA+AI Agent 导航。

What's Apache Paimon?

Apache Paimon 是面向统一批流、实时更新、湖仓存储和多引擎计算的数据湖表格式与存储系统概览。

Time Travel

Time Travel = 给一张表加上「版本」，让你能查询任意历史时刻的数据快照——本质上就是对数据做 git checkout。

AIAgentic

用架构图、流程图和类比讲清楚 Agentic AI：定义、四大组件、ReAct 循环、五大工作流模式、记忆与上下文工程、MCP、多智能体与框架选型。资料来源为 Anthropic/OpenAI 官方指南、ReAct/Reflexion/CoALA 等论文与热门开源仓库。

What's RAG?

RAG（检索增强生成）通过在生成前检索外部知识，让 LLM 回答更准确、可溯源，是企业落地大模型的核心架构模式。

Data Lineage

数据血缘描述数据从源系统到模型、指标、报表和应用的加工链路，是影响分析和可信解释的基础。

Metadata Management

元数据管理用于描述、连接和治理数据资产，是数据目录、血缘、质量、权限、语义层和 AI Agent 的基础。

Metrics Governance

指标治理通过口径、维度、责任、变更和质量控制，保证企业核心指标一致可信。

Indicator System

指标体系用于定义业务指标、维度、口径、层级和责任人，是 BI、经营分析、数据产品和 AI Agent 的共同语言。

BigData

Bigdata Wiki OS 的地图入口，汇总角色能力、数据治理、数据架构和 DATA+AI Agent 导航。

BigData Map

面向大数据全栈工程师的知识地图，连接数据采集、存储、计算、治理、服务、AI 增强与职业资产。

MOC-DCMM-DAMA Map

用 DCMM 和 DAMA 组织数据治理、数据管理成熟度和落地证据的知识地图。

MOC-Data Architecture Map

面向数据架构师的能力地图，连接战略、架构、建模、治理、平台、数据产品和商业价值。

Data Domain

数据域用于按照业务能力和管理边界组织数据资产，是数据架构、建模和治理协同的基本单元。

Metrics Governance

指标治理通过口径、维度、责任、变更和质量控制，保证企业核心指标一致可信。

Indicator System

指标体系用于定义业务指标、维度、口径、层级和责任人，是 BI、经营分析、数据产品和 AI Agent 的共同语言。

Semantic Layer

语义层把底层数据模型封装为业务可理解、指标一致、权限可控的语义接口。

电商数据中台业务知识手册

面向数据架构、数据中台、指标体系和数据建模的电商业务知识沉淀。

分析型数仓模型治理评价

Knowledge Distillation（知识蒸馏）

What's StarRocks

Apache Doris

What is Apache Kafka?

Meta Data SQL DDL

MySQL Snippts

MySQL Explain

VPC（Virtual Private Cloud）

Apache Cassandra

Data Store Homepage

Apache HBase

MaxCompute

What's StarRocks

Data Governance Operating Model

数据治理运行机制定义组织、制度、流程、平台和度量如何协同，保证治理可以持续落地。

AQE（Adaptive Query Execution）

AQE 是大数据 SQL 引擎在运行时基于真实数据反馈动态优化执行计划的能力，主要用于优化 Join、Shuffle 分区和数据倾斜问题，是 CBO 之后更进一步的动态优化机制。

CBO（Cost-Based Optimizer）

CBO = Cost-Based Optimizer，基于代价的优化器

Shared-nothing vs Shared-data

What's Apache Paimon?

Apache Paimon 是面向统一批流、实时更新、湖仓存储和多引擎计算的数据湖表格式与存储系统概览。

Apache Airflow

Data Store Homepage

Apache Pulsar

Version Switch Test

Test page for the article version switcher.

Apache Hive

What's RAG?

RAG（检索增强生成）通过在生成前检索外部知识，让 LLM 回答更准确、可溯源，是企业落地大模型的核心架构模式。

Dinky

Apache Dinky - 开源实时计算平台，基于Apache Flink构建的一站式实时数据开发、部署和运维平台

Streaming Processing

What is Apache Storm?

Apache Storm 是一个开源分布式实时计算系统，提供对无界数据流的可靠处理能力。核心概念包括 Topology（计算图）、Spout（数据源）、Bolt（处理单元）和 Stream（元组序列），支持实时分析、在线机器学习、持续计算等场景，单节点处理速度超过百万元组/秒。

Shared-nothing vs Shared-data

Open Sources DataSets

大数据数据集

Yarn（Yet Another Resource Negotiator）

YARN 是 Yet Another Resource Negotiator（另一个资源管理器）的缩写，可充当 Hadoop 堆栈的集群协调组件。

Apache DolphinScheduler

Text2SQL

Text2SQL 让用户用自然语言生成 SQL，但必须依赖语义层、指标口径、权限和质量约束才能可靠落地。

Semantic Layer

语义层把底层数据模型封装为业务可理解、指标一致、权限可控的语义接口。

Meta Data SQL DDL

MySQL Snippts

Apache Spark

Micro-batch

AQE（Adaptive Query Execution）

AQE 是大数据 SQL 引擎在运行时基于真实数据反馈动态优化执行计划的能力，主要用于优化 Join、Shuffle 分区和数据倾斜问题，是 CBO 之后更进一步的动态优化机制。

CBO（Cost-Based Optimizer）

CBO = Cost-Based Optimizer，基于代价的优化器

Federated Query

Federated Query（联邦查询）是一种让你在不搬迁、不复制数据**的情况下，直接跨多个数据源执行 SQL 查询的能力。

Flink Table API and SQL

Log-Structured Merge Tree (LSM) Architecture

LSM，全称 **Log-Structured Merge Tree，日志结构合并树**，是一种常见的存储引擎架构

Apache Flink

Apache Flink 核心知识地图，系统解释流式优先的数据模型、运行时架构、数据流执行、状态与时间、容错语义及生产基础技术栈。

Flink Codebase Architecture

基于 DeepWiki 对 Apache Flink 源码的分析，从架构、运行时、状态管理、SQL、连接器和部署六个维度总结 Flink 的内部实现。

Apache Paimon

Flow-Batch Architecture

What is Apache Storm?

Apache Storm 是一个开源分布式实时计算系统，提供对无界数据流的可靠处理能力。核心概念包括 Topology（计算图）、Spout（数据源）、Bolt（处理单元）和 Stream（元组序列），支持实时分析、在线机器学习、持续计算等场景，单节点处理速度超过百万元组/秒。

Dinky

Apache Dinky - 开源实时计算平台，基于Apache Flink构建的一站式实时数据开发、部署和运维平台

What is Apache Kafka?

Version Switch Test

Test page for the article version switcher.

Data Store Homepage

What's RAG?

RAG（检索增强生成）通过在生成前检索外部知识，让 LLM 回答更准确、可溯源，是企业落地大模型的核心架构模式。

Time Travel

Time Travel = 给一张表加上「版本」，让你能查询任意历史时刻的数据快照——本质上就是对数据做 git checkout。

电商数据中台业务知识手册

面向数据架构、数据中台、指标体系和数据建模的电商业务知识沉淀。

分析型数仓模型治理评价

Flow-Batch Architecture

Lake-DataWarehouse Architecture

Apache Doris