
数据开发技术方向主要有数据仓库、在线分析处理(OLAP)以及数据挖掘三部分组成 。
一、数据仓库:架构
1.数据仓库Data WarehouseDW
数据仓库是构建面向分析的集成化数据环境 , 为企业提供决策支持(Decision Support) 。 它出于分析性报告和决策支持目的而创建 。
2.数据集市
①数据集市 Data MartDM
②操作集市 Oper Mart
3.ODS操作数据存储Operational Data StorageODS
4.ETL Extract-Transform-Load
一、数据仓库:抽象
1.主题
①主题Subject
②主题域Subject Area
2.主体
3.模型
①模型Model
②数据模型Data Model
③业务数据模型Business Data Model
④逻辑数据模型Logical Data ModelLDM
⑤物理数据模型Physical Data ModelPDM
⑥实体Entity
⑦关系Relatioship
⑧属性Attribute
⑨实体关系Entity Relationship , ER
⑩事实Fact
?维度Dimension
?维的层次Hierarchy of Dimension
?维的级别Level of Dimension
?维的成员Level of Dimension
?业务过程Business Process
?度量Measure
?指标Metric
?指示器Indicator
?粒度Grain
?度量值Measures
一、数据仓库:建模
1.模型查询
①即席查询Ad Hoc Queries
②冰山查询 Iceberg Query
③交叉探察 Drill Across
④实体建模Entity Modeling
⑤范式建模Third Normal Form , 3NF
⑥维度建模Dimensional Modeling、总线架构Bus Architecture、一致性维度Comformed Dimension、一致性事实Comformed Fact
2.事实表
①事实表Fact Table
以粒度的不同来化分 , 事实表可以分为三类 , 分别是事务粒度事实表 , 周期快照粒度事实表和累积快照粒度事实表 。
①事务粒度事实表Transaction Grain Fact Table
②周期快照粒度事实表Periodic Snapshot Grain Fact Table
③累积快照粒度事实表AccumulatingSnapshot Grain Fact Table
以用途的不同来化分 , 事实表可以分为三类 , 分别是原子事实表 , 聚集事实表和合并事实表 。
①原子事实表Atom Fact Table
②聚集事实表Aggregated Fact Table
③合并事实表Consolidated/Merged Fact Table
其他类型事实表
①非事实型事实表Factless Fact Table
②蜈蚣事实表Centipede Fact Table
③旋转事实表Pivoted Fact Table
④切片事实表Sliced FactTable
⑤稀疏事实表Sparse Facts
3.维度表
①维度表Dimension Table
②代理关键字 Surrogate Key
③缓慢变化维度SlowlyChanging Dimension SCD
④退化维度Degenerate Dimension
⑤微型维度-Minidimension
⑥多值维度Multivalue Dimension
⑦角色模仿维度RolePlayingDimensions
⑧杂项维度Junk Dimension
4.宽表
宽表Wide table
在维度建模的基础上又分为三种模型:星型模型、雪花模型、星座模型 。
星型模式:星型模式StarSchema
雪花模式:雪花模式SnowflakeSchema
星座模式:事实星座模式FactConstellation或星系模式galaxy schema
5.数据分析BI
商业智能BusinessIntelligenceBI
OLTP
联机事务处理Online Transaction Processing , OLTP
OLAP
①大规模并行计算框架Massively Parallel Processing , MPP
②联机分析处理OLAPOnlineAnalytical ProcessingOLAP
③MOLAP
④ROLAP
⑤HOLAP
6.多维分析
①多维分析MultidimensionalAnalvsis
②立方体Cube
③钻取 Drill Down
④上卷Roll Up
⑤切片Slice
⑥切块(Dice
⑦旋转Pivot
二、数据挖掘:机器学习
相关经验推荐
- 芯片|vivoX80系列如何选?分清楚这些,其实很简单
- 电池|魅族19主理人计划推进中,大神贡献了哪些创意?这些设计超未来
- iPhone|九月发布会扎堆,除了iPhone14,这些新系统亮相更有吸引力
- 中芯国际|?两万多元买的空调,装不上去也搬不走,买主:我家是仓库?
- 空调|数据中心机房中有哪些监控系统?
- 西部数据|iQOO Z6接班Z5难?对比红米Note 11T Pro+,千元级手机选谁
- iOS|iOS16beta5公测升级体验,这些问题已修复,要升级吗?
- 社交平台|方法不对,努力白费,原来商家都在用这些秘诀
- |数据标注创业?那么国内的数据标注企业如何?这个行业到底有没有未来?
- 西部数据|别等RTX 4090显卡了 老外吐槽:又大又贵 还耗电
