大数据入门学习(概念)

一、基本概念

1、数据

• 实际上，人类的一切语言文字、图形图像、音像记录、所有感官可以察觉的事物，只要被记下来，能够查询到，就是数据(data)。

• 数据计量单位已从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB来衡量。大数据一般T(太)级以上。

• 常见的数据存储单位

  • 1Byte = 8 bit
  • 1K(千) = 1024Byte
  • 1MB(兆) = 1024K
  • 1G(吉) = 1024M
  • 1T(太) = 1024G
  • 1P(拍) = 1024T
  • 1E(艾) = 1024P
  • 1Z(泽) = 1024E
  • 1Y(尧) = 1024Z
  • 1B(布) = 1024Y
  • 1N(诺) = 1024B
  • 1D(刀) = 1024N

2、大数据

2.1、概念

指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力海量、高增长率和多样化的信息资产。

2.2、主要解决的问题

• 海量数据的存储问题
• 海量数据的计算问题

2.3、特点(5V)

• 大
  • 数据的采集、计算、存储量都非常庞大
• 多
  • 种类和来源多样化。
  • 种类：结构化、半结构化、非结构化
  • 常见来源：网络日志、音频、视频、图片等。
• 值
  • 大数据价值密度相对较低
  • 如何通过强大的机器算法更迅速的完成数据的价值提炼，是大数据时代亟待解决的难题。
• 快
  • 数据增长速度快、处理速度快、获取数据的速度也要快。
  • 处理数据的效率就是企业生命。
• 信
  • 数据的准确性和可信赖度，即数据的质量。

2.4、应用场景

• 电商方面

• 传媒方面

• 金融领域

• 交通方面

• 电信方面

• 安防方面

• 医疗方面

3、大数据业务分析基本步骤

• 明确分析目的和思路

• 数据收集

• 数据处理

  • 数据清洗
  • 数据转化
  • 数据提取
  • 数据计算

• 数据分析

• 数据展现

• 报告撰写

4、大数据部门的(典型)组织结构

• 平台组(大数据运维)
  • 大数据平台环境搭建
  • 集群性能监控
  • 集群性能调优
• 数据仓库组(数据分析)
  • ETL工程师
  • Hive工程师-数仓建模和数据分析
• 数据挖掘组
  • 算法工程师
  • 推荐系统工程师
  • 用户画像工程师
• 报表开发组
  • JAVAEE工程师

本文内容学习自 8天零基础入门大数据

原文：https://www.cnblogs.com/luckyzs/p/13435948.html