程序员一定要知道的“大数据”基础知识

“

欢迎大家来到华妹碎碎念栏目！每周五固定更新，你将收获众多行业小知识，希望对你有帮助哦~

嵌入式和人工智能息息相关，大数据又是人工智能的养料来源，没有大数据，机器就无法学习；机器不学习就无法实现智能。大数据跟人工智能是非常密切的。每个行业都会产生一些行业大数据，而这些行业大数据就会催生一些人工智能，应用在这个行业里面。

每个公司是不一样的，譬如说阿里巴巴可以用人工智能识别假货。是如何识别的呢？通过分析交易过程当中的各种数据，最后得出是假货的结论；可以运用人工智能分析每个人平时看哪一类的信息，然后推送相关的信息。不同的公司对人工智能的运用也不相同，在每个行业的表现是不一样的，每个行业的大数据会催生不同行业的人工智能技术。

所以对程序员来说，仅仅知道或听过大数据是不够的，至少要知晓其中大概的原理，并且对常见的大数据组件有一定的认识。

今天这篇文章华妹就给大家分享一下大数据的用途，大数据的核心处理过程，以及常见组件的用处。

“

大数据能做什么

大数据涉及的领域很多：

汽车领域的自动驾驶；医疗领域的病情识别；金融领域的风控、量化交易；教育领域的 AI 教育，智能识题；推荐系统；疫情筛查等等，可以说，大数据就是宝藏。

嵌入式物联网需要学的东西真的非常多，千万不要学错了路线和内容，导致工资要不上去！

无偿分享大家一个资料包，差不多150多G。里面学习内容、面经、项目都比较新也比较全！某鱼上买估计至少要好几十。

点击这里找小助理0元领取：点击文中蓝色字体即可领取

“

大数据计算原理

大数据计算的核心，其实就是利用技术组合起很多便宜的服务器来并行处理大量的数据，实现大数据的分析和计算。

一般我们谈到大数据，关于技术向都离不开 体系及其衍生的工具， 体系其核心就是 HDFS 和 。

1、HDFS

计算需要涉及大量的数据可能都是 PB 级别的，普通单机的磁盘无法存储那么多数据，因此就需要分布式文件存储，组合起众多廉价的服务器，让每个服务器存储部分数据，对外展示看起来却是一个文件，这就是分布式文件存储。

2、

的原理其实非常简单，它包含两个过程：map 和 。

只需定义 map 和 的处理逻辑，然后提交给 系统，然后 map 和 的计算逻辑就会分发到我们部署的各个计算节点上。

每个被分配到的计算节点上就会运行 map 和 的代码逻辑来处理数据，并且每个机器处理的也只是部分数据。

比如这个 map 程序分配了 5 台机器用于输入数据和编辑数据的控件是，一同要处理 1 亿条数据，很可能机器 A 就处理前 2 千万条数据，机器 B 处理 2 千万到 4 千万的数据，依次类推。

然后 也有 5 台，分别统计不同 map 机器的输入。

这样算力就平摊到多台机器上并行执行，效率就快了，时间就缩短了。

如果计算的数据量大，也可以通过更多的机器来减少计算时间。

“

大数据相关组件

了解了大体的核心技术后，我们再来看看相关的组件。

1、Hbase

一个列式存储的 NoSQL 数据库，底层利用 HDFS 存储。

在存储数据量大的情况下也不会影响读取写入的效率用于输入数据和编辑数据的控件是，由于列式存储，没有固定的表结构，可以动态增加列，非常灵活。

2、Hive

前面我们提到 ，要用上这个计算框架是要写代码的，这对于一些运营或产品来说成本就有点高。

于是就出了个 Hive，支持类 SQL 语句，不需要显示编写 map 和 的代码，仅仅写个 SQL， Hive 就可以把这个 SQL 转成对应的 代码，然后执行返回结果，降低了使用成本，是个好东西。

3、Spark

虽然好用，但是因为它使用磁盘作为存储介质保存中间结果，且阶段性的计算每执行一次 Map 和 计算都需要重新启动一次作业，在很多需要迭代计算的作业中，就非常的不方便。

因此用Spark 的并行计算框架来替换，它的目标就是低延迟，使用内存来保存中间结果。

4、Flume

还有一个数据来源就是日志，有很多数据都会通过日志保存在服务器的磁盘上，而 Flume 就是一个日志采集工具，负责日志的采集，然后输入到不同的数据源中。

“

最 后

关于大数据体系的一些基础知识，了解到这个地步也就差不多了。

大家可以结合下面的图再来结合上面的介绍理解一下。

原文链接：

本文到此结束，希望对大家有所帮助。