大数据处理过程一把包括四个步骤，分别是 收集数据、有目的的收集数据 处理数据、将收集的数据加工处理 分类数据、将加工好的数据进行分类 画图（列表）最后将分类好的数据以图表的形式展现出来，更加的直观。
大数据的处理过程一般包括如下：数据采集：收集各种数据来源的数据，包括传感器数据、日志文件、社交媒体数据、交易记录等。数据采集可以通过各种方式进行，如API接口、爬虫、传感器设备等。数据存储：将采集到的数据存储在适当的存储介质中，例如关系型数据库、分布式文件系统、数据仓库或云存储等。
大数据处理流程包括：数据采集、数据预处理、数据入库、数据分析、数据展现。数据采集数据采集包括数据从无到有的过程和通过使用Flume等工具把数据采集到指定位置的过程。数据预处理数据预处理通过mapreduce程序对采集到的原始日志数据进行预处理，比如清洗，格式整理，滤除脏数据等，并且梳理成点击流模型数据。
1、当数据输入进来以后，我们进行的是 map 阶段的处理。例如对一行的单词进行分割，然后每个单词进行计数为 1 进行输出。Shuffle 阶段 Shuffle 阶段是整个 MapReduce 的核心，介于 Map 阶段跟 Reduce 阶段之间。
2、数据预处理数据预处理通过mapreduce程序对采集到的原始日志数据进行预处理，比如清洗，格式整理，滤除脏数据等，并且梳理成点击流模型数据。数据入库数据入库将预处理之后的数据导入到HIVE仓库中相应的库和表中。数据分析数据分析是项目的核心内容，即根据需求开发ETL分析语句，得出各种统计结果。
3、Map过程对输入的每一行进行切割，输出四种格式的key，value：人物名，关系链表，人物名，PageRank值，人物名，标签，链出人物名，标签#起点人物名。第四种格式个键值对是为了将该节点的标签传给其所有邻居。
4、输入分片：在进行Map计算之前，MapReduce会根据输入文件计算输入分片，每个输入分片对应一个Map任务，输入分片存储的并非数据本身。如果输入文件较大，可以进行输入分片调整，例如合并小文件，以优化计算效率。Map阶段：程序员编写Map函数，对输入分片进行处理。
1、第1代：电子管数字机（1946—1958年）硬件方面，逻辑元件采用的是真空电子管，主存储器采用汞延迟线、阴极射线示波管静电存储器、磁鼓、磁芯；外存储器采用的是磁带。软件方面采用的是机器语言、汇编语言。应用领域以军事和科学计算为主。缺点是体积大、功耗高、可靠性差。
2、高级语言 。机器语言 电子计算机所使用的是由“0”和“1”组成的二进制数，二进制是计算机的语言的基础。机器语言，是第一代计算机语言。
3、第一代：电子管计算机时代（从1946年到50年代后期），其主要特点是采用电子管作为基础器件。代表机型IBM公司的IBM650。第二代：晶体管计算机时代（从50年代中期到60年代后期），采用的主要器件逐步由电子管改为晶体管，缩小了体积，降低了功耗，提高了速度和可靠性，降低了价格。
4、第一代计算机（1946~1958） 电子管为基本电子器件；使用机器语言和汇编语言；主要应用于国防和科学计算；运算速度每秒几千次至几万次。 第二代计算机（1958~1964） 晶体管为主要器件；软件上出现了操作系统和算法语言；运算速度每秒几万次至几十万次。
5、第一代计算机（1946~1958）电子管为基本电子器件；使用机器语言和汇编语言。第二代计算机（1958~1964）晶体管为主要器件；软件上出现了操作系统和算法语言。第三代计算机（1964~1971）普遍采用集成电路。第四代计算机（1971~现在 ）以大规模集成电路为主要器件。
1、FineReport FineReport是一款纯Java编写的、集数据展示（报表）和数据录入（表单）功能于一身的企业级web报表工具，只需要简单的拖拽操作便可以设计复杂的中国式报表，搭建数据决策分析系统。
2、数据分析的工具千万种，综合起来万变不离其宗。无非是数据获取、数据存储、数据管理、数据计算、数据分析、数据展示等几个方面。而SAS、R、SPSS、python、excel是被提到频率最高的数据分析工具。
3、Excel 为Excel微软办公套装软件的一个重要的组成部分，它可以进行各种数据的处理、统计分析和辅助决策操作，广泛地应用于管理、统计财经、金融等众多领域。SAS SAS由美国NORTH CAROLINA州立大学1966年开发的统计分析软件。SAS把数据存取、管理、分析和展现有机地融为一体。
保持好奇心 这是一个现实的问题，如果你是非计算机专业的大学生，大部分人对C语言是恐惧的，因为（挂科率高）你懂得·...··。而如果你是小学生或初中生，倒也不用担心，因为你们的勇气和好奇心都比大学生强大很多。当然，无论是谁，保持好奇心是你学习不断前进的永恒动力。
一）先从视频课程入手如果是0基础的小白，不建议上来就啃书，可以先从视频课程入手。这里推荐中国大学好慕课上翁恺老师的两门C语言课程 也可以看B站鹏哥的视频，鹏哥讲课接地气，适合新手小白。（二）C语言书籍推荐《啊哈！C语言》这本书简单易懂，很适合0基础的小伙伴入门。
编译器选择 为了让我们学习的C语言正确的行动起来，我们需要选择一个好的编译器。（1）Visul Studio 为什么对于新手我最推荐这一个，因为它能够在你编写代码的同时就给你提示错误并且有着快捷的代码补全功能，能够省去初学者大量时间。缺点是相较其他，占内存较大（高效）。
学习C语言必须从以下四点入手，也就是说，只要你能掌握这四点的内容，那么基本上就大功告成了。多看代码 在有一定基础以后一定要多看别人的代码。 注意代码中的算法和数据结构。毕竟学C之后的关口就是算法和数据结构。
归结起来就是一句话：初学C语言，建议使用Windows系统和集成开发环境，在准备向“高手”方向努力时，请先转向Unix平台。 万事俱备，你就是东风 书已选定，环境配置完成，正所谓万事俱备，只欠你自己的努力了。请从书的前言开始，仔细地阅读手头的教材，很多人看书喜欢直接从第一章开始看，这是错误的做法。
运算速度飙升64位CPU GPRs（通用寄存器）数据宽度高达64位，64位指令集一次可运行64位数据指令，仅需两个指令，即可一次提取8个字节的数据。相比32位（需四个指令，一次提取4个字节的数据），性能翻倍！寻址能力飞跃64位处理器采用特殊整数作为地址，ALU（算术逻辑运算器）和寄存器轻松处理更大整数，即更大地址。
配置更好。64位操作系统只能安装在64位电脑上（CPU必须是64位的）。同时需要安装64位常用软件以发挥64位（x64）的最佳性能。32位操作系统则可以安装在32位（32位CPU）或64位（64位CPU）电脑上。当然，32位操作系统安装在64位电脑上，其硬件恰似“大马拉小车”：64位效能就会大打折扣。
CPU要求不同。CPU有32位和64位之分，32位的CPU只能安装32位系统，而64位的CPU既可以安装32位系统也可以安装64位系统。运算速度不同。64位CPU的指令集可以运行64位数据指令，比32位CPU提高了一倍。寻址能力不同。
位的CPU，相比较32位的CPU来说，64位CPU最为明显的变化就是增加了8个64位的通用寄存器，内存寻址能力提高到64位，以及寄存器和指令指针升级到64位等。区别具体说明：运行速度：相对于32位处理器，64位处理器的运行速度更快。
第一，CPU要求不同 CPU有32位和64位之分，32位的CPU只能安装32位系统，而64位的CPU既可以安装32位系统也可以安装64位系统。第二，运算速度不同 64位CPU的指令集可以运行64位数据指令，比32位CPU提高了一倍（需要64位软件支持）。
