什么是大数据
说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西，因为在我们的印象中好像很多公司都叫大数据公司，业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征：
一个是数量大
一个是价值大
一个是速度快
一个是多样性
第一个是数量比较大，只有数据体量达到了PB级别以上，才能被称为大数据。1PB等于1024TB，1TB等于1024G，那么1PB等于1024*1024个G的数据。
第二个是价值大，你如果有1PB以上的全国所有20-35年轻人的上网数据的时候，那么它自然就有了商业价值，比如通过分析这些数据，我们就知道这些人的爱好，进而指导产品的发展方向等等。如果有了全国几百万病人的数据，根据这些数据进行分析就能预测疾病的发生，这些都是大数据的价值。
第三个就是多样性，如果只有单一的数据，那么这些数据就没有了价值，比如只有单一的个人数据，或者单一的用户提交数据，这些数据还不能称为大数据，所以说大数据还需要是多样性的，比如当前的上网用户中，年龄，学历，爱好，性格等等每个人的特征都不一样，这个也就是大数据的多样性，当然了如果扩展到全国，那么数据的多样性会更强，每个地区，每个时间段，都会存在各种各样的数据多样性。
第四个是速度快，就是通过算法对数据的逻辑处理速度非常快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。
大数据的行业应用
大数据无处不在，大数据应用于各个行业，包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹。
制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。
金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。
汽车行业，利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活。
互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。
电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。
能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。
物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。
城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。
生物医学，大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA,了解更多的生命奥秘。
体育娱乐，大数据可以帮助我们训练球队，决定投拍哪种题财的影视作品，以及预测比赛结果。
安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。
个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。
大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了社会生产和生活，未来必将产生重大而深远的影响。
大数据使用的技术
说起大数据，大数据有三个层数据采集、存储、计算三层。
第一个是数据采集层，以App、saas为代表的服务。
大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreduce hdfs yarn等。
第二个数据存储层，比如云存储，需掌握的技术有：hbase、hive、sqoop等。
比如：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。
HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
第三个是数据计算应用层，以数据为基础，为将来的移动社交、交通、教育，金融进行服务，涉及到大数据架构设计阶段需掌握的技术有：Flume分布式、Zookeeper、Kafka等，以及大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。
技术融合、数据合规、应用深化和资产管理是2019大数据发展的关键词。
2019年以来，全球大数据技术、产业、应用等多方面的发展呈现了新的趋势，也正在进入新的阶段。当前，大数据技术呈现出六大融合趋势：
(一)算力融合：多样性算力提升整体效率
(二)流批融合：平衡计算性价比的最优解
(三)TA 融合：混合事务/分析支撑即时决策
(四)模块融合：一站式数据能力复用平台
(五)云数融合：云化趋势降低技术使用门槛
(六)数智融合：数据与智能多方位深度整合
近两年来，各国在数据合规性方面的重视程度越来越高，但数据合规的进程仍任重道远。2019年5月25日，旨在保护欧盟公民的个人数据、对企业的数据处理提出了严格要求的《通用数据保护条例》。
欧盟EDPB的报告显示，GDPR实施一年以来，欧盟当局收到了约145000份数据安全相关的投诉和问题举报;共判处5500万欧元行政罚款。苹果、微软、Twitter、WhatsApp、Instagram等企业也都遭到调查或处罚。GDPR的正式实施之后，带来了全球隐私保护立法的热潮，并成功提升了社会各领域对于数据保护的重视。
我国大数据的行业应用更加广泛，正加速渗透到经济社会的方方面面。这几年，无论是从新增企业数量、融资规模还是应用热度来说，与大数据结合紧密的行业逐步向工 业、政务、电信、交通、金融、医疗、教育等领域广泛渗透，应用逐渐向生产、物流、供应链等核心业务延伸，涌现了一批大数据典型应用，企业应用大数据的能力逐渐增强。
最后，围绕技术、应用、治理三个方面对大数据发展进行了展望：技术方面，我们仍然处在“数据大爆发”的初期，随着5G、工业互联网的深入发展，将带来更大的“数据洪流”，这就为大数据的存储、分析、管理带来更大的挑战，牵引大数据技术再上新的台阶。硬件与软件的融合、数据与智能的融合将带动大数据技术向异构多模、超大容量、超低时延等方向拓展。
应用方面，大数据行业应用正在从消费端向生产端延伸，从感知型应用向预测型、决策型应用发展。当前，互联网行业已经全面进入“DT时代”。未来几年，随着各地政务大数据平台和大型企业数据中台的建成，将促进政务、民生与实体经济领域的大数据应用再上新的台阶。
治理方面，随着国家数据安全法律制度的不断完善，各行业的数据治理也将深入推进。数据的采集、使用、共享等环节的乱象得到遏制，数据的安全管理成为各行各业自觉遵守的底线，数据流通与应用的合规性将大幅提升，健康、可持续的大数据发展环境逐步形成。
就我个人认为目前大数据技术应用的最多，最好最成熟的应该是以下几类：
第一，车站机场安检
目前我们进入车站等场所，都需要进行刷脸与身份核查，通过人脸识别与对数据比对，如果遇到“可疑人员”与某些有特殊标记人员，相关部门都会第一时间知道。在公共安全方面，保障了我们每一个人的安全出行需求。
第二，“天眼”系统
说起天眼系统大家应该都比较熟悉，利用街头巷尾的各种摄像头，一方面可以遏制犯罪，一方面可以震慑有企图的人员，同样利用人脸识别，可以即时反馈“可疑”与特殊标记的人员，在某些时候，还可以完整的还原作案过程。对于我们在公共场所的安全，提供了有力的保障。
第三，刷脸无感支付
目前来说，我们使用最多的就是移动支付，而在移动支付领域，刷脸支付虽然起步较晚，但是确实是针对传统支付的一个大的创新，其拥有着刷脸即走，快捷支付，提高了相关收银场所的效率，为人们购物消费提供了方便快捷安全的解决方案。目前做的比较好的是支付宝的刷脸支付与微信的刷脸支付。
我是科技领域创作者【子木予】。如果我的观点对您有启发、有帮助，劳烦您点赞并关注我，我会把科技领域的干货与您分享到底，最后再次谢谢朋友们耐心阅读，欢迎关注、评论等，发表看法，一起互动交流！
原创文章，作者：普尔小编，如若转载，请注明出处：http://www.puerpx.cn/pxwd/3173.html
