摘 要:文章基于重型機械装备制造企业的大数据分析及可视化管理驾驶舱平台的建设背景,提出了大数据管理驾驶舱的建设需求,深入阐述了大数据分析及挖掘的概念、分析流程及分析工具,以及构建管理驾驶系统的可视化方法、常用图表及工具,得出了基于重型机械装备制造企业构建的管理驾驶舱系统平台形成的研究结果,旨在为相关的企业大数据分析及可视化管理驾驶舱系统平台的构建提供借鉴
关键词:机械装备制造企业;大数据分析;大数据可视化;管理驾驶舱系统
中图法分迷号:TP311 文献标识码:A
1 引言
1.1 研究背景
重型机械装备制造业是我国国民经济的主体,目前,重型机械装备制造企业面临数字化转型的诸多难题和挑战。通过简单、直观、多维的大数据分析结果帮助企业洞察经营状况并提升管理决策显得十分必要。在此背景下,本文通过对机械装备制造业大数据应用进行深入研究并实践,旨在实现从大数据分析需求到大数据系统分析、设计建模,以及从数据采集、数据加工、数据分析到数据可视化图形展示的全过程分析及可视化管理。
1.2 研究问题的提出
基于重型机械装备制造企业大数据管理驾驶系统的构建需求,本文提出研究问题,并对大数据分析及可视化方法进行深入研究。如何通过大数分析及可视化方法、工具及大数据相关技术构建开发管理驾驶舱系统是本文的核心研究问题。
2 大数据分析与挖掘
2.1 大数据分析
(1)大数据分析的概念。
大数据是传统数据管理工具无法存储或处理的大型、复杂和海量数据的集合。大数据分析是指分析大数据的相关性、隐藏模式、市场趋势和客户偏好等信息,以帮助做出基于数据决策的复杂过程。大数据分析通过多种不同的方式来帮助不同行业的企业和组织进行风险管理、产品开发和创新、制定战略决策、改善用户体验等。从业务的角度来说,大数据分析分为描述性分析、诊断性分析、预测性分析、规范性分析4 种类型。
(2)大数据分析的流程。
大数据分析流程往往包括收集数据、转换数据和对转换结果执行数据分析,大数据专业人员需要经历流程中的多个步骤。主要的5 个关键步骤如下。
①识别数据源并收集数据。在最初的步骤中,数据专业人员需要根据分析目标来选择可能包含原始形式的有用数据的数据源,尽可能从广泛的平台中选择数据源来收集数据,以提高数据分析的准确性。
②数据预处理。数据预处理对来自数据源的所有数据进行多方面的预处理。
③数据转换。数据转换步骤的主要目的是在运行分析算法之前将所有数据转换为可用的格式。
④数据分析和挖掘。这一阶段,利用数据分析知识对上一步输入的数据进行详细分析,并利用数据挖掘技术在收集的海量数据中发现隐藏和重要的模式。
⑤数据可视化。可使用诸如Power BI,Tableau,SmartBI 等商业智能工具或者开源的Python 工具库对数据分析的结果进行可视化呈现,并为不同级别的业务团队创建丰富的分析报告。
(3)大数据的分析方法。
很多学者和技术人员掌握了很多数据分析工具和技能,但依然做不好数据分析。遇到业务问题时,他们常常觉得无从下手。其实,掌握技能和工具只是第一步,掌握好大数据分析方法还必须有数据分析思维。数据思维具有框架性引导作用,能够确认分析角度、搭配分析方法、选择指标体系以及得出分析结论。常见的7 种数据分析思维包括对比法、象限法、漏斗法、二八定律、指数法、假设法及多维分析法。
做好大数据分析常常会用到统计分析方法,常见的统计分析方法有14 种,分别是描述统计分析法、驾驶检验分析法、信度分析法、列联表分析法、相关分析法、方差分析法、回归分析法、聚类分析法、主成分分析法、因子分析法、时间序列分析法、生存分析法、典型相关分析法、ROC 曲线分析法。在重型机械装备制造企业的大数分析过程中,可以选择以上大数据分析方法进行大数据分析。
(4)大数据分析工具。
开发人员根据大数据分析工具的功能和特性,以及开发环境的支持来确定和选择最合适的大数据分析解决方案。可以从流行的几个大数据分析并行编程模型(MapReduce、工作流、批量同步并行和类似SQL)的角度来了解并选择对应的大数据分析工具。
①基于MapReduce 编程模型的分析工具。MapReduce 是一种受函数式编程启发的编程模型。它基于map 和reduce 函数并行执行,用于设计大规模数据密集型应用程序。