我要投稿 查看投稿进度
学术期刊
在线客服
客服电话：400-188-5008
客服邮箱：service@ccnpub.com
投诉举报：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享

请选择 目标期刊

基于Hadoop CDH的用电信息大数据平台的研究 下载：91 浏览：506

马浩1，2 武超飞1 王立斌1 陶鹏1 吴宏波1 冯波1 《中国电力技术》 2018年6期

摘要:
针对用电信息采集系统数据量成指数级增长，普通服务器已经无法满足巨量数据的分析，介绍了Hadoop CDH集群工具，阐述了用采系统大数据平台的架构模式，提出了在用电信息大数据项目在大数据平台上的应用流程。

基于大数据平台的货车位置服务应用研究 下载：35 浏览：225

梁山清 李恩宁 葛红志 王晓玲 《无线电研究》 2020年10期

摘要:
通过搭建Hadoop大数据平台,将货运车辆的北斗/GPS导航定位数据迁移到分布式文件系统里。结合Hive,Mahout等大数据组件,运用Java语言进行大数据算法的开发。设计并实现了基于时空特征的K-means聚类算法以及基于专家系统和协同过滤算法的货车未来活动区域预测方法,挖掘货车的轨迹规律和业务发展特征,对大数据技术在货运行业的工程化应用进行了探索。

基于大数据的民政业务数据海平台规划与设计 下载：51 浏览：364

徐佩1 黄爱国2 陈震2 熊红林1 沈俭3 樊重俊4 《电子商务进展》 2020年5期

摘要:
在电子政务的背景下,民政部门已建立的信息系统每天会产生大量数据,针对如何让数据提升价值,本文提出了民政业务数据海平台,并通过平台架构、数据资源、应用功能三个方面分析设计了民政业务数据海平台。民政业务数据海平台通过高效采集、有效整合,深化应用民政业务数据,从而实现民政精准化、动态化服务的目标。

基于大数据的高校智慧校园学生综合测评系统设计与研究 下载：44 浏览：369

茆灵铖 谢桂芳 邵周伟 时海茹 蒋秀莲 ​ 《软件工程研究》 2020年11期

摘要:
当前,信息化正面临着一个全新的阶段,即以数据的深度挖掘和整合应用为核心的智慧化阶段,智慧校园已成为时下高校信息化建设的重要内容。分析高校信息化建设现状和Hadoop、Spark等大数据技术框架,并重点从数据存储层、核心业务层和信息展示层对智慧校园学生综合测评系统进行分析与设计,为大数据技术与智慧校园的深度融合提供方案。

基于Hadoop的Web日志分析系统的设计 下载：64 浏览：465

何璇 马佳琳 《软件工程研究》 2019年5期

摘要:
在大数据时代,数据成为推动各个行业发展的动力,有效的分析数据不仅对社会经济效应有巨大影响,而且对政府,企业的管理也有深远影响。于是,怎样高效且快速地从Web日志中挖掘出有用的价值并且转化为分析依据是系统设计的重点。本文主要采用Hadoop为开源框架,利用HDFS进行数据的存储,Hive为开源数据仓库工具,设计并实现一个Web日志分析系统。文章主要阐述了系统的结构、设计思想和实现方法。

互联网转型从IT基础设施互联网化开始 下载：66 浏览：207

侯广营 《信息通信与技术》 2018年4期

摘要:
在"互联网+"时代，运营商正经历着轰轰烈烈的互联网转型变革。针对传统IT基础设施不能满足企业互联网转型需要的问题，文章分析优先进行IT基础设施互联网化的必要性，研究IT基础设施相关新技术，提出IT基础设施架构建议和业务开通流程改造建议，通过实践验证了规划建议的可行性，为IT基础设施互联网化规划提供建设性参考。

配用电大数据分布式计算集群负载均衡框架 下载：92 浏览：476

张令涛1，2 赵林1，2 张亮1，2 田国辉1，2 孙湃1，2 《电网技术研究》 2019年1期

摘要:
为了解决配用电环节产生的大数据经常出现数据倾斜而造成分布式运算环境利用效率不高的现象,提出了一种用于配用电大数据分布式计算的负载均衡框架。框架首先定义了中间结果提前传输机制,通过限定范围的可控参数控制传输进程,将中间结果进行排序,传输低于负载均值的分片。然后介绍了分片的二次分拆原理,根据分片的大小动态决定分拆计划。完成分片的分拆之后,介绍了如何利用贪心启发式算法实现分拆结果的均衡分配,结合布隆滤波器实现了分拆后分片的传输。最后通过实验验证,文中提出的配用电负载均衡框架能够有效地提高配用电大数据分布式运算系统的效率,减少因数据倾斜造成的部分节点因运算任务过重而导致的总体执行时间过长现象。

Hadoop架构下基于分布式粒子群算法的骨架网络重构方法 下载：89 浏览：493

谢彦祥 刘天琪 苏学能 《电网技术研究》 2018年12期

摘要:
大停电后网络重构阶段的主要目的是通过黑启动电源给失电厂站送电并建立一个稳定的网架,为下一阶段负荷的全面恢复奠定基础。针对确定网络重构阶段的最优目标网架问题,提出一种骨架网络重构方法。该方法首先综合考虑节点、支路在网络中的影响力,具体指以节点重要度、支路重要度分别表征网络中电源与负荷节点的重要程度、网络中各支路对与之相连节点的支撑作用及其在网络中的影响力;同时,为降低重构过程中出现故障的风险和加快后期负荷的全面恢复,提出节点聚集度指标,以表征重构网架的覆盖均匀程度;其次,考虑到大规模骨架网络重构问题属于高维优化的范畴,单机版算法求解高维优化问题时计算效率低,为此提出一种基于Hadoop平台的分布式粒子群算法,该算法利用集群的计算和存储能力求解高维问题时能够显著提高计算效率;最后,以IEEE 30、57和300节点标准系统为例验证所提网络重构方法的有效性。

大数据基础课程建设的研究 下载：25 浏览：356

侯晓芳 李瑛 李杰 《航空航天学报》 2018年7期

摘要:
本文从大数据专业的特点出发,总结了大数据专业基础课程建设存在的问题与不足,阐述了大数据专业在本科教育阶段的教学定位,对大数据基础课程体系进行了分析,课程体系的建设需要为大数据应用提供全面的理论和技术支持,包括数据采集、存储、计算挖掘、统计分析、数据展示等各方面。本文从三个层次叙述了大数据专业人才培养目标,针对不同层次提出了不同的就业方向,并对就业前景进行了展望。

Hadoop异构集群下的负载均衡算法研究 下载：70 浏览：458

陈林 《计算机研究与应用》 2018年11期

摘要:
Hadoop集群环境中,由于增加删除节点、删除文件等操作,都有可能造成数据的不均衡。数据的负载均衡对集群性能有着重要的影响。首先分析现有的负载均衡算法,然后提出一种基于异构集群性能和剩余空间的负载均衡算法。该算法根据节点的剩余空间以及节点性能来计算各个节点的理论空间利用率,并且根据集群的存储空间利用率来动态的调整节点的最大负载率。实验结果显示,提出的数据负载均衡算法可以使异构环境下的集群基于性能和剩余空间达到所期望的均衡状态:性能越高、剩余空间越大的节点,应该有更高的空间利用率。

基于HBase的RDF数据的存储与查询系统研究 下载：59 浏览：447

王益尧 《天线研究》 2018年2期

摘要:
Web语义网技术在近几年快速发展,用来描述语义网信息资源的知识描述框架RDF(Resource Description Framework)的数据量在快速增长,传统的集中式管理方法已经不能解决大数据量的挑战。对此提出一种基于Hadoop/HBase的分布式存储管理与查询计算系统方案,将RDF数据以图邻接表的形式表达,构建以实体、边属性标签为Row Key的两张表,同时进行基于深度搜索和跳数的数据划分策略,并基于Hadoop集群对LUBM标准数据集进行SPARQL查询,以系统查询执行时间作为衡量标准,通过实验验证该模型是有效可行的。
[1/1]
|<
<
1
>
>|
在线客服：：点击联系客服
联系电话：：400-188-5008
客服邮箱：：service@ccnpub.com
投诉举报：：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享