发布时间:2015年9月16日
2015年9月8日和9月16日,由北京交通大学网络科学与智能系统研究所承担的中国航信民航需求指数研究项目分别顺利通过项目技术验收与项目合同验收。两阶段验收工作的顺利通过,标志着我国基于用户查询行为大数据的民航需求指数的诞生。科学的、精准的民航需求指数,对民航业提前感知市场需求、提高企业收益管理水平、为各级运营部门提供决策支持都具有十分重大的意义。
民航需求指数在线原型系统界面
基于用户查询大数据的民航需求指数项目的研发需求由中国民航信息股份有限公司提出,本研究所在所长林友芳教授的带领下,组织团队与中国航信的专家开展紧密的产学研合作,经过艰苦技术攻关,取得了多项创新性成果。成功设计与实现了一套科学合理的民航需求指数模型及计算方案。本项目针对全球市场汇聚到中国航信的航班查询指令,综合运用信号处理方法、专家经验和机器学习方法,设计出合理的查询渠道分类算法,能够成功地排除机器人查询性和恶意查询行为等各类干扰因素的影响,然后采用机器学习方法建立科学的多维度需求指数参数模型,并采用分布式大数据计算平台,成功地实现针对全市场超大规模数据的近实时计算。
来自不同渠道的用户查询曲线示例
目前,中国航信收到的来自全球市场的查询量高达平均每秒几万次,10分钟内产生的纯查询指令数据达4G以上。如何正确的甄别出查询渠道是否存在机器人查询,并判定其严重程度是本项目的一个核心问题和难点。 研究所高度重视本项目的研发工作,组建了精干的研发团队。项目负责人林友芳教授亲自组织开展了渠道分类模型、指数计算模型、大数据分布式算法优化方案设计等核心环节的研究与设计,全程参与了与甲方专家与技术团队的研讨会;研究所万怀宇老师参与了渠道分类模型设计与指导;研究所博士后王晶老师参与了时间序列数据处理方法的指导;曾获得第三届“中国软件杯”全国大学生软件设计大赛特等奖的我所2013级研究生周岳骞同学担任项目组研究生组长;项目组主要成员还包括研究生许强永、陈立虎和康友隐同学。研究生同学们完成了大量艰苦的数据处理、分析、样本选择、模型优化、训练与验证方案设计和最终的系统设计实现,并通过反复的并行算法优化设计,在由7台普通服务器构成的Hadoop + Spark计算平台下,成功地实现在4分钟内完成对全市场10分钟产生的查询大数据的复杂计算,达到民航需求指数的准实时计算要求。
项目组主要成员
中国航信方面对该项目十分重视,派出业务专家与技术骨干与我所项目团队进行对接,每周来我所进行技术研讨,掌握项目进展,提供相关行业专家经验。
中国航信业务与技术团队到我所开展项目研讨
本项目的技术验收在中国航信研发中心举行,合同验收在中国航信航空业务部举行。项目顺利通过验收,标志着我所在数据挖掘与大数据技术在行业应用领域的又一次突破,也是我所成功实现产学研合作的又一个成功案例。 在验收会上,专家听取了科研成果的介绍、演示,查验了部分文档及资料,并进行了现场提问,林友芳教授进行了详细解答。参与验收的专家对我所的研究成果给予了高度肯定,认为本项目各项技术指标均完全达到或超出合同规定要求,项目已经高质量地完成,研究成果在民航领域具有重要的行业影响,建议尽快进行成果的产业化。
项目合同验收后参加验收会的双方人员合影