现有网络异常检测技术存在检测效率低,无法满足高速网络下实时高效网络异常行为监测的需求,传统的基于负载的网络异常检测过大的负载量对检测效率产生影响。同时,基于单条数据流的异常检测方法无法适应于日益复杂的网络环境。针对大规模网络环境的复杂性,提出一种多维度多层次的流量聚合方式,增强了基于安全策略的网络异常检测的适应性。并针对大规模网络环境下网络异常检测的效率问题,采用基于Kafka的数据缓存与分发机制,并实现Spark框架下的异常检测系统。