分析审计提升移动通信网日志集中管理和审计效率设计

论文导读：因分析我们进一步分析原因、深入查找问题来12下一页
摘要：本文主要对影响日志集中审计系统分析审计效率低的原因进行了分析，通过对采集网卡的处理程序、软件匹配算法、存储设计和数据库表结构等方面的调整优化，提高日志分析审计的准确性和效率，从而将日志集中审计系统真正的应用到现有网络中，及时发现网络中的异常情况，提升安全事件的分析能力。
关键词：日志；审计效率；优化；安全事件
1007-9599 （2013） 01-0077-02
1 前言
随着网络IP化、业务开放化等因素的不断演进，设备面临的安全威胁也不断增加。用于记录和分析设备运行管理情况的日志，在发现和处理异常事件时也越发变得重要，而网络设备类型与数量不断的增多，产生了大量的操作日志，无论对日志的存储还是分析都面临了更大的挑战。日志集中审计系统因此孕育而生，将各专业系统的系统日志、应用日志、操作访问日志汇聚到一起，进行分类、压缩存储，实现日志客户化数据采集、集中存储和集中审计分析。既保证了日志的关联分析，又防止了安全事件得日志被恶意篡改而导致无法溯源的隐患。
2 日志审计系统现状分析
目前日志审计系统覆盖了应用、主机、网络设备、数据库和安全设备等大量设备。面临如下问题：
对全部设备日志与网间访问行为进行安全审计，预计每天产生日志量30G，峰值时达到6000条/秒的入库量，如此大的数据量的读取和分析导致在管理和审计效率上的瓶颈。
随着业务的进一步开展与扩张，日志数量和种类会不断增加。
对业务操作、用户信息保护越来越重视，提高日志审计的效率将缩短了事件处理的时间。
3 源于：论文范文网www.7ctime.com
日志集中审计系统架构分析
日志集中审计系统的架构主要分为如下三个大层面：
3.1 采集层。日志采集中心首先完成对被审计对象日志的采集与处理。它通过（Agent）和事件采集器，在所管理的网络和系统上的信息采集点获取日志信息，并通过安全通讯方式上传到日志存储中心和日志分析中心进行处理。
在事件收集的过程中，日志采集中心还将完成事件的整合工作，包括聚并、过滤、范式化，从而实现了全网的安全事件的高效集中处理。日志采集中心本身支持大多数被管理设备的日志采集，对于一些尚未支持的设备，可通过通用技术（UA）支持，确保事件的广泛采集
3.2 分析存储层。日志分析中心是综合安全审计系统的核心模块，其主要功能是接收日志采集中心的事件，并负责数据的关联分析；存储主要负责存储采集中心上报的原始数据和聚并、过滤、范式化之后的数据，供分析和查询。
3.3 展现层。作为整个综合安全审计系统的统一人机界面接口，将各个界面的信息集中显示和发布，采用Web方式，支持各功能模块的信息显示和管理。
根据日志集中审计系统的架构，可通过如下四方面进行优化，达到效率提升：
提升采集设备采集与分析性能。
优化数据库与存储配置。
提升日志关联分析的效率与准确性。
提升日志系统与其他系统的融合能力。
根据优化的迫切性、重要性、预期效果、可实施性和经济性五个方面的综合评定，本文将重点对第一和第二方面进行优化。
4 系统效率提升方案

4.1 可行性分析

（1）提升采集设备采集与分析性能
使用SmartBit工具对现有系统采集引擎的处理能力进行测试，cpu100%占用的情况下是系统的极限性能，极限性能时：
150KPPS*512字节/400字节=192KPPS同时300KPPS*256字节/400字节=192KPPS
根据测试结果，我们能够处理的检测率75%平均报文速度是19.2万PPS，通过在国际出入口取得的数据显示，网络中传输的报文平均长度是400字节左右，这样的处理能力使我们处理千兆满负荷的数据流量时出现丢包现象。
通过调查连接到：国外类似产品一般为150万PPS到280万PPS之间。
（2）优化数据库与存储配置：
少量数据测试时响应迅速；
实际环境测试中发现，当数据量超过10G，查询明显变慢需要等待数秒；
实际环境测试中发现，数据量增加到了20G，做一次仅仅有两个条件的查询已经无法响应。
优化配置对长时间大数据量的影响，随着数据量与时间的延长，效果越来越明显，长时间以后，处理速度成垂直增长。

4.2 要因分析

我们进一步分析原因、深入查找问题来论文导读：化，实现了系统质的飞跃，提升了审计人员的感知度，将系统融入了日常管理工作，保障了投资的合理性。安全工作是企业的生命线，是公司良好社会效益和品牌形象的保障。使用效率提升的日志集中审计系统，实现了安全事件的及时发现和可溯性，增强了全网的防护能力，为企业创造更源于：毕业设计论文格式www.7ctime.com大的核心价值提
源，对7个方面的16项因素进行分析，确认4条要因：网卡处理程序流程复杂、软件算法陈旧、磁盘阵列单组RAID5管理硬盘数量低于磁盘实际数量、磁盘的分配设计无法利用磁盘阵列的全部性能。

4.3 解决方案

（1）通过对网卡驱动程序进行修改，完成采集设备采集与分析性能的提高。
用于捕获报文的零拷贝技术，最接近的两个实现，一个是PF_RING，一个是NTA，前者仍然存在一次拷贝，后者则年代较为久远且问题多多。借鉴NTA的很多思路，其基本原理如下：
将连续的若干页mmap映射到用户空间。
内核模块自行管理页的内存，并作为DMA地址交给网卡驱动收发包使用。
网卡驱动接收到的报文，如果需要交给用户空间时，该报文的描述符，即报文内存指针的页起始地址和相对偏移位置会被内核模块放到特定的缓冲区中，等待用户空间读取；相应的，报文内存引用计数会增加。
用户空间通过文件方式读取报文描述符，并计算出对应的用户空间地址，即可访问报文；在报文生命周期结束后，通过写文件方式告诉内核空间减少引用计数，如果引用计数为1，内核模块则释放之。用户空间发报文也采取类似的方式，只不过报文内存由用户空间发起命令，内核分配，再交由用户空间使用。
由于优先考虑到不对内核打补丁，因此没有修改sk_buff的内存管理机制，相反的，实现了和sk_buff接口语义几乎相同，但内存管理机制发生变化的报文数据结构（m_buf）。使用这个m_buf数据结构及API，需要对网卡驱动进行修改。
正因为是个通用的零拷贝支持模块，网卡驱动的修改很容易，全局替换sk_buff的操作到m_buf的操作即可。
经过一些基本测试，收包可做到单核普通CPU上>1Mpps报文（无论大小包）不丢包且CPU占用率极低；而发包的性能则可以做到libpcap发包4倍左右。
（2）通过对协议分析的代码进行修改，完成采集设备性能的提高。（代码略）
（3）通过修改Oracle数据库按天划分的表分区、磁盘阵列的配置文件，完成数据库和存储的配置。
日志事件表空间尽量包含多个数据文件，以平衡磁盘阵列每块磁盘I/O性能，基于本项目实际情况，分配了2个数据文件。
划分大表分区：根据数据量估算，每天建立一个表分区。
将来做日志管理的时候，以天为单位进行删除、备份工作。
（4）通过修改操作系统的挂载程序磁盘阵列的配置文件，完成数据库和存储的配置。
由于采用的文件系统是EXT3，其只能支持最大2T的数据文件，因此将磁盘阵列做成的2块设备映射成6个LUN。6个LUN对应6个PV；将PV划分成不同的VG；为了支持足够大的文件，制定PE为128M；将VG划分成LV；将LV要设成不同的目录；各目录分别分配为数据表使用。

4.4 效果验证

（1）实施前后的采集设备的采集、分析性能，对比结果如下：
硬件提升对性能影响一般是线性的，而软件提升对性能影响是非常剧烈的。
（2）对策实施对查询动作的实施效果检查
对于用户操作的响应时间小于3秒。在1000万条日志记录的情况下，查询的响应时间平均12秒。
5 结束语
通过对日志集中审计系统分析效率的优化，实现了系统质的飞跃，提升了审计人员的感知度，将系统融入了日常管理工作，保障了投资的合理性。
安全工作是企业的生命线，是公司良好社会效益和品牌形象的保障。使用效率提升的日志集中审计系统，实现了安全事件的及时发现和可溯性，增强了全网的防护能力，为企业创造更源于：毕业设计论文格式www.7ctime.com
大的核心价值提供了坚实的基础。
参考文献：
尼米克（Niemiec，R.J）.ORACLE DATABASE 10G性能调整与优化[M].北京：清华大学，2008.
汪照东.Oracle 11g数据库管理与优化宝典[M].北京：电子工业出版社，2008.
[3]邹逢兴.计算机硬件技术基础教与学指南[M].北京：电子工业出版社，2005，4：1-2.