网络监测系统范文

摘要：针对目前热点焦点问题更新频率高，企业对自身舆情监测不到位的情况，设计开发出一套完整体系性的企业网络舆情监测系统。该系统可针对企业的相关信息进行非结构化数据处理，同时利用情感分析及个性化处理技术，形成可视化的舆情分析报告，为企业分析预测自身舆情提供了完善的渠道。

关键词：数据抓取；非结构化数据处理；舆情分析；监测

目前，许多企业在进行舆情把控时，未能做到有效处理舆情信息并针对舆情做出及时的应对对策。通常企业内部鲜有专门设立的应对舆情的部门，而是其媒体部门负责对企业舆情进行分析并对外给出有效的回答。在此基础上，舆情分析系统成为了企业内部进行舆情应对的一大工具，其可帮助分析调研数据，给出统计结论，并根据分析结果给出具有一定参考性的预警预测，这在当今信息爆炸的时代背景下具有鲜明的商业可拓展性。而本文所述的研究具有更实际的意义，从技术层面对目前的舆情技术进行革新。网络舆情形式多元化，信息量级十分庞大，且大多均为图片、文段等非结构化的数据类型。目前市面上对非结构化数据的处理还较为薄弱，而本研究针对这一市场痛点，对文本处理的技术进行了深度优化，有效解决企业对舆情的情感判别问题。从而企业可以直观地了解舆情情况，并针对系统分析得到的统计结果得出应对方案。

1网络舆情系统的相关技术

1.1网络爬虫技术

在爬虫算法的基础上进行改进，主要包含网络请求模块、流程控制模块、内容解析模块和链接去重模块。其中网络请求模块主要负责根据URL链接向服务器发送http请求，并获取响应内容；流程控制模块负责组织调度各个功能模块和控制URL列表的爬取顺序；内容解析模块负责处理网络请求获得的响应，其中大部分响应为JSON格式的数据，本文采用BeautifulSoup库对返回的响应进行解析；链接去重模块主要负责对待爬取的URL进行选择，去掉重复的URL，同时对解析之后的响应内容进行文本去重化处理。本文使用Scrapy框架具体实现网络爬虫。Scrapy使用了Twisted异步网络框架来处理网络通讯，加快数据下载速度，并包含各种中间件接口，可以灵活地实现各种需求（图1）。

1.2非结构化文本数据挖掘技术

文本挖掘的主要目的是获得文本的主要内容特征，如文本设计的主题、文本主题的类属、文本内容的浓缩等。本系统采用互信息，信息增益，文本证据权和x2统计法等评价函数进行独立评估，对每一个特征按照给定的权值大小进行排序，选择最佳特征子集作为特征提取的结果[1]。对于文本特征数高，特征相互关联，冗余严重的特点，本系统采用基于支持向量机的文本分类技术[2]。而在中文信息处理的过程中，分词是中文信息处理从字符处理水平向语义处理水平迈进的关键，本系统主要采用基于词典的分词方法[5]。基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG），采用了动态规划查找较大概率路径，找出基于词频的较大切分组合。对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法。

随着无线网络技术的高速发展，各大网络运营商将发展无线通信网络作为重要发展目标，不断加大无线网络的投入[1]。随着5G技术的面世，无线通信网络也得到了长足的发展，但随之产生的安全问题也成为了此领域的重点研究内容。无线通信网络安全问题关系到社会甚至国家的信息安全问题[2]。其中，无线通信网络安全漏洞成为目前需要解决的主要问题，通信网络中的安全漏洞会产生大量漏洞数据，漏洞数据是在硬件、软件、协议或具体通信系统中，由安全漏洞产生的一系列数据。通过分析漏洞数据可获得漏洞形成的原因并及时修补漏洞，保证无线通信网络的安全。因此，如何提高无线通信网络系统的自主防御与网络安全漏洞监测能力，成为该领域的热点问题[3]。为此，相关研究人员对此进行了大量的研究。文献[4]提出基于动态污点分析的漏洞监测方法，对通信网络节点的漏洞进行识别。该方法通过分析网络节点漏洞的性质，将其按性质进行汇集。采用漏洞识别适应度函数对通信网络节点漏洞进行识别。该方法可以有效识别无线网络节点中的漏洞，但该方法操作过程较为复杂，存在工作效率较低的问题。文献[5]设计了基于硬件虚拟化的漏洞监测技术，该技术通过总体框架的构建，以及硬件、软件的详细设计，通过漏洞扫描工具收集系统中存在的漏洞数据，融合采集到的漏洞数据，并进行详细分析。通过机器学习技术完成了通信网络异常行为入侵的检测。该方法对通信中的多种异常行为进行分析，可以有效拦截异常入侵，但漏洞的识别存在识别精度低等问题。基于上述方法存在的问题，提出基于机器学习的无线通信网络安全漏洞智能监测系统设计。该系统引入机器学习算法，通过硬件及软件的设计，完成无线通信网络安全漏洞智能监测系统设计。实验结果表明，该系统可有效对无线通信网络安全漏洞进行监测，监测准确性较高且工作效率较高。

1系统硬件设计

漏洞一旦出现将攻击整个网络系统，漏洞在无线通信网络系统中也较为常见[6]。无线通信网络安全漏洞是导致通信网络被攻击、被入侵的主要原因[7]。对无线通信网络安全漏洞的及时发现十分重要。无线通信网络在实际网络部署中，将PTK-5500控制器设在省级核心网络中，管理无线通信网络平台，保障无线通信网络安全。原有无线通信网络安全漏洞监测系统主要通过ICMPEcho和BroadcastICMP扫描技术对无线通信网络漏洞进行扫描，其操作过程均通过向无线通信网络发送请求，等待主机回应之后进行监测，且监测系统内部结构复杂，响应时延较长，不利于及时监测无线通信网络漏洞。该文对系统进行了改进，改进后的系统硬件主要包括3个模块：漏洞数据采集模块、漏洞数据扫描模块以及无线通信网络安全漏洞智能监测模块。通过直接抓取漏洞数据，并采用T-MPLS高速数据传输技术，对采集、扫描、监测获得的数据进行传输。通过机器学习技术提高漏洞监测的总体效率，运用机器学习对漏洞进行高速扫描，实现漏洞的高效率监测。改进后的监测系统对漏洞监测的反应更为灵敏，且降低了系统的开发成本。

1.1漏洞数据采集模块

在安全漏洞数据采集模块中，对无线通信网络安全漏洞数据进行采集，针对无线通信漏洞数据属性，分析漏洞数据间存在的联系，整合不确定安全漏洞数据，并将其划分到相应的数据集合中，选用无线数据采集器对整合的安全漏洞数据进行采集。该数据采集器的电源接口为DC12V直插式，经过RJ45网口连接网线，可以将发射端的数据转发到服务器上，操作便捷简单[9]。

1.2漏洞数据扫描模块

该系统为了无线通信网络节点的平稳运行，设置了漏洞扫描器。该漏洞扫描器接口对无线通信网络节点数据进行分类扫描，将不同数据节点集中到同一数据集合中，保证漏洞数据扫描过程的安全性。在扫描器中设置XSS漏洞检测插件[10-11]，通过该插件对无线通信网络安全漏洞进行扫描。

1.3无线通信网络安全漏洞智能监测模块

摘要:液压支架在煤炭的开采中处于至关重要的位置。当液压支架发生泄漏时，不仅会产生严重的后果，还会对附近的周边环境造成破坏，故而对缸体的质量检测变得尤为重要。本文提出了超声无损检测与人工神经网络组合的故障监测系统对液压支架结构进行实时监测，以在需要时改进维护，修理或更换部件。一方面，超声检测得出构件不同的应变波;另一方面，人工神经网络分析从超声波测试方法接收的信号。

关键词:超声检测;神经网络;液压缸;故障监测

定期维护是延长液压支架立柱油缸使用寿命的一个重要手段。为延长其设计的性能寿命，通常采用简单的无损检测方法，在故障之前或在预定时间检查设备是否存在问题，例如目视检查或听声测试，并且检查其部件是否损坏，如果发现足够的损坏则导致部分被更换。本文提出由传感器和分析系统组成的无损监测方法，可以实时监测使用中的液压支架立柱油缸的潜在故障及损坏，从而减少停机检查对工作效率的影响。如果在发生故障之前很久就发现损坏，则可以实施损伤容限和预后评估，从而更好地确定部件的寿命。

1超声波检测

通过研究各种无损检测技术不难发现，实现这些技术通常需要小型可以吸附或接近被检测结构的传感器等设备，而不会影响被检测对象的正常使用或性能。［1］其中，超声无损检测是本文主要的研究对象。超声波测试采用可穿过薄结构部件的板波或表面波来确定使用中的部件是否发生任何损坏，并利用压电传感器来检测裂纹产生的位置以及严重程度。该技术采用的压电传感器十分灵敏，可以接收频率在超声波范围内的应变波。当材料发生变形或者内部损坏时，压电传感器能够产生变化电流。这些应变波信号表现出的高频特性十分复杂，又由于应变波是平滑的连续变化的，故可将其分解为频率和相位模式的叠加。根据现有在超声波领域的研究可知，不同相位的波在材料中的速度传播不同。这些不同转变为压电传感器所接收的响应波的一部分。因此，基于监测条件是最佳的解释应变波的方法。其他研究表明，可以将人工神经网络分析与这种形式的无损检测相结合。

2声发射技术

通过对现有被动超声扫描系统性能的研究，本文将声发射系统结合人工神经网络分析思想，用于液压支架结构部件声发射数据的实时分析。当裂纹在材料中蔓延时，材料分子键断裂时释放出少量的能量将以应变波的形式扩散到周围的物质，类似于跳动的脉冲波。同时，碰撞将能量转化为使裂纹扩展的应变波。目前常用的用于超声波检测传感器的压电陶瓷材料就是为了检测这些应变波而诞生的。由这种材料制成的传感器足够灵敏，可以检测到任何微小变形所产生的电压，然后将其记录到计算机数据库中做进一步分析。声发射系统与有源超声检测系统的不同之处在于，其传感器不会产生应变波或变形，只接收、记录由其他声源产生的波的特征，如振幅、上升时间和持续时间。最后，利用软件分析确定是否存在内部缺陷、是否需要更换组件。目前针对复杂几何形状构件探伤提出的分析方法效率较低。因此，本文提出基于人工神经网络探伤的新方法。即将人工神经网络和声发射传感器相结合，组成新型无损探伤监测系统，这种新方法可应用于多种复杂结构的可靠性检测中，如液压支架油缸故障监测系统。

3人工神经网络

现场总线是计算机、通信、控制三种技术的集成，是应用于工控领域的数字通信网络.现场总线技术应用于电力监测方面，可构成高性能分布式电力监测系统，相对于传统的4一20mA模拟信号传送方式或主从式串行通信方式，在性能和成本方面，有着明显的优势.

1分布式电力监测系统对通信网络的要求

对于分布式电力监测系统，联系各个智能装置的通信网络是整个系统的关键，通信网络的选择将直接影响系统的安全性、实时性、可靠性.(1)可靠性和安全性由于电力供应的连续性和重要性，通信网络的可靠性和安全性应是第一位的.(2)良好的实时性由于电力系统中故障保护、开关变位、遥控返校等信息要快速传递，所以网络应具有良好的实时性。(3)良好的环境适应性能适应变电站的强电磁干扰和电磁污染.

2现场总线CANBUS的特点

CAN总线是英文ControlAre。Net的缩写，该网络最初是为汽车电子系统开发的，专为强干扰环境下实时监控系统使用，具有许多其他网络无可比拟的优点，得到了广泛的应用.现INTEL、PHILIPS、MOTOROLA等公司都有支持CAN网络的产品投放市场.

2.1多主工作方式

CANBUS可以多主方式工作，网上任意一个节点均可以在任意时刻主动地向网络上的其他节点发送信息，而不分主从，通信方式灵活.利用这一特点可方便地构成多机备份系统.

2.2冲突避免(CA)技术

1计算机安全技术

应用软件的安全技术主要是有软件加密技术，首先利用指纹识别技术辨别合法与非法的软件，然后通过加密技术保护程序运行，最后利用反跟踪技术保护指纹识别和加密程序。操作系统的安全技术主要是包括软件加密和防病毒2种技术，用以保护WINDOWS和DOS等操作系统的安全。病毒主要通过移动硬盘、光驱和互联网传播，存在于文件中，所以完善防病毒的软件的功能，需要清楚病毒的传播途径和参数特征，通过扩充病毒防治软件，加强防病毒软件的检测和杀毒功能。计算机网络的安全技术包括有安全内核技术、Kerberos系统的鉴别技术和防火墙技术。其中安全内核技术是指删除操作系统中容易对系统安全造成威胁的部分，这样能直接有效地保护操作系统的安全。Kerberos系统的鉴别技术是一种验证保护的技术，用户在对网络提出访问的时候首先要经过Kerberos系统的身份验证。合法用户在通过验证后还需要经过访问权限的验证。这种系统被普遍应用于分布式的计算机中，能够安全有效地保护计算机的网络安全。防火墙技术主要包括服务器、数据包过滤、网络反病毒技术和SOCKS协议这几种。防火墙技术是计算机网络安全技术中最为常见的一种，研究和开发的重点主要是多级过滤、系统和加密鉴别技术。

2计算机网络在煤矿企业中的应用

2.1智能综合调度指挥系统

煤矿综合调度系统是在自动化控制、多媒体信息技术和计算机网络技术的基础上，将企业的采矿、挖掘、机械、运输、生产系统的调度信息和监测系统的视频图像和数据信息进行有机地结合，综合处理数据，并存储和传输到数据库，形成一个建立在计算机网络基础上的调度系统。这种智能的煤矿综合调度指挥系统，能够实现对煤矿井下工作的实时监控，掌握井下的生产状况，发现问题可以及时有效地进行调度，既能减少和避免出现人员伤亡，又能够实现企业生产效益的最大化，充分体现了基于网络的综合调度的集中化和可视化。

2.2煤矿安全监测系统

在计算机网络技术的基础上建立的分布式煤矿安全监测系统，通过智能网络监测和自动报警系统能够实现对整个煤矿生产区域的全程监控，对井下的安全通风和火灾、毒害气体等危险情况进行监测和报警。监测系统利用摄像头和视频服务器等设备与网络的连接，可以形成网络化的自动监控。另外也可以与原有的监测系统进行合并，实现更为严密的监控，做到统一管理。

2.3基于网络的数据库应用

摘要：计算机网络不仅是实现煤矿多种专用监测监控系统实时数据和各种管理信息系统数据集成的重要保证，同时也是承载通讯专网、综合调度网、企业信息网、监测监控网、工业电视网络和闭路电视主干传输网等业务的重要保证。本文对计算机网络在煤矿企业中的应用进行阐述。

关键词：计算机网络煤矿企业应用

0引言

煤矿井下生产环境复杂、多变、条件恶劣，煤矿计算机网络是煤矿安全、高效生产的基础。加快推进计算机网络在煤矿企业生产中的应用，必将促进煤炭工业生产现代化、销售网络化、管理网络化、采购电子化与管理科学化的发展进程。

1煤炭企业信息化集成及应用模式

煤炭企业信息化应用方向和重点是综合运用网络技术、Web技术、数据库技术、软件工程技术、系统集成技术，重点解决安全监测信息的集成处理与、生产信息的集成与可视化、各种管理信息系统的规范与集成，构建企业集团综合办公自动化体系等方面。通过信息化集成，实现煤炭企业物流、安全、生产、销售、财务等环节的全面信息化管理，使煤炭企业集团在实时数据流、资金流、物资流、信息流和商务流等多方面取得有效的集成和共享。

2计算机网络在煤矿企业中的应用

2.1智能综合调度指挥系统煤矿智能综合调度系统就是基于先进的计算机网络技术、工控自动化及多媒体技术，将安全监测、生产调度的实时数据信息，工业电视的视频图像信息，采、掘、机、运、通生产系统的数据图像信息等有机地结合起来，进行数字化处理、存储和传输，构成一个以多媒体网络为基础的调度指挥信息系统。该系统主要由煤矿光纤工业电视子系统、数字视频监控子系统、数字式大屏幕投影电视墙子系统、LED电子显示屏子系统及综合调度信息查询子系统等组成;将安全生产、煤炭生产过程自动化、煤炭计量等不同类型的监控系统进行系统集成，实现几个子系统的信息交流和资源共享;与微机网络系统相联接，实现网络系统与大屏幕投影墙显示系统资源共享，提高调度指挥的速度和准确性，实现煤矿安全、高效生产。分布式综合生产调度指挥系统实现了基于Web的生产数据集中管理和可视化调度指挥，提高了行业的调度信息化管理水平，能实时监测监控各个矿井的安全状况，随时调度指挥生产，避免和减少安全事故的发生，对煤炭企业实现安全、文明、科学生产具有重要的意义。

摘要：阐述了在智能变电站采用二次设备监测技术的意义，分析了智能变电站二次设备在线监测系统的构架、功能组成和监测技术等，以期为智能变电站二次设备状态监测技术在智能变电站中的推广和应用提供技术参考。

关键词：智能变电站；二次设备；状态监测

0引言

近年来，曲靖供电局通过大力发展智能变电站，有效地提高了曲靖电网的安全运行能力和自动化管理水平。但随着智能化变电站数量的逐渐增多，二次设备运检、维护、故障处理等工作的难度日益凸显，迫切需要对智能变电站二次设备的状态进行监测，以便于运维人员及时发现和处理二次设备存在的问题及隐患。智能变电站二次设备之间存在系统联动性和网络关联性，但其运行状态和故障信息具有隐蔽性和分散性，无法通过单一数据或信息反映出二次设备的总体状态，因此需要将智能变电站的二次设备视为一个整体，通过在线监测系统将所有二次设备的运行参数、实时数据和历史信息进行集成或整合，从而实现智能变电站的状态监测。基于此，本文提出了智能变电站二次设备状态在线监测技术，并在曲靖某智能变电站中进行了实际应用。

1智能变电站二次设备状态监测的意义

智能变电站二次设备的状态监测对智能变电站的安全运行具有重要意义。首先，智能变电站中配置二次设备的主要目的是为母线、断路器、主变等一次设备的安全运行提供必要的技术保障。一旦二次设备发生故障或损坏必将影响一次设备和二次系统的可靠运行，而二次设备状态监测系统能对智能变电站二次设备的运行状况、故障隐患和安全风险进行跟踪报警和智能分析，以便于运维人员及早发现和处理，从而保证二次设备和整个变电站系统的安全可靠性。其次，智能变电站二次设备状态监测平台能指导运维和管理人员进行变电站的运检和维护工作，缩短检修工期，提高运检效率和质量。再次，智能变电站二次设备状态监测系统具有智能变电站全面的运行数据和状态信息，能为调度人员的倒闸操作、调度计划的制定提供全面的数据，为故障的分析和定位提供有用的信息，为智能电网的运行和管控等系统提供信息接入端口。

2智能变电站二次设备状态在线监测系统

2．1建设思路及技术路线

作者：董京胜李干单位：北京市电力公司昌平供电公司

在线监测系统的设计

高压输电线路绝缘子闪络在线监测系统由闪络电流传感器、信号处理单元、太阳能供电单元、无线通信网络单元组成，如图1所示。太阳能充电储能系统保证了监测设备能够长时间运行，无线网络实现了故障发生时能够及时通知工作人员故障的原因及地点。

绝缘子发生闪络故障时，发生绝缘子击穿，引起电力系统对地的工频续流，造成短时间的工频接地故障。输电线路接地杆塔流过较大的工频续流，能产生一个工频交流电磁场。本文提出的监测系统利用电感线圈直接测量工频电磁场来识别绝缘子是否发生闪络。这种故障定位方法简单、可靠，而且不依赖于任何测距算法，原理上没有故障定位误差。一旦发生故障，监测装置会主动唤醒周边的其他监测装置，并发送故障数据信息，然后数据信息以“手牵手”接力的方式传送到数据汇集单元，最后汇聚节点通过GPRS网关传输到监控中心。如果中间某一个监测单元因故障不能实现“手牵手”通信链路，则监测单元会自动搜索周围其他良好的监测单元，通信单元的冗余度提高了监测系统通信网络的可靠性和稳定性。监控中心分析上传的数据以直观的方式反馈给用户，同时将数据保存或者打出报表。

输电线路上获取能源成本较高且安装复杂，本文提出的系统采用Atmel公司的低功耗atmega8单片机、TI公司低功耗传输网络芯片CC1101以及无源闪络电流传感器，降低了系统整体的能耗，监测设备在无光照或光照强度不够时不能对监测设备的电池进行充电，电池自身电量可以使监测设备工作4个月，当阳光充足的时候，太阳能对蓄电池充电，连续8个小时可以充满电，保障了系统供电的可靠性。

信号调理处理设计

输电线路存在大量的谐波和电晕现象，监测装置在这种强磁场高电压干扰下，易造成传感器信号的失真。滤除高次谐波、提取工频50Hz的工频信号为绝缘子在线监测系统提供了一定的科学数据，为识别和判断绝缘子闪络提供了可靠的保证。为了尽可能多的获取信号中真实的数据和减少CPU处理数据的负担，本文采用Butterworth有源低通模拟滤波器滤除信号中的300Hz以上的信号成分，如图2所示。滤波器是通过RC滤波电路和相同比例放大电路的压控电压源二阶低通滤波电路来实现的，该电路的小信号分析结果如图3所示，具有良好的滤波效果，达到了现场环境的要求。为了提高监测系统的灵敏度，将滤波后的低频信号进行10倍放大，再利用运放开环电路实现了电压比较器功能，通过调节可调电阻提供的参考电位可以改变故障电流的整定值。当发生故障时，传感器耦合的信号经过滤波、放大后与故障电流整定值比较输出高电平，触发MCU外部中断0唤醒单片机，比较器输出波形如图4所示，图4中正弦信号是闪络电流传感器测量的信号，直流为故障电流整定值，通过调节可调电阻比例值改变故障电流整定值，方波信号是传感器测量信号和整定值比较的结果，可将输出信号传给MCU。单片机经过计算分析故障电流，通过无线传输模块传送到终端服务器，以便工作人员能够准确确定闪络电流发生的位置，尽快检修绝缘子恢复供电。

无线通信网络设计