ASP网站远程抓取文件的方法

ASP网站远程抓取文件的方法

一、ASP网站远程抓取文档的方法(论文文献综述)

徐质彬[1](2020)在《基于模板匹配的移动端交互广告自动化测试平台的设计与实现》文中指出目前进行移动端样式测试的自动化测试平台的主要实现方案是搭建虚拟手机环境,进行模拟点击,生成测试影像,由测试人员进行影像筛查,找到不符合预期的测试结果,这种自动化测试结合人工回归的方式难以真正节省测试人力。为解决这种测试人力不能得到节省的问题,本文所设计的自动化测试平台加入样式校验模块,不需要测试人员进行全量影像筛查,以节省测试人力。本平台使用Python语言实现整体框架,平台采用组件化的概念,包括环境操作层、逻辑处理层、应用程序层三个层次,实现工具与业务逻辑解耦,以保障平台的低耦合,提升工作性能。本文对移动端广告样式和交互功能的测试人员的需求进行分析,设计并实现测试任务触发模块、配置更新模块、样式渲染模块、样式校验模块和线上收入监控模块五大功能模块,这五个模块协同作用,分析测试人员输入的测试环境模块的配置信息、测试用例信息等信息,新建测试任务,调度手机资源进行样式展现、样式抓取,对生成的样式图像进行模板匹配,确定相似度。其中,在调度资源时,为了保证兼容不同尺寸的屏幕,利用时间片轮转算法选取不同品牌的四部手机进行样式抓取;将图像与基准图片进行模板匹配时,采取Hu不变矩用于计算特征值,Hausdorff距离算法用于计算相似度的方式,以提升自动化测试结果比对的成功率。为实现本自动化测试平台,本文对OCR识别技术、Hu不变矩、Hausdorff距离算法进行深入学习,并进行对测试平台的需求分析、设计、实现和测试工作,完成测试平台的开发。通过将新版本Hu不变矩结合Hausdorff距离算法进行样式校验的自动化测试平台与旧版本语义切割进行样式校验的自动化测试平台对比,能够得出的结论是:本文中不变矩算法结合Hausdorff距离算法进行模板校验的自动化测试平台在支持已经开发成熟的软件快速迭代的测试需求中,自动比对测试结果的成功率有所提升,且测试的稳定性和效率均由40%提升至90%以上,更适用于实际工程应用。

陈思红[2](2020)在《采煤机科学数据共享服务系统》文中提出目前,煤炭能源仍然是我国的主体能源,面对煤炭长期可持续开发与利用等问题,明确高效的煤炭开采技术与先进的配套装备是解决该问题的主要方法。采煤机作为现代化机械开采的重要设备之一,在设计过程中产生大量数据,由于这些数据分散于采煤机各信息化平台,造成了技术流失和知识共享困难等问题。因此,实现数据驱动的创新设计是采煤机现代设计的主要内容,有助于促进企业集数据资源整合、数据应用、技术创新、产业结构为一体的协同化发展。面向数据驱动的采煤机创新设计发展趋势,针对采煤机数据分散、共享程度低等现状,围绕科学数据共享服务系统的需求,运用ASP.NET技术、Ajax异步技术、Web Service技术及先进的数据库技术,以Visual Studio、SQL server 2008为系统开发工具,构建一个集专题数据、应用服务、数据汇交为一体的基于数据共享的采煤机服务系统。共享服务系统包括专题服务子系统、应用服务子系统、汇交服务子系统和其他辅助子系统,有效地将分散于采煤机各数字化平台数据资源整合和汇聚,为设计人员提供具有指导意义的数据资源,促进采煤机数据资源的应用与共享。本研究提出采煤机科学数据专题数据服务子系统解决方案,通过对采煤机数据深度挖掘、分析处理,构建具有专项特点的专题数据库,包括设计资源库、零件库、CAD模型库及CAE分析库等专题库,满足用户对数据资源的浏览、检索、下载等功能。通过对概念设计、参数化建模和CAE分析技术的研究,构建在线概念设计、CAD参数化建模、CAE分析等功能模块,完成采煤机应用服务子系统的集成,通过实例分析初步验证应用服务子系统,满足用户在线对采煤机的选型设计、关键零部件的CAD参数化建模和CAE参数化分析,为采煤机数字化设计提供技术支持。通过对采煤机科学数据特征分析,设计采煤机设计数据汇交体系和功能框架,提出“以专家审核为主、数据管理员为辅”的汇交审核方案,构建比较完整的采煤机设计数据汇交服务子系统,满足用户对数据产品的元数据和数据实体的汇交需求,不断丰富采煤机数据中心数据资源,初步实现采煤机制造企业数据的高效汇交。根据用户实际使用需求,确定系统测试方案,完成系统功能测试、性能测试、安全性测试、兼容性等测试,通过对各个子系统运行实例验证系统的可靠性和安全性。该系统将数字化设计贯穿于采煤机设计流程中,收集整合大量具有设计意义的数据资源,设计并开发供用户共享数据的汇交平台,为用户提供集数据资源、数字化设计、数据汇交等服务为一体的数据应用共享服务模式,促进数据资源的共享应用,实现数据资源的科学管理,减少数据资源的浪费,对煤机装备的资源集成化、设计数字化、运行网络化、管理信息化和服务智能化具有重要的作用。

王亚东[3](2019)在《基于插件的Web应用漏洞扫描系统设计与实现》文中提出随着互联网技术的飞速发展,Web应用程序越来越普遍,企业在信息化过程中搭建了各种各样的Web应用程序,Web应用服务的快速发展也引起了黑客的强烈关注,随之而来的就是Web应用安全问题的日益严重。黑客利用Web应用的漏洞,例如文件上传漏洞、SQL注入漏洞等,可轻易获得Web服务器的控制权限,可以方便地篡改页面内容,也可能窃取重要的内部数据,更为糟糕的是在页面中植入恶意的代码,使页面访问者受到攻击。Web应用漏洞扫描作为一种关键技术,可以事先发现和解决大部分Web应用安全问题,也可被广泛应用于渗透测试、信息系统安全加固、等级保护等工作,具有十分重要的意义。本文通过对Web应用漏洞扫描技术进行深入的研究,分析了现有的Web应用漏洞扫描产品的关键技术和整体架构,并在此基础上设计了一款基于插件的Web应用漏洞扫描系统。该系统主要采用Python语言、多线程和面向对象技术开发,可以扫描SQL注入、XSS跨站脚本攻击等常见漏洞,并有扩展性强、插件化的特点,在出现重大紧急漏洞时,能够自定义编写Web应用漏洞扫描插件,能够对网络空间资产中的Web应用进行快速扫描,分析、验证、统计受影响的资产,对网络空间中脆弱的Web应用资产可能造成的潜在危害进行分析并形成报告。本文以Web应用程序的漏洞检测作为研究对象,主要做了以下几方面的工作:(1)由于传统爬虫依靠静态分析,不能准确的抓取到页面中的AJAX请求以及动态更新的内容,本文设计并实现了基于动态解析的爬虫,将传统的Web应用爬虫和动态爬虫相结合,提高了扫描系统的URL抓取能力。(2)传统的Web应用漏洞扫描系统在对目标进行漏洞扫描时,一般会遍历漏洞库中的所有漏洞规则,在扫描大型应用系统时,效率会极其低下。本文研究并实现了对Web应用指纹的识别技术,通过识别出Web应用的指纹信息,再调用相关的漏洞扫描插件,可以提高Web应用漏洞扫描系统的性能和扫描速度。(3)传统的Web应用漏洞扫描系统大多是通过发送HTTP请求,在HTTP响应中匹配关键字特征来进行漏洞识别,这种直接的检测方式在一些特殊的场景下会导致漏洞的漏报,本文研究并实现了一种基于DNS Log技术的间接漏洞检测方法,可以提高漏洞的覆盖率。

张丽君[4](2019)在《基于云计算的网络公开课平台设计与应用》文中进行了进一步梳理在全球高等教育的进程中涌现出了一些先进的治学思路,网络公开课的概念是在教育公平化的启发下孕育而生的。随着“互联网+”的浪潮,以因特网为媒介的新型知识传播模式——网络公开课的蓬勃发展有着鲜活的生命力和广漠的成长空间。大规模公开在线课堂(简称慕课)起源于美国的顶尖学府所设立的公开学习平台,在网上提供免费课程,给不同阶层的人提供系统学习的机会,消除知识鸿沟。麻省理工学院(简称MIT)是开放课件项目的启蒙者,他们将课程内容包括视频、课程资料等发布在平台上,无偿提供给网民,揭开了网络公开课的序幕。很多政府、学校和培训机构在其鼓舞下,纷纷加入了开放课程资源项目(Open Course Ware,简称OCW),激起了更广阔范畴的运动热潮。秉持达成资源共建和分享的教学理念,基于开源的技术手段,搭建起基于知识分享的网络公开课平台。针对当前其他类似平台存在的不足,本文基于云计算技术,从整体需求出发设计了网络公开课平台的系统架构和功能模块划分,并在此基础上进行开发和实现。本平台的开发无需专门购置软、硬件设施,只需向开放平台即服务(简称PaaS)公司远程订购平台模块服务,向软件即服务(简称SaaS)公司租赁软件服务。使用基于Cloud Foundry的PaaS平台及技术,以支撑其核心应用。主要选用了基于Ruby语言的Rails框架和Aptana Studio集成环境进行系统研发,选用了对象-关系型数据库Postgre SQL来管理结构化数据,和可支持多类型Value的Redis存储系统来管理非结构化数据。通过全局和本地两级认证,用户信息同步和同构云间互联互通,实现身份管理功能。借助电子书包功能,对学习成果进行持续、精准的评估,使每个学习者都能得到良好的学习体验。以模型——视图——控制架构模式和RESTful架构风格共同构建了系统的整体框架。经试用,该平台是可执行新建课程、作业管理、发起讨论、阶段评估等功能的综合性教与学系统,可视化界面易操作,可以使得传统教育模式更多元化,也可以参考慕课的运行模式。经系统及模块测试,测试结果显示满足平台及模块的设计要求,但仍需在用户体验方面持续完善。

苏芳[5](2019)在《基于物联网的多元可视化色选设备服务平台研究》文中研究指明随着人们对食品安全及食品精细化重视程度的提高,色选机市场的需求量在不断上涨。但是传统的色选机智能控制水平较低,在培训、维护、管理等方面耗费大量的人力物力。针对此问题,结合安徽某色选机企业的实际需求,本文开发了一套基于物联网的多元可视化色选设备服务平台,可应用于工控PC、网页端、移动端等多元平台。具体研究内容如下:(1)系统架构建模。系统架构主要分为三层:设备终端数据采集与控制层、服务器端网络通信层与客户端监控中心层。三部分以SQL Server数据库为核心进行交互。(2)系统通信架构设计。开发出基于Client/Server架构的服务器监听软件,负责读取数据库指令并打包下发至色选机,然后将数据流接收解析后存储入数据库;Broswer/Server架构的系统平台下发控制指令同时对数据进行可视化呈现;对于完成端口模型进行了一系列优化以打造高性能服务端通信层。(3)色选机上位机人机交互软件开发。对经典的卷积神经网络模型LeNet-5的特征提取、物料分选算法进行一系列改进,编写基于Windows系统的色选机上位机控制程序替代组态屏控制系统。实现基于Modbus协议ASCII模式的上位机与下位机双向通信。(4)Web端与APP端综合管理平台搭建。平台具有实时监控、参数修改、设备调试、设备档案、告警设置、运维管理、及用户管理七个模块,重点介绍了对于设备信息的可视化管理功能,包括为了提高地图绘制与点加载的速度与流畅度所采取的措施等。为了实现平台产业化的要求,对系统进行安装部署与性能测试,测试结果表明系统色选及行选精度、可靠性与稳定均满足设计要求,成本分析结果显示其具有一定的产业化价值。

颜于凤[6](2019)在《基于云平台的网页篡改监测系统的设计与研究》文中进行了进一步梳理从“工业化”时代进入到“信息化”时代后,信息安全问题一直都是一个无法回避的话题。目前,无论是企事业单位,还是国家、地方政务部门,甚至是个人都拥有向公众提供各类信息服务的网站。然而,大部分网站在建设过程中,仅仅考虑了功能的实现问题,却忽略了信息安全的风险,这就导致网站时刻处于被攻击、被篡改的危险之中。对于政府、高校等服务对象数目庞大的网站,网页篡改行为甚至会上升到公共安全的问题,对国家和人民造成不可估量的损失,并且随着篡改行为的持续时间不断增加,所造成的损失会不断扩大。因此,对于网页篡改监测的研究已然成为了网站信息安全领域中一个重要的环节。对于早期的网站,由于受资源和技术条件的限制,一般规模不大,访问人次较少。但随着服务器托管、大数据处理等技术的发展,目前的网站规模呈现不断增大的发展趋势,网页个数少则数百、多则成千上万,为了能够对如此大规模的网站进行一定程度的网页篡改监测行为,本文研究和设计了一个基于云平台的网页篡改监测系统,并重点从监测的全面性和监测速度两个方面对监测系统进行了研究。在监测的全面性上,本文首先利用通用网络爬虫对监测对象的数据进行采集,再通过XPath工具设计了一个网页解析模块,同时提出了一种基于哈希算法的网页多元素监测算法,将网页构成元素分割为页面型元素和媒体型元素,并分别对这两种元素进行处理。对于页面型元素,采用了直接计算哈希值的比对方式;而对于媒体型元素,则根据元素的自身属性,首先对属性进行预处理,再对预处理的结果进行哈希计算。这种一分为二的并行处理方式,能够较好地提高监测的全面性,将监测范围由原来的网页源码扩展到数据库中的媒体文件本身,这也将监测对象由静态网页扩展到部分动态网页。在监测速度方面,本文采用将整个监测系统部署在云平台上的方案。由于目前待监测对象规模庞大,仅采用单机部署的方式,会导致监测周期过长,安全性较低,采用云平台的部署方式,则能够利用其并行计算和分布式存储的优势,大大提高监测的速率。

丁扬[7](2017)在《基于改进的TF-IDF算法在司法裁判文书搜索中的应用》文中进行了进一步梳理在现代互联网技术快速发展的带动下,随着我国司法公开的进一步推广,以互联网为信息核心载体的裁判文书库为我国司法建设提供了大量的司法裁判文书资源。但随着司法裁判文书爆炸式的数量增长,在大型司法裁判文书库中快速、精准、有效的查询、获取自己需要的裁判文书变得越来越难。就现有几大裁判文书库而言,无论是法院系统提供的裁判文书网,还是由互联网公司自建的北大法宝、无讼案例等裁判文书库,虽然在一定程度上满足了人们获取司法裁判文书资源的需求,但在如何提高搜索的精确度,识别用户潜在的搜索意图,挖掘用户真正需要的信息等这几个方面,都没有提供很好的服务。因此,本文在对已有裁判文书库搜索模式研究的基础上,深入分析司法裁判文书的特点,研究裁判文书的数据收集以及关键词提取问题。本文主要内容为:在抓取文书、分析文书内容、挖掘文书信息、提取关键词等技术的基础上,对裁判文书查询系统的功能进行需求分析,设计了裁判文书查询系统的整体框架与组成模块,利用改进的TF-IDF算法实现裁判文书的关键词提取,并给出了系统的实现过程和测试数据结果。本文工作主要体现在以下两个方面:1、通过整合网络爬虫、文本分类、聚类及索引技术,设计了一种司法文书挖掘框架。该框架通过网络爬虫中的信息抓取、信息过滤与更新策略,能够获取网络中有效的裁判文书;2、在传统TF-IDF算法的基础上,结合裁判文书自身的特点,提出了考虑词权重的改进TF-IDF算法,提高了司法裁判文书特征提取、关键字提取的准确率。基于本文设计的司法裁判文书搜索系统,能够帮助用户更快捷、更准确的检索出自己需要的裁判文书,给予用户更好的搜索体验。

赵蓉蓉[8](2017)在《跨区域农业科技园区共享互联信息化系统研发》文中认为随着农业领域的供给侧改革深入进行,采用信息技术牵引农业发展已成为大势所趋。但近年来,农业信息化系统建设过程中的“信息孤岛”、冗余低效、重复建设等问题已日益制约农业信息化的发展。为解决这一农业信息化系统的发展瓶颈,加强不同发展地区农业的合作与交流,同时推动东部发达地区对革命老区、贫困山区的科技帮扶,2014年,经科技部井冈山扶贫团的牵线搭桥,江苏南京白马国家农业科技园区和江西井冈山八角楼国家农业科技园区建立了友好帮扶关系,并与东南大学联合申报了“南京白马-井冈山国家级农科园信息系统集成共享示范”国家星火计划项目(编号:2014GA690002),由东南大学项目团队全面负责研制跨区域农业科技园区共享互联信息化平台,实现南京白马和井冈山国家级农科园的资源整合、信息共享。本学位论文围绕国家星火计划项目“南京白马-井冈山国家级农科园信息系统集成共享示范”展开工作,在对国内外相关平台和技术发展趋势深入研究的基础上,提出信息共享互联的国家级农科园综合信息化服务管理系统架构和总体技术方案,系统包括基于物联网的农业生产环境参数实时监测子系统、生产过程在线展示子系统、基于B/S架构的园区科技信息共享服务子系统和数据库子系统。依据本信息化系统架构,研制完成示范应用于江苏南京白马国家农业科技园区和江西井冈山国家农业科技园八角楼园区的农业综合信息服务管理系统,实现国家级农业科技园区信息化系统、江苏省农村科技服务超市信息化系统、江苏省农村科技服务超市分店/便利店信息化系统之间信息互联互通、资源共享。本学位论文研制的跨区域农业科技园区共享互联信息化系统已于2016年4月正式上线运行,系统运行稳定、可靠,网站用户群不断扩大,不仅有效实现了园区信息化管理和园区之间信息互联互通,更通过互联网平台有效的推广了园区的特色产品、休闲旅游,对园区经济的发展产生了有益的促进作用。

段青玲,魏芳芳,张磊,肖晓琰[9](2016)在《基于Web数据的农业网络信息自动采集与分类系统》文中进行了进一步梳理为了快速、高效地获取农业Web信息,解决信息孤岛和信息不对称的问题,重点研究了农业Web数据自动采集与抽取、基于SVM(support vector machine)的文本分类、物联网异构数据采集等技术,并采用统一建模语言(unified modeling language,UML)描述了农业网络信息自动采集与分类系统。该系统实现了农业网站、物联网数据的自动抓取和共享,为用户提供农业资讯、农产品市场行情、供求信息在线查询,环境数据实时监测和个性化信息服务等功能。应用结果表明,该系统对样本集网站的信息抓取准确率为98.2%,资讯分类准确率为92.5%,具有数据采集实时性强、用户参与度好、通用性高等特点,该系统为农业信息整合和服务提供参考。

杨晓夫[10](2016)在《汽车票务Deep Web数据采集关键技术研究》文中研究说明互联网技术已广泛应用于民航、铁路以及道路旅客运输联网售票领域,尤其是互联网汽车票联网售票迎来飞速发展阶段。汽车票联网售票系统建设的前提是在互联网上获取该类主题数据。传统搜索引擎网络爬虫只能获取表层网页资源,无法访问存储在Web数据库中的Deep Web网络资源。针对上述问题,本文在深入分析汽车票务网Deep Web结构与特征的基础上设计了汽车票务Deep Web数据采集系统,研究并实现了数据抽采集统中的关键技术。提出了汽车票务网查询页面识别算法寻找汽车票查询页面;在此基础上对识别出的网页进行分类处理,获取纯净的含有汽车票务网查询接口的页面;详细介绍了数据采集原型系统的框架、系统工作流程以及核心功能模块。此外,本文对关键技术的研究做了大量实验论证。论文主要研究工作如下:(1)提出了汽车票务网查询页面识别算法。随着Web编程技术的发展,同类主题网页可以采用不同的Html标签展示出视觉特征相同的网页信息,导致在度量网页结构相似性时需要匹配Html标签名称信息的现有网页结构相似性算法无法准确度量该类主题网页。提出一种网页标签树邻接矩阵主题网页识别算法,通过构造网页标签树邻接矩阵,利用邻接矩阵的结构特征计算网页之间的结构相似度实现识别同类主题。实验结果表明,该算法最佳性能达到查全率100%、查准率96%,平均性能达到查全率97%、查准率89%。(2)采用决策树分类模型对汽车票务网查询页面识别算法获得的数据进行分类,并改进了算法中最佳决策属性的选择。由于识别算法获取的数据集合中可能含有其它主题接口,错误的查询接口不仅会影响数据采集系统的性能,还会造成大量存储资源和网络带宽资源的浪费。因此,需要对查询页面识别算法得到的数据集合进行分类处理。实际应用中训练数据的分布不能完全代表测试数据的分布,导致无法得到有效的分类模型。本文结合信息增益与本征向量法确定最佳决策属性的权重。实验结果表明,在保证相同精确度的前提下,随着测试数据数量的增加改进后的算法效率得到了明显的提升。(3)汽车票务Deep Web数据采集原型系统设计。详细阐述了原型系统的框架结构和系统工作流程,具体介绍了主题爬虫模块、查询接口分类模块、Deep Web数据抓取模块、Deep Web数据采集模块等核心功能模块。

二、ASP网站远程抓取文档的方法(论文开题报告)

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、ASP网站远程抓取文档的方法(论文提纲范文)

(1)基于模板匹配的移动端交互广告自动化测试平台的设计与实现(论文提纲范文)

致谢
摘要
ABSTRACT
1 引言
    1.1 论文背景和意义
    1.2 国内外发展现状
    1.3 论文的主要工作
    1.4 论文的组织结构
2 自动化测试平台相关理论及技术综述
    2.1 Selenium
    2.2 Web Components
    2.3 调度算法
    2.4 模板匹配
        2.4.1 Hu不变矩
        2.4.2 Hausdorff距离
    2.5 语义切割
    2.6 本章小结
3 自动化测试平台需求分析
    3.1 需求分析综述
        3.1.1 平台特点分析
    3.2 功能性需求分析
        3.2.1 用户特点分析
        3.2.2 测试任务触发功能
        3.2.3 配置更新功能
        3.2.4 样式渲染功能
        3.2.5 样式校验功能
        3.2.6 线上收入监控功能
    3.3 非功能性需求分析
    3.4 本章小结
4 自动化测试平台概要设计
    4.1 总体架构
    4.2 功能结构
    4.3 数据存储设计
        4.3.1 数据库存储信息
        4.3.2 本地数据缓存
        4.3.3 接口信息
    4.4 本章小结
5 自动化测试平台的详细设计与实现
    5.1 测试任务触发模块
        5.1.1 持续集成任务触发子模块
        5.1.2 回归任务触发子模块
    5.2 配置更新模块
        5.2.1 组件化配置更新子模块
        5.2.2 广告渲染配置更新子模块
        5.2.3 桩数据配置更新子模块
    5.3 样式渲染模块
        5.3.1 资源调度子模块
        5.3.2 样式抓取子模块
    5.4 样式校验模块
        5.4.1 预处理子模块
        5.4.2 模板匹配子模块
    5.5 线上收入监控模块
        5.5.1 收入监控子模块
        5.5.2 报警子模块
    5.6 本章小结
6 系统测试
    6.1 功能测试
    6.2 安全性测试
    6.3 性能测试
    6.4 本章小结
7 总结与展望
    7.1 本文总结
    7.2 工作展望
参考文献
作者简历及攻读硕士专业学位期间取得的研究成果
学位论文数据集

(2)采煤机科学数据共享服务系统(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 研究目的与意义
    1.2 国内外研究动态
        1.2.1 科学数据共享
        1.2.2 数据共享技术研究
        1.2.3 采煤机数据库共享与知识库系统
        1.2.4 存在的问题
    1.3 主要研究内容
    1.4 技术路线
第二章 采煤机科学数据共享服务系统总体架构设计
    2.1 引言
    2.2 采煤机科学数据资源
    2.3 系统需求分析
        2.3.1 功能需求分析
        2.3.2 非功能性需求分析
    2.4 系统体系架构与功能设计
        2.4.1 设计原则
        2.4.2 体系架构
        2.4.3 功能设计
    2.5 系统实现关键技术
        2.5.1 ASP.NET
        2.5.2 Ajax技术
        2.5.3 Web Service技术
    2.6 系统开发环境
        2.6.1 系统架构
        2.6.2 系统硬件开发环境
        2.6.3 系统软件开发环境
    2.7 系统可行性分析
    2.8 小结
第三章 采煤机科学数据共享服务系统模块集成
    3.1 引言
    3.2 专题数据服务子系统
        3.2.1 采煤机专题数据资源
        3.2.2 功能结构设计
        3.2.3 数据库设计
    3.3 应用服务子系统
        3.3.1 概念设计功能
        3.3.2 CAD参数化建模功能
        3.3.3 CAE参数化分析功能
    3.4 下载中心子系统
        3.4.1 功能设计
        3.4.2 功能实现
    3.5 用户管理子系统
        3.5.1 用户权限分析
        3.5.2 用户管理功能实现
    3.6 系统帮助子系统
        3.6.1 联系我们
        3.6.2 问题反馈
    3.7 小结
第四章 采煤机设计数据汇交服务子系统
    4.1 引言
    4.2 汇交子系统需求分析
        4.2.1 采煤机设计数据特征
        4.2.2 采煤机设计数据汇交面临的问题
    4.3 汇交体系
        4.3.1 汇交体系结构
        4.3.2 汇交技术流程
        4.3.3 汇交工作流程
    4.4 功能设计
        4.4.1 汇交注册
        4.4.2 数据汇交
        4.4.3 汇交审核
        4.4.4 数据管理
    4.5 功能实现技术研究
        4.5.1 元数据汇交
        4.5.2 数据传输
        4.5.3 专家审核
    4.6 数据库设计
    4.7 小结
第五章 系统测试与应用
    5.1 引言
    5.2 系统集成
    5.3 系统测试
        5.3.1 测试目的与原则
        5.3.2 测试内容
        5.3.3 测试方法与步骤
        5.3.4 测试结果
    5.4 应用实例
        5.4.1 专题数据服务子系统
        5.4.2 应用服务子系统
        5.4.3 汇交服务子系统
        5.4.4 下载中心子系统
        5.4.5 用户管理子系统
        5.4.6 系统帮助子系统
    5.5 小结
第六章 结论与展望
    6.1 主要结论
    6.2 下一步工作展望
参考文献
攻读学位期间取得的科研成果
致谢

(3)基于插件的Web应用漏洞扫描系统设计与实现(论文提纲范文)

中英文缩略词表
摘要
Abstract
第一章 绪论
    1.1 研究背景
    1.2 国内外研究现状
    1.3 论文研究内容及意义
    1.4 论文组织结构
第二章 Web应用漏洞检测技术综述
    2.1 Web应用漏洞
    2.2 Web应用漏洞检测
        2.2.1 静态检测技术
        2.2.2 动态检测技术
    2.3 Web应用漏洞扫描技术
        2.3.1 Web应用信息采集
        2.3.2 Payload生成与响应分析
    2.4 本章小结
第三章 Web应用漏洞扫描系统设计与实现
    3.1 系统需求分析
        3.1.1 需求概述
        3.1.2 功能需求
        3.1.3 性能需求
    3.2 系统整体设计
    3.3 Web应用爬虫模块设计与实现
        3.3.1 Web应用爬虫
        3.3.2 动态爬虫
    3.4 Web应用指纹识别模块设计与实现
    3.5 Web应用漏洞检测模块设计与实现
        3.5.1 直接检测
        3.5.2 间接检测
    3.6 本章小结
第四章 系统测试与结果分析
    4.1 测试概述
    4.2 功能测试
    4.3 性能测试
    4.4 结果分析
    4.5 本章小结
第五章 总结与展望
    5.1 总结
    5.2 展望
致谢
参考文献
作者简介

(4)基于云计算的网络公开课平台设计与应用(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
    1.2 研究目的及意义
        1.2.1 研究目的
        1.2.2 研究意义
    1.3 网络公开课与开放式教学资源
    1.4 研究内容及计划
第二章 平台开发工具及技术
    2.1 云计算基础
        2.1.1 云计算的概念及特点
        2.1.2 云计算的优点
    2.2 国内外研究进展
        2.2.1 国外研究进展
        2.2.2 国内研究进展
    2.3 云计算架构理论
        2.3.1 设施即服务层
        2.3.2 平台即服务层
        2.3.3 软件即服务
    2.4 Web开发理论
        2.4.1 MVC架构模式
        2.4.2 Ruby On Rails技术
        2.4.3 表述性状态转移(REST)架构风格
    2.5 开发工具及版本控制系统
    2.6 本章小结
第三章 平台总体设计
    3.1 平台总体目标
    3.2 总体设计思路
        3.2.1 技术先进性
        3.2.2 结构化和模块化
        3.2.3 高可靠性
    3.3 总体结构设计
        3.3.1 基础设施层
        3.3.2 平台服务层
        3.3.3 应用服务层
        3.3.4 客户端
    3.4 技术构架及逻辑拓朴结构设计
    3.5 关键功能设计
        3.5.1 用户登录功能设计
        3.5.2 课程管理功能设计
        3.5.3 系统节点管理
    3.6 本章小结
第四章 平台核心模块的设计与实现
    4.1 用户身份管理
        4.1.1 概述
        4.1.2 用户身份管理接口
        4.1.3 身份认证流程
        4.1.4 统一名字空间
        4.1.5 操作系统集成
        4.1.6 用户信息同步与同构云间互联
    4.2 电子书包详细设计及实现
        4.2.1 概述
        4.2.2 总体架构与功能
        4.2.3 服务器端的设计与实现
        4.2.4 客户端的设计与实现
    4.3 作业管理模块的设计与实现
    4.4 本章小结
第五章 平台测试及结果分析
    5.1 测试目标及方案
    5.2 界面操作测试
    5.3 登录管理测试
        5.3.1 设计目标评审
        5.3.2 性能测试
    5.4 电子书包功能测试
        5.4.1 兼容性测试
        5.4.2 易用性测试
        5.4.3 性能测试
    5.5 其他功能测试
        5.5.1 测试设备
        5.5.2 测试内容及结果
第六章 总结与展望
    6.1 论文总结
    6.2 研究展望
参考文献
致谢
攻读学位期间发表的学术论文

(5)基于物联网的多元可视化色选设备服务平台研究(论文提纲范文)

致谢
摘要
abstract
第一章 绪论
    1.1 课题研究背景
    1.2 研究目的与意义
    1.3 国内外研究现状分析
        1.3.1 国外色选机研究现状
        1.3.2 国内色选机研究现状
    1.4 论文研究工作安排
        1.4.1 课题来源
        1.4.2 课题研究内容
        1.4.3 论文结构安排
第二章 系统总体研究
    2.1 系统设计原则
    2.2 系统需求分析
    2.3 系统UML建模
        2.3.1 UML概述
        2.3.2 用例图
        2.3.3 类图
    2.4 系统整体架构设计
        2.4.1 系统硬件架构设计
        2.4.2 系统软件架构设计
    2.5 系统数据库设计
        2.5.1 数据库E-R图
        2.5.2 数据分类
        2.5.3 数据库表格
    2.6 本章小结
第三章 系统详细设计与关键技术
    3.1 设备终端设计
        3.1.1 物料分类算法
        3.1.2 Modbus ASCII模式实现
        3.1.3 上位机软件流程及功能分析
        3.1.4 上位机软件设计
        3.1.5 部分模块功能实现
    3.2 服务器端设计
        3.2.1 通信模型设计
        3.2.2 网络通信协议
        3.2.3 通信规约设计
        3.2.4 高性能服务端通信层的关键问题
        3.2.5 通信指令设计
    3.3 客户端设计
        3.3.1 ASP.NET MVC的应用
        3.3.2 XML文件的运用
        3.3.3 Web API与 Web Workers接口
        3.3.4 Dojo前端框架
        3.3.5 WebGIS可视化设计
    3.4 本章小结
第四章 系统功能模块设计与实现
    4.1 系统通信管理软件
    4.2 实时监控模块
    4.3 参数修改与设备调试模块
    4.4 设备档案模块
    4.5 告警设置与运维管理模块
    4.6 用户信息管理模块
    4.7 本章小结
第五章 系统测试与应用
    5.1 分选算法效果测试
        5.1.1 评价指标
        5.1.2 形选分类效果
        5.1.3 色选分类效果
    5.2 服务平台性能测试
        5.2.1 下位机通信测试
        5.2.2 高并发通信响应测试
        5.2.3 动态可视化数据加载时间测试
    5.3 平台部署及应用成果分析
        5.3.1 系统平台部署
        5.3.2 系统运行成本分析
    5.4 本章小结
第六章 总结与展望
    6.1 工作总结
    6.2 研究展望
参考文献
附录
攻读硕士学位期间的学术活动及成果情况

(6)基于云平台的网页篡改监测系统的设计与研究(论文提纲范文)

摘要
Abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 研究现状
    1.3 论文主要内容及结构
第2章 相关技术
    2.1 网页表示
    2.2 网页解析工具
    2.3 哈希函数
    2.4 基本爬虫策略
    2.5 Web框架
    2.6 云计算平台
    2.7 本章小结
第3章 网页篡改监测系统的架构设计
    3.1 需求分析
    3.2 设计要点
    3.3 总体架构设计
    3.4 关键模块功能分析
        3.4.1 交互式Web前端功能分析
        3.4.2 分布式处理后端功能分析
    3.5 本章小结
第4章 基于云平台的网页篡改监测系统的模块设计
    4.1 基于网络爬虫的数据采集模块设计
        4.1.1 数据采集模块功能分析
        4.1.2 基于宽度优先策略的网页抓取模块设计
        4.1.3 基于URL去重的子链提取模块设计
    4.2 基于XPath工具的网页解析模块设计
        4.2.1 网页解析模块要点分析
        4.2.2 基于XPath的网页解析过程设计
    4.3 基于哈希算法的网页多元素监测算法设计
        4.3.1 基于字符串的页面型元素监测模型设计
        4.3.2 媒体型元素监测模型设计
    4.4 Web管理界面设计
    4.5 存储结构设计
    4.6 本章小结
第5章 系统测试与分析
    5.1 系统测试环境
    5.2 系统测试方案
        5.2.1 测试数据准备
        5.2.2 系统功能测试
        5.2.3 系统性能测试
    5.3 系统测试结果分析
        5.3.1 功能测试结果分析
        5.3.2 性能测试结果分析
    5.4 本章小结
第6章 结论与展望
参考文献
攻读硕士学位期间发布的学术论文
致谢
大摘要

(7)基于改进的TF-IDF算法在司法裁判文书搜索中的应用(论文提纲范文)

摘要
Abstract
1 绪论
    1.1 研究背景
    1.2 国内外研究现状
        1.2.1 互联网爬虫技术分析
        1.2.2 文本挖掘技术研究
        1.2.3 相似性研究
    1.3 论文的组织结构
2 相关理论与技术基础
    2.1 网络爬虫技术
        2.1.1 通用网络爬虫
        2.1.2 主题网络爬虫
        2.1.3 主题爬虫与通用爬虫区别
    2.2 文本预处理技术
        2.2.1 中文分词技术
        2.2.2 去除停用词
    2.3 文本特征提取算法
        2.3.1 文本特征表示模型
        2.3.2 文本特征选择算法
    2.4 信息检索技术
        2.4.1 信息检索
        2.4.2 信息检索分类
    2.5 用户兴趣建模理论
        2.5.1 用户兴趣数据
        2.5.2 用户兴趣度量
        2.5.3 用户兴趣模式的表示
    2.6 数据库技术与ASP.NET技术
        2.6.1 SQL Server 2008数据库
        2.6.2 ASP.NET技术
3 基于改进TF-IDF算法的裁判文书检索系统需求分析
    3.1 系统需求分析
    3.2 系统的可行性分析
        3.2.1 需求可行性分析
        3.2.2 技术可行性分析
    3.3 功能需求分析
        3.3.1 用户功能用例分析
        3.3.2 子系统功能用例分析
4 基于改进的TF-IDF算法裁判文书检索系统设计
    4.1 设计目标
    4.2 系统总体结构
        4.2.1 系统的结构模型
        4.2.2 系统的网络部署
    4.3 系统总体结构
    4.4 系统各功能模块
        4.4.1 信息采集模块
        4.4.2 特征提取模块
        4.4.3 文书查询模块
        4.4.4 用户偏好分析模块
        4.4.5 系统管理模块
    4.5 数据存储设计
        4.5.1 数据库概要设计
        4.5.2 数据库表设计
5 基于改进的TF-IDF算法裁判文书检索系统实现
    5.1 文书采集系统的实现
    5.2 文书特征提取的实现
        5.2.1 裁判文书系统中TF-IDF算法的改进
        5.2.2 法律专用术语词库的建立
        5.2.3 分词与词性标注的实现
        5.2.4 文书关键词提取的实现
    5.3 裁判文书查询系统的实现
    5.4 用户偏好系统的实现
    5.5 系统管理模块的实现
6 文书关键词提取实验结果与性能评价
    6.1 实验结果分析
    6.2 性能评价分析
7 总结与展望
    7.1 总结
    7.2 展望
附录
致谢
参考文献

(8)跨区域农业科技园区共享互联信息化系统研发(论文提纲范文)

摘要
Abstract
第1章 绪论
    1.1 课题的来源与意义
    1.2 主要研究内容
    1.3 论文组织结构
第2章 跨区域农业科技园区共享互联信息化系统总体方案设计
    2.1 系统设计目标
    2.2 系统总体架构
        2.2.1 系统功能介绍
        2.2.2 系统总体架构
    2.3 技术方案选择
        2.3.1 实时监测系统方案
        2.3.2 在线展示系统方案
        2.3.3 动态展示技术方案
        2.3.4 数据共享技术方案
    2.4 本章小结
第3章 系统数据库设计
    3.1 系统数据架构设计
    3.2 实时监测及在线展示数据库设计
        3.2.1 E-R图
        3.2.2 数据表设计
    3.3 园区数据库设计
        3.3.1 E-R图设计
        3.3.2 数据表设计
    3.4 专家诊断数据库设计
        3.4.1 E-R图设计
        3.4.2 数据表设计
    3.5 成果采集数据库设计
        3.5.1 E-R图设计
        3.5.2 数据表设计
    3.6 便民新闻数据库设计
        3.6.1 E-R图
        3.6.2 数据表设计
    3.7 本章小结
第4章 实时监测及在线展示子系统
    4.1 实时监测子系统架构
    4.2 实时监测子系统关键技术
        4.2.1 远程数据无线通信技术
        4.2.2 网络地图搜索技术
    4.3 环境监测嵌入式系统设计
    4.4 实时监测数据中心设计
        4.4.1 远程监测服务器设计
        4.4.2 Web服务器程序设计
    4.5 实时监测客户端功能设计
        4.5.1 数据图表展示
        4.5.2 地点标识功能
    4.6 在线展示子系统架构
    4.7 在线展示客户端功能设计
    4.8 本章小结
第5章 信息共享服务子系统
    5.1 系统架构设计
    5.2 重要技术方案
        5.2.1 对象模型建立
        5.2.2 浏览器与服务器交互过程
        5.2.3 ADO.NET数据访问技术
        5.2.4 JavaScript框架
    5.3 园区展示及管理模块设计
        5.3.1 园区展示及管理模块功能设计
        5.3.2 用户管理功能实现
        5.3.3 信息发布功能实现
    5.4 红色旅游模块设计
        5.4.1 场景图像采集
        5.4.2 全景图像合成
        5.4.3 红色旅游全景游览实现
    5.5 成果采集模块设计
        5.5.1 成果采集模块架构
        5.5.2 成果采集模块功能设计
        5.5.3 用户角色与登录设计
        5.5.4 成果录入与管理设计
    5.6 便民新闻模块设计
        5.6.1 便民新闻模块架构
        5.6.2 新闻资讯统一标准设计
        5.6.3 新闻采集服务器设计
        5.6.4 新闻录入功能设计
        5.6.5 数据访问接口设计
    5.7 专家服务模块设计
        5.7.1 专家诊断模块架构
        5.7.2 微信诊断功能实现
        5.7.3 邮件诊断功能实现
        5.7.4 短信诊断功能实现
        5.7.5 在线诊断功能实现
    5.8 本章小结
第6章 系统测试与运行
    6.1 系统集成
    6.2 数据库操作测试
    6.3 实时监测及在线展示子系统测试
        6.3.1 实时监测子系统测试
        6.3.2 在线展示子系统测试
    6.4 信息共享服务子系统测试
        6.4.1 园区展示及管理模块测试
        6.4.2 红色旅游模块测试
        6.4.3 成果采集模块测试
        6.4.4 便民新闻模块测试
        6.4.5 专家诊断模块测试
    6.5 网络压力测试
    6.6 本章小结
结束语
致谢
研究生阶段研究成果及发表学术论文情况
参考文献

(9)基于Web数据的农业网络信息自动采集与分类系统(论文提纲范文)

0 引言
1 系统需求分析
    1.1 研究对象
    1.2 系统需求
        1.2.1 功能需求
        1.2.2 用户需求
2 系统设计
    2.1 系统总体设计
    2.2 关键技术研究
        2.2.1 农业网站数据采集
        2.2.2 基于SVM的农业文本分类
        2.2.3 基于物联网的异构数据采集
3 核心功能实现与测试
    3.1 农业网站信息采集
    3.2 基于SVM的农业信息分类
    3.3 基于物联网的信息采集
4 结论

(10)汽车票务Deep Web数据采集关键技术研究(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 选题背景及意义
    1.2 国内外研究现状
        1.2.1 网页结构相似性度量
        1.2.2 Deep Web查询接口分类
        1.2.3 Deep Web数据集成
    1.3 本文研究内容与组织结构
        1.3.1 研究内容
        1.3.2 组织结构
第二章 网页预处理与数据采集系统概述
    2.1 JAVA分析工具及网页预处理
        2.1.1 JAVA分析工具
        2.1.2 网页噪声预处理
    2.2 Deep Web数据采集系统基础概述
        2.2.1 Web技术概述
        2.2.2 超文本传输协议HTTP简介
        2.2.3 Deep Web
        2.2.4 Web网页启发式抽取规则
    2.3 本章小结
第三章 汽车票务网查询页面识别算法研究
    3.1 网页结构相似性度量
        3.1.1 树编辑距离算法
        3.1.2 简单树匹配算法
        3.1.3 树路径匹配算法
    3.2 网页结构标签树及邻接矩阵
        3.2.1 网页结构标签树
        3.2.2 生成标签树邻接矩阵
    3.3 汽车票务网查询页面识别算法
        3.3.1 候选目标数据区域特征提取及定位
        3.3.2 邻接矩阵结构相似性算法
    3.4 实验与分析
    3.5 本章小结
第四章 Deep Web网页查询接口分类算法研究
    4.1 决策树分类模型
        4.1.1 监督学习基本概念
        4.1.2 决策树归纳学习算法
        4.1.3 混杂度函数
    4.2 汽车票务查询接口决策树分类模型研究
        4.2.1 查询接口决策属性归纳
        4.2.2 查询接口分类训练数据预处理
        4.2.3 查询接口决策树分类模型
        4.2.4 查询接口决策树分类模型改进
    4.3 实验与分析
    4.4 本章小结
第五章 汽车票务Deep Web数据采集原型系统设计
    5.1 系统介绍
    5.2 系统总体设计
        5.2.1 系统框架
        5.2.2 系统功能模块
    5.3 系统核心模块设计
        5.3.1 主题爬虫模块
        5.3.2 查询接口分类模块
        5.3.3 Deep Web数据抓取模块
        5.3.4 Deep Web数据抽取模块
    5.4 本章小结
第六章 总结与展望
    6.1 论文总结
    6.2 展望
致谢
参考文献
攻读硕士学位期间取得的研究成果

四、ASP网站远程抓取文档的方法(论文参考文献)

  • [1]基于模板匹配的移动端交互广告自动化测试平台的设计与实现[D]. 徐质彬. 北京交通大学, 2020(03)
  • [2]采煤机科学数据共享服务系统[D]. 陈思红. 太原理工大学, 2020
  • [3]基于插件的Web应用漏洞扫描系统设计与实现[D]. 王亚东. 东南大学, 2019(10)
  • [4]基于云计算的网络公开课平台设计与应用[D]. 张丽君. 上海交通大学, 2019(06)
  • [5]基于物联网的多元可视化色选设备服务平台研究[D]. 苏芳. 合肥工业大学, 2019(01)
  • [6]基于云平台的网页篡改监测系统的设计与研究[D]. 颜于凤. 江苏科技大学, 2019(03)
  • [7]基于改进的TF-IDF算法在司法裁判文书搜索中的应用[D]. 丁扬. 南京理工大学, 2017(06)
  • [8]跨区域农业科技园区共享互联信息化系统研发[D]. 赵蓉蓉. 东南大学, 2017(04)
  • [9]基于Web数据的农业网络信息自动采集与分类系统[J]. 段青玲,魏芳芳,张磊,肖晓琰. 农业工程学报, 2016(12)
  • [10]汽车票务Deep Web数据采集关键技术研究[D]. 杨晓夫. 重庆交通大学, 2016(04)

标签:;  ;  ;  ;  ;  

ASP网站远程抓取文件的方法
下载Doc文档

猜你喜欢