网站数据收集与处理系统设计

网站数据收集与处理系统设计(任务书,开题报告,外文翻译,论文15000字)
摘  要
现今的网络上蕴藏着海量的信息。可以说，用户所需要的信息基本上都可以在网络上查找到。但是，网络上的信息量是如此的庞大。怎样快速准确的找到用户所要的信息，这个问题一直困扰着我们。这个课题有助于对这个问题提供一些解决的办法。
我对这个课题进行了分析，将这个课题分成了两个部分。首先就是从网页上收集到所需要的数据，并且将这些数据存储到本地的数据库中，第二部分就是将这些信息从数据库中取出来，让用户能使用和处理这些信息。确定了这两部分的方向后，我用Java语言分别对这两部分进行了代码的编写。
经过我不懈的努力，终于实现了对某新闻网站的网页分析并且将网站新闻标题、新闻时间和网页对应链接存储到本地的数据库表中。通过我编写的JSP网页界面，对这些数据进行关键字查询和删除。用户只需在搜索框中输入相应的关键字，程序就能将数据库中的信息显示到JSP网页上并且点击相应的链接就能跳转到相应的原网页上。同时，用户还可以在信息ID前面的框中打勾来选中这条信息，点击删除按钮来删除该条信息。
关键词：数据收集  Java  数据库查询  JSP
Website Data Collect and Manage System Design
Abstract
Nowadays, there is a lot of information on the internet. On the internet, users can find almost everything which you want to find. But the information on the internet is too many that how to find information quickly and exactly is still a problem now. Studying this title can provide some help to solve the problem.
Firstly, I analyze the title and split the title into two parts. One part is to collect the information from the internet and put the information into the database. Another part is to get the information from the database and put the information to the JSP website and make sure that user can use this information. After I know how to do, I use Java language to write some codes and realize the functions.
After my hard work, I finally achieve to analyze a news website and get the news titles, news time and the urls of the website. Then I put the information into the database. Furthermore, you can do search and delete the information which already in the database on my JSP website. The users only should to input the key word into the search blank and click the search button. The information about the news may print on the JSP website and you also can click the link to view the linked website. Also you can select the information which you want to delete and click the delete button to delete them.
Key Words: Data Collection;Java;Database Search;JSP
 

目  录
摘  要    I
ABSTRACT    II
第一章 绪论    1
1.1 研究背景和意义    1
1.2 国内外研究现状    2
1.3 本论文的结构安排    2
第二章 相关技术介绍    4
2.1 Java线程    4
2.2 HTMLParser简介    4
2.3 JDBC技术    5
2.4 MVC框架    6
第三章 系统需求分析和模块设计    7
3.1 系统需求分析    7
3.2系统体系结构    7
3.3 网站信息收集模块    8
3.3.1 网站信息收集模块的设计    8
3.3.2 网站信息收集模块的工作过程    10
3.4 信息处理显示模块    11
3.4.1 信息处理显示模块的设计    11
3.4.2 信息处理显示模块的工作过程    12
3.5 数据库的设计    13
第四章 系统具体实现    15
4.1 开发环境介绍与搭建    15
4.2 网站信息收集模块    15
4.2.1 URL的获取    15
4.2.2 URL的存储和调用    17
4.2.3 网页解析    19
4.2.4 解析得到的信息存入数据库    20
4.3 信息处理显示模块    21
4.3.1 DAO层    21
4.3.2 Service层    22
4.3.3 Servlet层    23
4.3.4 Web.xml的配置    25
4.3.5 JSP编写    25
第五章 系统测试    28
5.1 系统测试的意义与目标    28
5.2 本设计的系统测试过程    28
第六章 总结与展望    31
参考文献    32
致  谢    33