基于主题模式的新闻热点研究

  2.1 数据采集

  数据是算法的基础，而算法是来自数据的积累，通过对数据的处理来获取数据背后隐含的信息，数据的质量选择、数据的数量选择对算法有着显著的影响。目前数据的采集有 5 种获取方式，第一是公开的数据库，通过网上公开的数据集获取数据，这种获取方式非常简单，而且数据质量高。第二种是数据交易平台，在数据交易平台上购买数据也是一种不错的数据获取方式，数据质量高，但是未必能够找到想要的数据。第三种是网络采集器，通过网上公开软件实现简单快捷地采集网络上的分散的内容，不需要技术成本。第四种是网络爬虫，爬虫自由度高，可以获取想要的数据，并且可以根据数据特征分类存储。第五种是网络指数，网络指数查询平台是以数据为基础的数据分享平台，可以查看某个主题在各个时间段根据指数变化的情况，从而进行数据分析。 新闻语料构建时需要尽可能的涵盖网络中各个新闻事件，因此，本文实验所用数据是通过网络爬虫获取，在数据源获取时选择了新浪新闻的国内新闻从 2019 年 6 月到 2019 年 9 月所有的新闻数据。Web 爬虫框架选用基于 python 的 Scrapy 框架实现，爬取的数据有新闻的发布时间、新闻的 URL、新闻评论数、新闻参与人数(评论的点赞数)、新闻标题及新闻正文。Scrapy 框架的具体架构如图 2-1 所示。 Scrapy 框架爬虫的核心是 Scrapy  Engine，通过 Scrapy  Engine 处理整个系统的数据流；Scheduler 为调度器，接受引擎发过来的请求，并将其加入请求队列中，在引擎再次请求时将请求提供给引擎；Spider 是爬虫实体，定义了爬取逻辑和网页内容解析规则；Downloader 为下载器，将下载的网页内容返回给 spider；Item Pipeline 为项目管道，负责处理 spider 从网页中抽取的数据，主要是负责清洗，验证和向数据库中存储数据。 在新闻爬取任务中，对于新浪新闻实现了新闻爬取的 spider 模块，spider 爬取了新浪新闻主页网页下所有二级地址，并将二级地址下新闻实体存到 Mongo DB 数据库中，具体步骤如下所示:1)选择新浪新闻主页的 URL 为爬取初始页面 URL；2)  判断爬当前取到的 URL 是否爬取过，如果同时未被爬取，即可将该 URL 加入到爬取的队列中，否则跳过； 3)  依次访问未爬取队列中的 URL，获取相应页面的网页内容； 4)  将访问过的 URL 放入已经爬取的队列中； 5)  解析爬取的网页，分析网页 DOM 结构，查找实验所需内容，并将内容按需存入到数据库中，随后将下一页链接放入未爬取队列中； 6) 重复上述步骤，直到数据爬取完为止； 

  2.2 文本数据处理 .

  本论文实验室数据是从新浪新闻爬取的 2019 年 6 月到 9 月的新闻数据，爬取到的新闻文本并不能直接拿来分析，还需要进行数据清理、分词、去停用词等步骤，将一些影响文本分析结果的因素去除，使得文本数据变成文本建模过程中可使用的格式，预处理的结果也将直接的影响后续模型的结果。 文本包含词、句子、段落等要素，这些要素作为文本特征随级别的增加，表达的语义就越清晰，附带信息也越丰富，但是特征组合的数目就越大，而词是文本中具有意义最小的单元，因此一般将词作为特征进行分析。英文文本中每个词都由空格作为分隔符隔开，分词较为简单，而中文文本没有词的界限，并且中文文本用词灵活自由时常产生新词，这使得中文分词变得较为复杂和困难。目前，认为效果较好且经常使用的中文分词算法有以下三种。 第一种分词方法是利用字符串匹配实现，称为词典分词算法，该算法根据特定的策略将字符串与足够大的机器字典中的单词进行匹配。若找到这个词条，这说明匹配成功，则识别了该词，这种方法对机器字典要求极高。 第二种分词方法基于理解实现的，通过让计算机学会人对句子的理解的过程，达到识别的效果。其基本思想是在分词时进行句法、语义分析，模拟人对句子的理解过程需要建立大量的语言知识信息，即需要构建大量句法关系，由于中文语义具有复杂性，难以将各种信息组织成计算机可以直接读取，因此，这种分词方法还不够成熟。 第三种的分词方法基于统计实现的，利用统计机器学习的模型对分词的规则进行学习，从而实现对未知文本的切分，随着大规模语料的建立，基于统计分词方法也逐渐成为了主流。在实际应用中，基于统计的分词方法需要用到分词词典来进行字符串匹配，即与字符串匹配分词方法结合使用，具有快速高效的匹配分词特点，也具有无词典分词结合上下文识别分词的优势 。