电子商务信息跨平台检索与智能推荐技术研究

  ２．１网络爬虫技术

  互联网上的海量网页信息分散存储在不同的服务器中，网络爬虫通过ＵＲＬ访问，将这些页面下载下来，并离线保存在本地网页数据库中，用于进一步的整理、分析、检索和挖掘。通用网络爬虫对初始ＵＲＬ进行解析，根据特定的爬行策略提取并下载网页中所包含的ＵＲＬ。上述过程会不断循环进行，当达到了爬取结束的特定条件会停止。通用网络爬虫的流程图如图２．１所示。在网络爬虫中，通常会利用特定的搜索策略来确定在ＵＲＬ队列中下一个被解析的ＵＲＬ，以此来提高爬取效率。目前通用网络爬虫中使用较多的搜索策略主要包括以下两种：深度优先搜索策略使用栈结构存储网页链接，利用递归的思想来进行ＵＲＬ的解析。该策略通过网页的深度依次访问下一层页面，下载完当前页面的所有ＵＲＬ后，返回上一层页面，沿着其他未爬取网页链接的重复上述操作，．直到网页中所有的ＵＲＬ链接都爬取完成。这种搜索策略相对容易实现，但是当搜索深度过大时，会对网络爬虫的效率产生影响，并且在网络爬虫过程中极易产生“迷路”现象。网络爬虫研宄的初期较多采用深度优先搜索策略，目前只有简单的爬虫才会采用这种搜索策略。广度优先搜索策略也称宽度优先搜索策略，主要通过队列结构来存储网页链接，在队列中使用“先进先出”的原则来决定队列中ＵＲＬ的解析顺序。其主要思想是按照网页的层次结构依次解析并下载网页。这种搜索策略很好地解决了深度优先搜索策略遇到的搜索层次过深的问题，并支持多线程的实现，使得爬虫的爬取效率和速度都有很大提高，是目前通用网络爬虫普遍采用的搜索策略。在信息爆炸的时代，一般的搜索引擎己经满足不了人们的需要，能获得某个特定领域更加全面信息的跨平台搜索引擎越来越受到关注。在跨平台搜索引擎的构建过程中，由于通用网络爬虫已经不能满足技术要求，因此而需要借助主题网络爬虫来完成跨平台搜索引擎中网页的获取任务。主题网络爬虫在通用网络爬虫的基础上加入了对网页内容与主题的相关性计算过程，即在网页下载之前，只选择与主题相关度相关度评分高的页面下载。主题网络爬虫是从一个或多个与主题相关的初始ＵＲＬ开始进行，获取其中的页面信息，并将与主题相关的页面内容保存在主题网页队列中，再从当前网页中以特定的搜索策略解析出新的ＵＲＬ，并计算页面内容与主题的相关度，将相关度高的ＵＲＬ插入主题ＵＲＬ队列中。主题网络爬虫在通用网络爬虫的基础上，加入了对当前页面的解析、当前网页与主题的相关度计算过程以及对网页链接的排序。主题网络爬虫只保留主题相关度高于既定阈值的网页，排除与主题无关或者主题相关度低的网页，所以不会对互联网中的所有网页进行搜索，因此在一定程度上提高了爬虫的效率。基于网页内容的主题搜索策略的主要思想是：抓取页面中的文本内容和锚文本等信息并与定义好的主题进行相似度计算，保留相似度高的页面。此类算法的效果明显并且扩展性很高，但是也极易产生“局部最优问题”和“隧道问题”。代表性算法有：Ｆｉｓｈ－Ｓｅａｒｃｈ算法和Ｓｈａｒｋ－Ｓｅａｒｃｈ算法等。基于链接的主题搜索策略的主要思想是：根据网页之间的链接关系来计算每个网页的被引用程度，此类算法认为一个网页如果被多个其它网页链接到，则说明这个网页比较重要。此类算法虽然在主题网页搜索过程中有效地降低了主题相关度计算的计算量和查询响应时间，但是由于在计算过程中没有考虑到主题信息，所以极易产生“主题漂移问题”，导致爬取到大量与主题不相关的网页。代表性算法有：ＰａｇｅＲａｎｋ算法和Ｈｉｔｓ算法。

  ２．２词向量技术

  因为计算机只能处理数值型变量，所以在进行自然语言处理过程屮需要通过词向量技术将文字转化成数值型变量的形式。目前比较常见的词向量技术可以大致分为两类，分别是传统的词向量模型和词嵌入表达模型。其中，传统的词向量模型主要有Ｏｎｅ－Ｈｏｔ模型和共现矩阵模型等；词嵌入表达模型主要有Ｗｏｒｄ２Ｖｅｃｔｏｒ模型和Ｇｌｏｖｅ模型等。Ｏｎｅ－Ｈｏｔ模型是最简单的词向量表示模型，采用Ｎ维的词向量来对Ｎ个语义进行编码，每个语义之间是相互独立的，Ｎ维向量中只有一位有效，也就是只有一位的值是１，其他维度的值都是０。例如：在利用Ｏｎｅ－Ｈｏｔ模型来表示的词汇表中，如果“男人”在词汇表的是第５３９１位，那么就可以表示成一个只在第５３９１维处为１，其他维为０的向量。如果“女人”是编号９８５３，那么这个向量只在９８５３维处为１，其他维为０。Ｏｎｅ－Ｈｏｔ模型存在两个明显的问题：Ｏｎｅ－Ｈｏｔ向量的维度和词汇表中单词的数量是相等的，当词汇表很大时，就会造成维度灾难；Ｏｎｅ－Ｈｏｔ模型的编码方式忽略了词汇之间的语义联系，将每个单词都孤立了。针对Ｏｎｅ－Ｈｏｔ模型忽略了词汇之间语义联系的缺点，Ｈａｒｒｉｓ提出了词汇分布假说：上下文相似的词，其语义也相似。共现矩阵模型就是用来表示词语之间语义相似性的。构建词语的共现矩阵需要确定两个要素：共现窗口和共现频率，也就是在指定的范围内统计一个词语和除这个词语以外的所有词语共同出现的次数。使用共现矩阵作为词向量虽然可以解决Ｏｎｅ－Ｈｏｔ模型忽略了词汇之间语义联系的问题，但是共现矩阵的词向量维度仍然和词汇表的大小相等，当词汇表较大时，同样会出现维度灾难问题。针对传统的词向量表达方式极易造成维度灾难和语义相关性问题，Ｈｉｎｔ〇ｎ提出了分布式词表达的概念，分布式词表达将每一个单词都映射成一个固定维度的词向量，所有的单词对应的词向量构成一个向量空间。通过计算词向量之间“距离”可以得到单词之间的语义相关性。Ｗ〇ｒｄ２Ｖｅｃｔｏｒ模型和．Ｇｌｏｖｅ模型生成的词嵌入表达就是分布式词表达的词向量。Ｗｏｒｄ２Ｖｅｃｔｏｒ包括跳字（Ｓｋｉｐ－Ｇｒａｍ）模型和连续词袋（ＣＢＯＷ）模型。Ｓｋｉｐ－Ｇｒａｍ模型利用文本序列中的中心词预测上下文信息。模型架构如图２．３所示：循环神经网络（Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＲＮＮ）提出于上世纪９０年代，主要用于提取序列特征，主要应用于自然语言处理和语音识别领域。ＲＮＮ对模型的每一个输入都调用同一处理单元，使得ＲＮＮ模型的每一次的输入都与前一次的计算和结果密切相关。依次将序列输入到循环单元中处理后，会生成该序列的固定维度的特征向量。ＲＮＮ模型能够捕获到文本序列中当前输出与之前文本的相关信息，对于短距离依赖关系能够得到很好的效果，但是对于长距离依赖关系得到的效果较差，因为模型在训练过程中，距离当前节点较远的节点对当前节点隐含层的影响力会变小，造成长距离依赖问题，同时长距离的输入也会造成梯度爆炸问题。

  ３．１主题目标网页定位

  ４ 基于网购评论情感分析的智能化商品推荐

  ５原型系统设计与初步实现