|
|
|
|
基于多级指引索引的高效技术(1)
|
|
【计算机实习教研论文】 摘 要 介绍了搜索引擎中基于多级指引索引的高效技术。包括索引压缩，置入文件阀值的方法。其中索引压缩介绍了字节对齐压缩、Elias gamma编码、Elias delta编码、Golomb编码、二 元插值编码，并对其压缩效率，解压速度以及相对性能做了比较，叙述了在不同的情况下使用不同的编码，以便提高搜索效率。 关键词 搜索引擎，多级指引索引，索引压缩，置入文件阀值 1 引言 搜索引擎（Search Engine）是随着Web信息的迅速增加，从1995年开始逐渐发展起来的技术。它是一种Web上的应用软件系统，以一定的策略在Web上发现和收集信息，对信息进行组织和处理，为用户提供Web信息查询服务。 一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。其中索引器是一个搜索引擎的核心部分，因此索引的好坏直接影响到整个搜索引擎的质量。采用多级指引索引数据结构，尽管建立时需要付出一定代价，但是极大地提高了查询效率。本文在多级指引索引的基础上，介绍了提高效率的策略，其中包括多级指引索引的压缩，置入文件阈值（posting list threshold）的方法。
2 多级指引索引简介
图1 索引多级指引结构 多级指引索引是倒排索引的进化，既满足检索接口的词语-网页结构的需要，又考虑到庞大数据量结构组织的可行性。在词语集设置网页指针，将包含该词语的网页分块放置，减少存储相同词语的空间，根据词语标识符直接找到网页分块首位置，并为下一级指引提供前提；同一个词语在不同网页中出现的位置是变值，设置位置指针可以减少存储相同网页号的空间。
3 多级指引索引的压缩 多级指引索引压缩的目标是通过减少存储需求来降低输入输出。需要压缩的内容包括：词语列表中的词语名，每一个置入文件列表记录（entry）中的词频，每一个置入文件列表记录文档标识符。如果多级指引索引减少存储量，I/O读写置入列表（posting list）的时间就会减少，也就减少了内存、磁盘空间的占用。而一个
|
|
|
|
<<<<<全文未完>>>>> 全文字数约3287字
|
要阅读全文请先注册成VIP会员！详情请阅读会员专区！
VIP会员可以阅读全文， 欢迎加入VIP会员专区！ 加入VIP会员步骤如下：
注册用户名→在线购卡
|
|
|
|
广告服务