真实性是指构建查询样例集合时需要采用真实的搜索引擎用户查询,即能反映普遍用户的真实信息需求(非出于某种目的专门设计的特定信息需求)的查询。采用真实的搜索引擎用户查询,对保证搜索引擎性能评价的结果与普通用户的真实使用感受吻合至关重要。若仅采用评测人员根据自己的知识、兴趣爱好设计的查询,则查询样例集合与最后的性能评价结果都不够客观和公正。
对大多数搜索引擎领域的研究者来说,通过获取真实的搜索引擎用户日志构建真实的查询样例集合是很困难的。
获取真实用户查询的途径:
1.搜索引擎公开发布的用户行为日志样例,如搜狗实验室发布的 ;
2.搜索引擎提供的热门查询展示服务,如、、、、、。
相关链接: