Lucene.net站内搜索—5、搜索引擎第一版实现

目录

Lucene.net站内搜索—1、SEO优化
Lucene.net站内搜索—2、Lucene.Net简介和分词
Lucene.net站内搜索—3、最简单搜索引擎代码
Lucene.net站内搜索—4、搜索引擎第一版技术储备（简单介绍Log4Net、生产者消费者模式）
Lucene.net站内搜索—5、搜索引擎第一版实现
Lucene.net站内搜索—6、站内搜索第二版

•  站内搜索模块：生产者、消费者，多线程。复习多线程，用多线程做一个winform的生产者、消费者的例子，有任务的时候（点按钮给整数）就处理任务，没任务的时候就每次扫描都说“还是没任务，睡会再看”，用Sleep模拟耗时操作，线程中操作UI线程的代码见备注。
•  派一个人来管理索引库，想向索引库中写数据的地方都向这个人来发出请求。
•  由于索引库同时只能有一个IndexWriter进行写，所以有一个消费者线程一直保持对IndexWriter写的状态，有新任务进入的时候对IndexWriter写入。如果IndexWriter一直保持打开状态的话，新添加的文档是不会被搜索到的，因此必须处理完队列中的任务后关闭writer，然后下次while循环扫描的时候判断如果队列汇总没有任务，则sleep5秒钟后再判断，防止不断判断给服务器cpu压力
•  IndexManager做成单例。维持一个任务的Queue，Thread thread = new Thread(ScanThread); thread.Start();启动一个线程，在ScanThread方法中不断遍历Queue ，当有新任务加入的时候把新任务加入索引库，当要删除文章的时候也是加入一个jobType == JobType.Delete的内容。UpdateDocument
• 文章的更新和删除。

1、线程访问UI线程：

 ParameterizedThreadStart threadStart = (obj) =>{txtLog.AppendText(obj + "\n");};txtLog.Invoke(threadStart, item);

详细代码如下：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Web;
using System.Threading;
using log4net;
using System.Configuration;
using System.Web.Hosting;
using RuPeng.Utils;
using RuPengSite.DataTier.DataSetThreadTableAdapters;
using System.Text;
using Lucene.Net.Store;
using Lucene.Net.Index;
using System.IO;
using Lucene.Net.Analysis.PanGu;
using Lucene.Net.Documents;
namespace RuPengSite.Search
{public class IndexManager{public readonly static IndexManager Instance = new IndexManager();private HashSet<IndexJobItem> jobs = new HashSet<IndexJobItem>();//任务的集合private bool isStopped;//任务是否停止private static ILog log = LogManager.GetLogger(typeof(IndexManager));private IndexManager(){            }//启动任务public void Start(){isStopped = false;Thread thread = new Thread(ScanThread);thread.Start();            }//停止任务public void Stop(){isStopped = true;}/// <summary>/// 扫描线程/// </summary>private void ScanThread(){//如果停止，则不再无限循环while (!isStopped){Thread.Sleep(5000);//休息5秒钟，尽可能多的累积任务if (jobs.Count <= 0){continue;//如果没任务继续睡
                }log.Debug("开始索引预处理");string indexPath = SearchHelper.GetSearchIndexFullPath();log.Debug("索引路径是：" + indexPath);FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//判断索引目录是否已经存在bool isUpdate = IndexReader.IndexExists(directory);log.Debug("索引路径存在状态是" + isUpdate);if (isUpdate){//如果索引目录被锁定（比如索引过程中程序异常退出），则首先解锁if (IndexWriter.IsLocked(directory)){log.Debug("开始解锁索引路径");IndexWriter.Unlock(directory);}}IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);try{ProcessJobItems(directory, writer);}finally{log.Debug("开始关闭reader、writer");writer.Close();directory.Close();log.Debug("完成关闭reader、writer");}                       }}/// <summary>/// 处理队列中的任务/// </summary>/// <param name="directory"></param>/// <param name="writer"></param>private void ProcessJobItems(FSDirectory directory, IndexWriter writer){log.Debug("开始处理队列中的"+jobs.Count+"个任务");foreach (var jobItem in jobs.ToArray())//转换为数组，避免读的时候不能修改的问题
            {try{ProcessJobItem(writer, jobItem);jobs.Remove(jobItem);//将处理完成的任务移除
                }catch (Exception ex){log.Error("对任务进行处理失败" + jobItem, ex);}                }log.Debug("队列中的任务处理完毕");}private static void ProcessJobItem(IndexWriter writer, IndexJobItem jobItem){long threadId = jobItem.ThreadId;JobType jobType = jobItem.ItemType;string url = SearchHelper.GetThreadUrl(threadId);if (jobType == JobType.Delete)//判断任务的类型
            {log.Debug("将帖子从索引中移除,threadId=" + threadId);writer.DeleteDocuments(new Term(SearchHelper.URL, url));//删除旧的收录
            }else if (jobType == JobType.Add){writer.DeleteDocuments(new Term(SearchHelper.URL, url));//删除旧的收录var threads = new rp_threadsTableAdapter().GetDataById(threadId);if (threads.Count <= 0){log.Debug("id为"+threadId+"的帖子不存在！");return;}string body = SearchHelper.GetThreadContent(threadId);//帖子内容string title = threads.Single().Subject;//主题Document document = new Document();document.Add(new Field(SearchHelper.URL, url, Field.Store.YES, Field.Index.NOT_ANALYZED));document.Add(new Field(SearchHelper.TITLE, title, Field.Store.YES, Field.Index.NOT_ANALYZED));document.Add(new Field(SearchHelper.BODY, body, Field.Store.YES, Field.Index.ANALYZED,
 Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));writer.AddDocument(document);log.Debug("索引帖子" + threadId+"完成");}else{throw new Exception("错误的jobType：" + jobType);}}/// <summary>/// 添加帖子的索引任务/// </summary>/// <param name="threadId"></param>public void AddThread(long threadId){IndexJobItem jobItem = new IndexJobItem() { ItemType=JobType.Add,ThreadId=threadId};jobs.Add(jobItem);}/// <summary>/// 移除帖子的索引任务/// </summary>/// <param name="threadId"></param>public void DeleteThread(long threadId){IndexJobItem jobItem = new IndexJobItem() { ItemType = JobType.Delete, ThreadId = threadId };jobs.Add(jobItem);}class IndexJobItem{public JobType ItemType { get; set; }public long ThreadId { get; set; }public override bool Equals(object obj){IndexJobItem item = obj as IndexJobItem;if (item == null){return false;}return this.ItemType==item.ItemType&&this.ThreadId==item.ThreadId;}public override int GetHashCode(){return ToString().GetHashCode();}public override string ToString(){return ItemType+":"+ThreadId;}}enum JobType {Delete,Add }//任务类型
    }
}

多条件查询

我看了下淘宝，淘宝的站内搜索只实现了且条件：

或条件查询可以来看看百度，当然，百度是同时采用了且条件和或条件查询的：

在标题和正文中查找

PhraseQuery queryMsg = new PhraseQuery();foreach (string word in CommonHelper.SplitWords(txtKW.Text)){queryMsg.Add(new Term("msg", word));}queryMsg.SetSlop(100);
PhraseQuery queryTitle = new PhraseQuery();foreach (string word in CommonHelper.SplitWords(txtKW.Text)){queryTitle.Add(new Term("title", word));}queryTitle.SetSlop(100);
BooleanQuery query = new BooleanQuery();
query.Add(queryMsg, BooleanClause.Occur.SHOULD);
query.Add(queryTitle, BooleanClause.Occur.SHOULD);

BooleanQuery相当于盛放其他查询条件的容器，类似于div。第二个参数：Must为必须有，Must_Not为必须没有，Should为可以有

高亮显示

• 高亮显示，只显示包含关键词的部分。参考盘古分词的文档。
• 从网上、文档找来的代码不用细读每行代码，先把它拿过来运行通过再说。
• 不用每次改代码都重启，在项目的属性页面的Web中选中“启用编辑并继续（Enable Edit and Continue）”
• 把font控制颜色改成通过style控制颜色，原则“不要在正文中控制格式”。不推荐使用font、b、i、br等。

private static String highLight(string keyword,String content){PanGu.HighLight.SimpleHTMLFormatter formatter = new PanGu.HighLight.SimpleHTMLFormatter("<font color='red'>", "</font>");PanGu.HighLight.Highlighter highlighter = new PanGu.HighLight.Highlighter(formatter, new Segment());highlighter.FragmentSize = 500;string msg = highlighter.GetBestFragment(keyword,content);
if (string.IsNullOrEmpty(msg)){return content;}else{return msg;}}String hightlightTitle = highLight(keyword, title);String hightlightBody = HttpUtility.HtmlEncode(body);//防止XSS攻击hightlightBody = highLight(keyword, hightlightBody);

路径可配置化

• 连接配置信息放到Web.Config的ConnectionStrings段中，而普通的自定义配置则可以写到AppSettings段中，哪些需要配置：索引的路径，被索引的网站url，索引的时间间隔。
• 读取string indexPath = ConfigurationManager.AppSettings["IndexPath"]，使用ConfigurationManager添加引用System.Configuration
• 使用request.MapPath或者Server.MapPath把相对于网站根路径的路径转换为绝对路径（不是转换为http://www.baidu.com/a.aspx，转换为c:/baidu_com/a.aspx）。在定时任务等不在Http线程中取HttpContext.Current得到的是null，因此在定时任务中不能用HttpContext.Current.Server.MapPath方法来转换，要用HostingEnvironment.MapPath，因此可以在其他地方也用HostingEnvironment.MapPath。
• 修改Web.config会造成IIS重启，这样会立即加载新的任务

解决：地址无法发给好友

我们先看下淘宝的站内搜索：

细心看，我们会发现url是一连串的字符串，可以肯定这是采用了get请求的方式。

• 用户没法把搜索结果页面发给好友，要用Get提交，这样才能得到搜索页面地址。如果采用Get方式的话，要删掉form的runat=server，变成HTML的form、method改为get，所有控件都要用HTML控件。因为只有去掉runat=server的form，才会完全去掉ViewState
• 注意input不能只指定id，而应该指定name，否则不会出现在querystring中。Id是供Javascript用的，name是供querystring/Request用的。对于type=submit的input来说，只有被点击的input的name、value才会被提交给服务器。
• method改为get
• 1、要删掉form的runat=server。（唯一去掉viewstate的方法）
• 2、所有除了DataBound控件（比如GridView、Repeater等）都要用HTML控件。Repeater、ObjectDataSource之类控件不需要runat=server的form也可以，但是VS总是提示，去源代码视图拖放、让他生成再手动删掉。
• 3、控件注意要给表单name属性赋值。
• 4、在后台Page_Load代码中进行响应
• 5、IsPostBack不再有用，只能通过判断参数是否为空来判断是否是提交的页面。
• 点搜索按钮以后如何显示搜索关键字：在aspx.cs中定义一个GetKeyWord方法，<input type="text" id="kw1" name="kw" value='<%=Request["kw"] %>'/>

只要有runat=server的form就会产生__VIEWSTATE等，所以去掉form的runat=server，这样除了Repeater等少数控件之外服务端控件都没法使用，只能使用html标签。这是为什么说“要求高的互联网项目不用服务端控件”。面试时候说：我在有的项目中没有用服务端控件的例子。

为了能让查询参数显示在地址栏中，方便传播地址，把form的method改为get；因为ViewState太长，所以影响美观，因此禁用ViewState；但是发现哪怕禁用ViewState，ViewState也没有完全消失；研究发现，只有去掉form的runat=server后才能完全干掉ViewState；但是，一旦去掉form的runat=server后几乎所有的WebForm控件都用不了（除了Repeater等少数几个和input无关的之外），只能用html控件，然后在Page_Load中进行响应。