【转载保存】索引文件锁LockFactory

索引文件锁LockFactory

  LockFactory在Lucene中用来对索引文件所在的目录进行加锁,使得同一时间总是只有一个IndexWriter对象可以更改索引文件,即保证单进程内(single in-process)多个不同IndexWriter对象互斥更改(多线程持有相同引用的IndexWriter对象视为一个IndexWriter不会受制于LockFactory,而是受制于对象锁(synchronized(this))、多进程内(multi-processes)多个对象互斥更改。

LockFactory的具体实现类

  LockFactory是一个抽象类,提供了以下几种子类,即NoLockFactory、SingleInstanceLockFactory、SimpleFSLockFactory、NativeFSLockFactory、VerifyingLockFactory,下面一一介绍。

图1:

NoLockFactory

  该类的功能同类名一样,即不会对索引文件进行加锁,如果使用者有把握(certain)使得IndexWriter对象总是能互斥更改索引文件,那么可以不对索引文件所在的目录进行加锁。

SingleInstanceLockFactory

  该类是RAMDirectory默认使用的索引文件锁,RAMDirectory属于Directory类的子类,Directory类描述了索引文件所在目录的一些信息,以后会有文章介绍Directory类。

  对于拥有相同RAMDirectory对象的多个IndexWriter对象,实现不同IndexWriter之间对索引文件的互斥更改。

获得索引文件锁

  该过程十分的简单,故给出完整的代码:

 

 

  final HashSet<String> locks = new HashSet<>();
  // 尝试获得索引文件锁,如果已经占用则抛出异常
  public Lock obtainLock(Directory dir, String lockName) throws IOException {
    synchronized (locks) {
      if (locks.add(lockName)) {
        return new SingleInstanceLock(lockName);
      } else {
        throw new LockObtainFailedException("lock instance already obtained: (dir=" + dir + ", lockName=" + lockName + ")");
      }
    }
  }

  在IndexWriter类中,定义了一个不可更改的lockName,使得无论哪个线程通过IndexWriter来获得索引文件锁时,lockName的值都是相同的,这样就能通过判断该lockName是否在locks容器中来实现互斥,lockName在IndexWriter类中的定义如下:

图2:

释放索引文件锁

  释放锁的过程即从locks容器(HashSet对象)中移除键值为write.lock的元素。

FSLockFactory

  FSLockFactory是一个抽象类,它有两个子类分别是SimpleFSLockFactory,NativeFSLockFactory,用来专门指定给FSDirectory类提供索引文件锁(can only be used with FSDirectory subclasses)。

SimpleFSLockFactory

  该类只能用于FSDirectory,FSDirectory跟RAMDirectory一样是Directory的子类。

  该类通过在索引文件所在目录创建一个名为write.lock文件的方式来实现索引文件锁,该方法的缺点在于如果JVM异常退出,那么索引文件锁可能无法被释放,即没有删除write.lock文件。

  解决的方法只能是通过手动删除write.lock文件,注意是,手动删除前用户得自己保证(certain)目前没有IndexWriter正在写入,否则非常容易破坏(corrupt)索引文件,比如说由于删除了write.lock文件,使得多个IndexWriter对象同时更改了索引文件。

获得索引文件锁

  在索引文件所在目录生成一个write.lock文件,并且记录该文件的创建时间,目的是在任意阶段可以检查该文件是否被外在力量(external force)篡改了,从而判定该锁的合法性(valid),在该类中,如果发现被篡改,那么就抛出异常。

  比如每次添加一篇文档(Document)后,将该Document的信息写入索引文件之前会做检查(调用该类的ensureValid( )方法),如果此时发现write.lock被篡改了(比如说被删除了),那么这次写入就会失败,后续的处理会在以后介绍IndexWriter时详细介绍。

释放索引文件锁

  释放锁的过程即删除write.lock文件,如果发现write.lock文件的创建时间跟获得该锁的时间不同,那么就抛出异常来让用户决定如何处理这种情况,使用Files.delete(Path path)的方法来尝试删除write.lock文件,如果出错了,那么同样地抛出异常让用户决定如何处理这种情况。

NativeFSLockFactory

  NativeFSLockFactory同SimpleFSLockFactory一样,只能用于FSDirectory,它是Directory默认使用的LockFactory的,同样的通过在索引文件所在目录生成一个write.lock文件,但是该类还使用了FileChannel来管理write.lock文件。

获得索引文件锁

  NativeFSLockFactory获得索引文件锁的过程分为两步:

  • 第一步:判断write.lock文件是否已经被进程内(in-process)的其他线程的不同IndexWriter对象占有,通过一个线程安全的同步Set容器(Collection.synchronizedSet())实现,最先到的(first come)的线程会将write.lock文件的绝对路径写入到同步Set容器中,后来的线程尝试添加路径时会抛出异常
  • 第二步:使用FileChannel来尝试获得进程间(inter-process)级别的文件锁FileLock,即判断write.lock文件是否被其他进程占用,如果占用则直接抛出异常。

  另外也会记录write.lock文件的创建时间,用法跟SimpleFSLockFactory一样。

  同SimpleFSLockFactory一样,在运行过程中,当更改索引文件时(添加文档、更新、commit、flush等变更索引文件的操作),依次判断下面的条件,任意一个条件不满足时说明当前索引文件锁是不合法的:

  • 条件1:进程内的某个线程调用了close(),如果该线程继续执行更改索引操作,会抛出异常
  • 条件2:如果同步Set容器不包含write.lock文件的绝对路径,会抛出异常
  • 条件3:FileChannel的锁FileLock是不合法的状态,这种情况是未知的外部力量(external force)导致的, 会抛出异常
  • 条件4:FileChannel中的channel的值不是0,Lucene不会对write.lock文件写入任何数据,所以如果发现该文件中被添加了数据则抛出异常
  • 条件5:当前write.lock文件的创建时间跟获得锁时的创建时间不一致,说明被未知的(external force)修改了,会抛出异常

释放索引文件锁

  该类释放锁的过程分两步走:

  • 释放write.lock文件的FileLock
  • 清空同步Set容器中的内容

SimpleFSLockFactory与NativeFSLockFactory各自的特点

  尽管NativeFSLockFactory是默认的FSDirectory的索引文件锁,但基于实际场景,有时候使用SimpleFSLockFactory能更好的工作(work perfectly)。

  • NativeFSLockFactory基于 java.nio.*来获得FileLock,但在某些文件系统下可能会受限,比如说在NFS下可能无法获得FileLock(the lock can incorrectly be double acquired),此时使用SimpleFSLockFactory就不会有这个问题
  • 当JVM异常退出时,残留的(leftover)write.lock文件无法删除,如果使用SimpleFSLockFactory需要手动的去删除该文件,否则尝试获得索引文件锁时就直接抛出异常,而使用NativeFSLockFactory时,不用关心当前write.lock文件是否被正确删除,因为它只关心write.lock是否被其他进程占用,而JVM异常退出后,会自动释放FileLock(操作系统会释放FileLock),所以不能通过判断write.lock文件在索引文件的目录中就认为索引文件被锁定了(locked),Lucene从不会因为异常去删除write.lock文件

VerifyingLockFactory

  该类不同于上面提到的NoLockFactory、SingleInstanceLockFactory、SimpleFSLockFactory、NativeFSLockFactory,如果上述这些索引文件锁在实际业务还是无法正确的工作(not working properly),那么可以使用VerifyingLockFactory封装上述的LockFactory,通过一个开启一个LockVerifyServer(单独的服务)来实现认证(verify),保证不会发生同一时间两个进程同时获得锁的情况。

认证方法

  Lucene7.5.0中通过Socket向LockVerifyServer发送特定的字节来尝试获得锁,同样的通过发送特定字节来释放锁,由于源码中的实现过于简单,一般不会直接使用,故不详细介绍。

结语

  本文介绍了实现互斥访问索引文件的索引文件锁LockFactory。

转载:https://www.codercto.com/a/84611.html

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/508894.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

lucene大牛博客汇总保存

https://www.amazingkoala.com.cn/Lucene/Index/http://codepub.cn/tags/Lucene/

no segments* file found in SimpleFSDirectory问题总结

lucene6.0版本 场景一&#xff1a;第一次启动程序索引库为空抛出异常 最近在写lucene发现利用lucene6.0版本时候如果索引库为空构建indexWriter&#xff0c;代码如下&#xff1a; IndexWrterConfig config new IndexWriterConfig(analyzer); IndexWriter indexWriter new …

lucene Term查询

查询demo Path path Paths.get(util.Directory.GetAppPath("indexDir"));IndexReader reader DirectoryReader.open(FSDirectory.open(path));//获取IndexSearcher对象IndexSearcher indexSearcher new IndexSearcher(reader);Query query new TermQuery(new Ter…

IndexOptions类说明

IndexOptions是在lucene-core-x.jar包下面&#xff0c;其作用是在新建索引时候选择索引属性。 IndexOptions是一个枚举类&#xff1a; 枚举变量说明&#xff1a; NONE不被索引DOCS_AND_FREQS文档和词频建立索引DOCS_AND_FREQS仅对文档和词频建立索引DOCS_AND_FREQS_AND_POSIT…

【转载保存】lucene正则查询使用注意

今天要分享的是关于lucene中另外一种丰富的查询方式----正则查询&#xff0c;lucene内置了许多的查询API&#xff0c;以及更强大的自定义查询方式的QueryParse&#xff0c;大部分情况下我们使用内置的查询API&#xff0c;基本上就可以满足我们的需求了&#xff0c;但是如果你想…

lucene 各个版本介绍

官方说明文档&#xff1a;https://lucene.apache.org/core/8_3_0/changes/Changes.html#v8.3.0.other 开源中国翻译&#xff1a;https://www.oschina.net/p/lucene

【转载保存】搜索引擎调研文档

搜索引擎选型调研文档 Elasticsearch简介* Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于全文搜索&#xff0c;结构化搜索以及分析&#xff0c;当然你也可以将这三者进行组合。 Elasticsearch是一个建立在全…

webmagic抓取实例

git地址&#xff1a;https://github.com/code4craft/webmagic/tree/master/webmagic-samples/src/main/java/us/codecraft/webmagic/samples

lucene详细说明文档

以下部门功能在lucene5以上版本可能有的API所有改变 目录1.简介 2.了解索引操作 2.1倒排索引 2.2字段类型 2.3细分 2.4文件编号 2.5搜索索引 3.创建索引 4.基本索引操作 4.1核心索引类 4.2将数据添加到索引 5.文件和领域 5.1文件 5.2领域 5.3在Lucene中增强文档 1.简介 该索引是…

SimpleDateFormat(线程不安全)与DateTimeFormatter(线程安全)

https://www.liaoxuefeng.com/wiki/1252599548343744/1303985694703650

【转载保存】java8新特性学习

编者注&#xff1a;Java 8已经公布有一段时间了&#xff0c;种种迹象表明Java 8是一个有重大改变的发行版。 在Java Code Geeks上已经有大量的关于Java 8 的教程了&#xff0c;像玩转Java 8——lambda与并发&#xff0c;Java 8 Date Time API 教程&#xff1a; LocalDateTime和…

influxDb 异常:{“error“:“retention policy not found: default“}

第一次用influxDb&#xff0c;通过java客户端插入数据的时候总是报这个异常&#xff0c;后来发现命令行中插入数据是好的&#xff0c;但是客户端就是不行&#xff0c;后来检查代码发现是自己的配置中保留策略名写错了 。 修改代码&#xff1a;将RETENTION_POLICY_DEFAULT值设置…

【转载保存】什么是线程阻塞?为什么会出现线程阻塞?

为什么会出现线程阻塞&#xff1f; 1.睡眠状态&#xff1a;当一个线程执行代码的时候调用了sleep方法后&#xff0c;线程处于睡眠状态&#xff0c;需要设置一个睡眠时间&#xff0c;此时有其他线程需要执行时就会造成线程阻塞&#xff0c;而且sleep方法被调用之后&#xff0c;…

【转载保存】ThreadPoolExecutor类使用详解

线程启动原理线程中断机制多线程实现方式FutureTask实现原理线程池之ThreadPoolExecutor概述线程池之ThreadPoolExecutor使用线程池之ThreadPoolExecutor状态控制线程池之ThreadPoolExecutor执行原理线程池之ScheduledThreadPoolExecutor概述线程池的优雅关闭实践 转载&#x…

maven (http://repo1.maven.org/maven2/): Failed to transfer file 和PKIX path building failed: sun.secu

<?xml version"1.0" encoding"UTF-8"?> <settings xmlns"http://maven.apache.org/SETTINGS/1.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/SETTINGS/1.0.…

java中String、StringBuffer equals使用注意

equals方法 我们知道每个类其基类都是Object&#xff0c;Object默认的equals方式是: public boolean equals(Object obj) {if (this obj) {//先进行地址比较return true;}上面可以看出Object的equals方法比较两个对象的地址是否相等。 接着我们来说下String的equals方法实现…

maven 无效的源发行版11

我看自己的jdk配置都为8&#xff0c;感觉没问题&#xff0c;后来发现自己pom.xml文件配置的如下&#xff1a; <build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId>…

去除html,获取某个标签里面内容

Document document Jsoup.parse(content);Elements ps document.getElementsByTag("p");//要解析的标签String pText "";for(Element p: ps){pText pText p.text();}

分布式集群架构场景解决方案学习笔记

课程学习 一致性哈希算法集群时钟同步问题分布式ID解决方案分布式任务调度问题session共享(一致性)问题 一致性哈希算法 一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的&#xff0c;设计目标是为了解决因特网中的热点(Hot spot)问题&#xff0c…