联通光纤限制连接数_从数百万个光纤(而不是数千个线程)中查询数据库

联通光纤限制连接数

jOOQ是在Java中执行SQL的好方法,而Quasar光纤带来了大大提高的并发性

我们很高兴在平行世界的 Fabio Tudone的jOOQ博客上宣布另一个非常有趣的来宾帖子。

Parallel Universe开发了一个开放源代码堆栈,使开发人员可以轻松地在JVM上对极端的并发应用程序进行编码。 使用Parallel Universe堆栈,您可以构建与现代硬件协调工作的软件,而不必动fight动脑,同时保持您的编程语言和简单,熟悉的编程风格。

法比妥酮 Fabio Tudone开发和维护Quasar集成模块,这是Comsat项目的一部分。 在加入Parallel Universe团队之前,他参与了基于云的企业内容治理平台的开发工作,并领导了几年的开发工作。在整个职业生涯中,他一直在编写JVM软件。 他的兴趣包括Dev和DevOps实践,可伸缩性,并发和功能编程以及运行时平台。 他自然好奇,喜欢探索,他喜欢从人,地方和文化中收集知识和理解。 他还对意识练习感兴趣,喜欢写各种各样的东西。

Quasar作为Comsat项目的一部分,具有JDBC和jOOQ的集成,因此让我们来看看它的内部。

JDBC,jOOQ和Quasar

comsat-jdbc提供了JDBC API的光纤阻塞包装程序,因此您可以在光纤而不是常规Java线程中使用连接。

为什么要这么做? 因为光纤是轻量级线程,并且与正在运行的JVM中的线程相比 ,您可以拥有更多的光纤。 “更多”意味着我们要说的是数百万人,而不是数千人。

这意味着在等待JDBC执行时,您的系统中有更多的并行能力来并行执行其他操作,无论是并发/并行计算(例如在高度可靠的类Quasar Erlang类actor系统中 交换actor消息 )阻止I / O(例如, 服务 Web 请求 , 调用微服务 ,通过光纤NIO读取文件或访问其他启用光纤的数据源(如MongoDB ))。

如果您的数据库能忍受它,而更多的常规线程不会使您的系统崩溃(甚至),您甚至可以增加光纤JDBC池(请参阅附加点:后面的等待线 )并发送更多并发的jOOQ命令。

由于jOOQ使用JDBC连接访问数据库,因此在光纤上运行jOOQ就像引入comsat-jooq依赖项并将启用光纤的JDBC连接传递到jOOQ上下文一样简单:

import java.sql.Connection;
import static org.jooq.impl.DSL.*;// ...Connecton conn = FiberDataSource.wrap(dataSource).getConnection();
DSLContext create = DSL.using(connection);// ...

当然,您也可以将ConnectionProvider配置为从FiberDataSource获取连接。

从这一刻起,您可以使用常规的jOOQ,一切都会在光纤阻塞模式下发生,而不是在线程阻塞下发生。 而已。

不,真的, 绝对没有其他东西了:您将继续使用出色的jOOQ,仅使用效率更高的光纤而不是线程。 Quasar是一个好公民,不会强迫您使用新的API(特别是当原始API很好时,这很好)。

由于JVM 目前不支持可用于实现轻量级线程的本机绿色线程或延续 ,因此Quasar通过字节码检测实现了延续(以及它们之上的光纤)。 这可以在编译时完成,但是使用Quasar的代理通常更方便(尤其是在检测第三方库时),因此这是一个基于Dropwizard的Gradle示例项目 ,其中还包括Quasar代理设置(不要忘了Capsule ,这是一种非常出色的Java部署工具,可满足各种需求,这无疑使使用Quasar和代理变得轻而易举。 该示例未使用所有的jOOQ功能,而是属于SQL构建用例 (用于查询和CRUD),但是建议您对其进行更改以适合您的需求。 without-comsat分支包含一个线程阻止版本,因此您可以比较并查看与Comsat版本的(最小)差异。

排队等候在哪里?

您可能现在想知道:好的,但是JDBC是一个线程阻塞 API,Quasar如何将其转换为光纤 阻塞 API? 因为JDBC没有异步模式,所以Quasar在后台使用线程池,光纤在该线程池中分派JDBC操作,并且在JDBC操作完成后将其解冻并安排恢复(有关更多信息,请参阅Quasar的集成模式)信息)。

是的,这是讨厌的等待行 :等待线程池执行的JDBC命令。 尽管您并未将数据库并行性提高到超过JDBC线程池的大小,但是即使您仍在使用简单且熟悉的阻塞API,也不会损害光纤。 您仍然可以拥有数百万条纤维。

是否可以改善总体状况? 没有标准的异步Java RDBMS API,我们将无能为力。 但是,如果数据库是您的瓶颈,那么这可能根本不重要。 关于此主题,有好几篇不错的文章和讨论 ,该论据等于确定您要将等待线移到哪里。

好处:巧妙的jOOQ集成在幕后

目前,Quasar需要开发人员(或集成商)告诉它要进行检测的内容,尽管正在进行自动检测(此功能取决于Java 9之前不会发布的一些较小的JRE更改)。 如果您可以方便地更改源代码(或已编译的类),则可以使用@Suspendable注释方法,或者让它们throws SuspendExecution @Suspendable便足够了,但是库通常不是这种情况。 但是可以在META-INF/suspendablesMETA-INF/suspendable-supers中分别列出具有要检测的固定名称的方法,分别用于可以具有可挂起实现的具体方法和抽象/接口方法。

如果有很多(或涉及代码生成),则可以编写SuspendableClassifier随集成一起提供,并在Quasar的SPI中注册它以提供其他检测逻辑(请参见jOOQs )。 SuspendableClassifier的工作是在检测阶段检查有关运行时类路径中每个方法的签名信息,并确定该方法是否可挂起,是否可以挂起,是否可以实现或不确定。 (其他一些分类器稍后可能会说“可悬浮”或“可悬浮-超级”)。

总结一下

好吧……只需享受高效纤维上的出色jOOQ!

翻译自: https://www.javacodegeeks.com/2015/06/querying-your-database-from-millions-of-fibers-rather-than-thousands-of-threads.html

联通光纤限制连接数

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/337855.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java 工程新建ivy文件_Hadoop学习之路(八)在eclispe上搭建Hadoop开发环境

一、添加插件将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中二、在Windows上安装Hadoop2.7.5版本最好与Linux集群中的hadoop版本保持一致1、将hadoop-2.7.5-centos-6.7.tar.gz解压到Windows上的C盘software目录中2、配置hadoop的环境变量HADOOP_HOMEC:\softwa…

c语言中fclose函数的使用你会吗

点击上方蓝字关注我&#xff0c;了解更多咨询1、C语言fclose函数用于关闭使用fopen成功打开的文件。2、fopen函数和fclose函数总是成对出现。如果文件成功打开fopen函数&#xff0c;请使用fclose函数关闭文件。实例#include <stdio.h> #include <stdlib.h>int main…

Java反序列化json内存溢出_fastJson与一起堆内存溢出'血案'

现象QA同学反映登录不上服务器排查问题1–日志级别查看log,发现玩家登录的时候抛出了一个java.lang.OutOfMemoryError大概代码是向Redis序列化一个PlayerMirror镜像数据,但是在JSON.toJSONString的时候出现了错误.比较清晰&#xff0c;即序列化的时候expandCapacity,内存不足。…

c语言中预处理器是什么

点击上方蓝字关注我&#xff0c;了解更多咨询1、C语言有预处理器&#xff0c;Java中没有这个概念&#xff0c;其实只是文本替换工具。2、C的预处理器&#xff0c;即CPP&#xff0c;将在实际编译器中完成处理&#xff0c;所有预处理命令将从#开始。实例#include <stdio.h>…

c语言strcat_s函数如何使用

点击上方蓝字关注我&#xff0c;了解更多咨询1、strcat_s函数将strSource指向的字符串添加到其它字符串结尾。因此需要确保strDestination有足够的内存空间来容纳strSource和strDestination两个字符串&#xff0c;否则会导致溢出错误。2、strDestination末端的\0将被覆盖。strS…

c语言strcat_s函数的原理

点击上方蓝字关注我&#xff0c;了解更多咨询1、dst 内存空间大小目标字符串长度原始字符串场地‘\0’。2、使用sizeof函数获取内存空间大小&#xff0c;strlen函数获取字符串长度。即获取内存空间大小和查字符串长度。实例#include "stdafx.h" #include<stdlib.h…

理解C语言指针概念只需几分钟

点击上方蓝字关注我&#xff0c;了解更多咨询当我们声明一个变量或常量时&#xff0c;计算机系统会为这个变量或常量分配存储单元&#xff0c;变量的数据存储到被分配的存储单元内&#xff0c;对变量的赋值和取值操作都是针对存储单元的操作。C编译器是如何通过变量找到与其对应…

php做一个网页的源代码,用HTML5做一个个人网站此文仅展示个人主页界面。内附源代码下载地址...

下载说明&#xff1a; 1.再好的作品都不如将来要做的作品。在每一次的设计当中都能有所收获&#xff0c;才是设计师在web开发中最得益的。 2.本站所有作品均是杨青个人设计。如果发现模板有错&#xff0c;请尽情谅解。 3.如果遇到什么问htmlcss编写的个人主页&#xff0c;适合初…

C语言中经典的程序设计结构:顺序、条件、循环

点击上方蓝字关注我&#xff0c;了解更多咨询无论使用何种编程语言&#xff0c;都含有程序设计的三大经典结构。即&#xff1a;顺序结构、条件结构和循环结构&#xff0c;C语言也是如此。综述顺序结构&#xff0c;就是一条大路走到底&#xff0c;没有岔路口&#xff0c;一步步从…

c语言中abort函数的使用

点击上方蓝字关注我&#xff0c;了解更多咨询1、abort函数的作用是异常终止一个进程&#xff0c;意味着abort后面的代码将不再执行。2、当调用abort函数时&#xff0c;会导致程序异常终止&#xff0c;而不会进行一些常规的清除工作。实例#include <stdio.h> #include <…

c语言中如何防止数组下标越界

点击上方蓝字关注我&#xff0c;了解更多咨询1、若数组长度和下标访问值出现错误&#xff0c;则会导致数组下标越界。数组下标从0开始&#xff0c;访问值为-1。2、在使用循环遍历数组元素时&#xff0c;注意防范off-by-one的错误。对于作为函数参数传入的数组下标&#xff0c;要…

java oauth2.0_教程:如何实现Java OAuth 2.0以使用GitHub和Google登录

java oauth2.0将Google和GitHub OAuth登录添加到Java应用程序的指南 我们添加到Takipi的最新功能之一是3rd party登录。 如果您像我一样懒惰&#xff0c;那么我想您也希望跳过填写表单和输入新密码的操作 。 只要有权限&#xff0c;许多人都希望使用第三方登录&#xff0c;只要…

c语言中数组访问越界如何理解

点击上方蓝字关注我&#xff0c;了解更多咨询1、可以通过数组下标直接访问数组中的元素。2、如果一个数组被定义为n个元素&#xff0c;那么访问n个元素是合法的。如果访问n个元素以外&#xff0c;则是非法的&#xff0c;称为访问越界。实例int a[5] {0}; //等价 int a[5] {0,…

c语言中函数是怎么理解?

点击上方蓝字关注我&#xff0c;了解更多咨询1、C语言中的函数是一个可以重复使用的代码&#xff0c;用于独立完成某个功能。2、它可以接收用户传输的参数&#xff0c;也可以不接收&#xff0c;将代码段封装成函数的过程称为函数定义。如果有返回值&#xff0c;使用return语句返…

c语言中函数的声明和定义

点击上方蓝字关注我&#xff0c;了解更多咨询1、函数声明&#xff0c;无需实现该函数的功能。函数声明只是一个空壳&#xff0c;不会有特定的函数实现。2、函数定义&#xff0c;必须实现该函数的功能&#xff0c;要实现函数的实现。#include<stdio.h>实例//使用函数前&am…

c语言中常规函数和指针函数区别

点击上方蓝字关注我&#xff0c;了解更多咨询1、在函数名前面多了一个*号&#xff0c;而这个函数就是一个指针函数。2、其返回值是一个int类型的指针&#xff0c;是一个地址。实例#include<stdio.h>int* fun1(int* x) //传入指针 {int* tmp x; //指针tmp指向xret…

jvm崩溃的原因_JVM崩溃时:如何调查最严重错误的根本原因

jvm崩溃的原因当应用程序崩溃时&#xff0c;您可以学到什么&#xff1f; 我认为&#xff0c;“后见之明是20 /”是最喜欢的短语之一托马斯罗梅尔 &#xff0c;工程ZeroTurnaround的副总裁。 好吧&#xff0c;我实际上不确定在他的短语中占什么位置&#xff0c;但是我已经听过他…

jboss项目导入idea_JBoss BPM Suite快速指南–将外部数据模型导入BPM项目

jboss项目导入idea您正在从事一个大项目&#xff0c;在企业中开发规则&#xff0c;事件和流程以满足关键业务需求。 部分要求指出&#xff0c;某个业务部门将提供您的数据模型供您利用。 不会在JBoss BPM Suite数据建模器中设计此数据模型&#xff0c;但是在从业务中心仪表板…

mysql协议重传,MySQL · 源码分析 · 网络通信模块浅析

MySQL 网络通信浅析MySQL的网络通信协议主要包含以下几个层次&#xff0c;从最上层的MySQL数据包协议层到最底层的socket传输&#xff1a;| THD| Protocol| NET| VIO| SOCKET本文主要扫一下相关的代码&#xff0c;以下分析基于MySQL5.7。创建会话在MySQL5.7中对会话协议层的代码…

C语言代码优化11种实用方法

点击蓝字关注我1、选择合适的算法和数据结构选择一种合适的数据结构很重要&#xff0c;如果在一堆随机存放的数中使用了大量的插入和删除指令&#xff0c;那使用链表要快得多。数组与指针语句具有十分密切的关系&#xff0c;一般来说&#xff0c;指针比较灵活简洁&#xff0c;而…