3atv精品不卡视频,97人人超碰国产精品最新,中文字幕av一区二区三区人妻少妇,久久久精品波多野结衣,日韩一区二区三区精品

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Resilience4j-轻量级熔断框架

發(fā)布時(shí)間:2025/3/21 编程问答 28 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Resilience4j-轻量级熔断框架 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

Resilience4j

簡介

Resilience4j是一款輕量級,易于使用的容錯(cuò)庫,其靈感來自于Netflix Hystrix,但是專為Java 8和函數(shù)式編程而設(shè)計(jì)。輕量級,因?yàn)閹熘皇褂昧?strong>Vavr,它沒有任何其他外部依賴下。相比之下,Netflix HystrixArchaius具有編譯依賴性,Archaius具有更多的外部庫依賴性,例如GuavaApache Commons Configuration

要使用Resilience4j,不需要引入所有依賴,只需要選擇你需要的。

Resilience4j提供了以下的核心模塊和拓展模塊:

核心模塊:

  • resilience4j-circuitbreaker: Circuit breaking
  • resilience4j-ratelimiter: Rate limiting
  • resilience4j-bulkhead: Bulkheading
  • resilience4j-retry: Automatic retrying (sync and async)
  • resilience4j-cache: Result caching
  • resilience4j-timelimiter: Timeout handling

Circuitbreaker

簡介

CircuitBreaker通過具有三種正常狀態(tài)的有限狀態(tài)機(jī)實(shí)現(xiàn):CLOSEDOPENHALF_OPEN以及兩個(gè)特殊狀態(tài)DISABLEDFORCED_OPEN。當(dāng)熔斷器關(guān)閉時(shí),所有的請求都會(huì)通過熔斷器。如果失敗率超過設(shè)定的閾值,熔斷器就會(huì)從關(guān)閉狀態(tài)轉(zhuǎn)換到打開狀態(tài),這時(shí)所有的請求都會(huì)被拒絕。當(dāng)經(jīng)過一段時(shí)間后,熔斷器會(huì)從打開狀態(tài)轉(zhuǎn)換到半開狀態(tài),這時(shí)僅有一定數(shù)量的請求會(huì)被放入,并重新計(jì)算失敗率,如果失敗率超過閾值,則變?yōu)榇蜷_狀態(tài),如果失敗率低于閾值,則變?yōu)殛P(guān)閉狀態(tài)。

Circuitbreaker狀態(tài)機(jī)

Resilience4j記錄請求狀態(tài)的數(shù)據(jù)結(jié)構(gòu)和Hystrix不同,Hystrix是使用滑動(dòng)窗口來進(jìn)行存儲的,而Resilience4j采用的是Ring Bit Buffer(環(huán)形緩沖區(qū))。Ring Bit Buffer在內(nèi)部使用BitSet這樣的數(shù)據(jù)結(jié)構(gòu)來進(jìn)行存儲,BitSet的結(jié)構(gòu)如下圖所示:

環(huán)形緩沖區(qū)

每一次請求的成功或失敗狀態(tài)只占用一個(gè)bit位,與boolean數(shù)組相比更節(jié)省內(nèi)存。BitSet使用long[]數(shù)組來存儲這些數(shù)據(jù),意味著16個(gè)值(64bit)的數(shù)組可以存儲1024個(gè)調(diào)用狀態(tài)。

計(jì)算失敗率需要填滿環(huán)形緩沖區(qū)。例如,如果環(huán)形緩沖區(qū)的大小為10,則必須至少請求滿10次,才會(huì)進(jìn)行故障率的計(jì)算,如果僅僅請求了9次,即使9個(gè)請求都失敗,熔斷器也不會(huì)打開。但是CLOSE狀態(tài)下的緩沖區(qū)大小設(shè)置為10并不意味著只會(huì)進(jìn)入10個(gè) 請求,在熔斷器打開之前的所有請求都會(huì)被放入。

當(dāng)故障率高于設(shè)定的閾值時(shí),熔斷器狀態(tài)會(huì)從由CLOSE變?yōu)?strong>OPEN。這時(shí)所有的請求都會(huì)拋出CallNotPermittedException異常。當(dāng)經(jīng)過一段時(shí)間后,熔斷器的狀態(tài)會(huì)從OPEN變?yōu)?strong>HALF_OPEN,HALF_OPEN狀態(tài)下同樣會(huì)有一個(gè)Ring Bit Buffer,用來計(jì)算HALF_OPEN狀態(tài)下的故障率,如果高于配置的閾值,會(huì)轉(zhuǎn)換為OPEN,低于閾值則裝換為CLOSE。與CLOSE狀態(tài)下的緩沖區(qū)不同的地方在于,HALF_OPEN狀態(tài)下的緩沖區(qū)大小會(huì)限制請求數(shù),只有緩沖區(qū)大小的請求數(shù)會(huì)被放入。

除此以外,熔斷器還會(huì)有兩種特殊狀態(tài):DISABLED(始終允許訪問)和FORCED_OPEN(始終拒絕訪問)。這兩個(gè)狀態(tài)不會(huì)生成熔斷器事件(除狀態(tài)裝換外),并且不會(huì)記錄事件的成功或者失敗。退出這兩個(gè)狀態(tài)的唯一方法是觸發(fā)狀態(tài)轉(zhuǎn)換或者重置熔斷器。

熔斷器關(guān)于線程安全的保證措施有以下幾個(gè)部分:

  • 熔斷器的狀態(tài)使用AtomicReference保存的
  • 更新熔斷器狀態(tài)是通過無狀態(tài)的函數(shù)或者原子操作進(jìn)行的
  • 更新事件的狀態(tài)用synchronized關(guān)鍵字保護(hù)

意味著同一時(shí)間只有一個(gè)線程能夠修改熔斷器狀態(tài)或者記錄事件的狀態(tài)。

可配置參數(shù)

配置參數(shù)默認(rèn)值描述
failureRateThreshold50熔斷器關(guān)閉狀態(tài)和半開狀態(tài)使用的同一個(gè)失敗率閾值
ringBufferSizeInHalfOpenState10熔斷器半開狀態(tài)的緩沖區(qū)大小,會(huì)限制線程的并發(fā)量,例如緩沖區(qū)為10則每次只會(huì)允許10個(gè)請求調(diào)用后端服務(wù)
ringBufferSizeInClosedState100熔斷器關(guān)閉狀態(tài)的緩沖區(qū)大小,不會(huì)限制線程的并發(fā)量,在熔斷器發(fā)生狀態(tài)轉(zhuǎn)換前所有請求都會(huì)調(diào)用后端服務(wù)
waitDurationInOpenState60(s)熔斷器從打開狀態(tài)轉(zhuǎn)變?yōu)榘腴_狀態(tài)等待的時(shí)間
automaticTransitionFromOpenToHalfOpenEnabledfalse如果置為true,當(dāng)?shù)却龝r(shí)間結(jié)束會(huì)自動(dòng)由打開變?yōu)榘腴_,若置為false,則需要一個(gè)請求進(jìn)入來觸發(fā)熔斷器狀態(tài)轉(zhuǎn)換
recordExceptionsempty需要記錄為失敗的異常列表
ignoreExceptionsempty需要忽略的異常列表
recordFailurethrowable -> true自定義的謂詞邏輯用于判斷異常是否需要記錄或者需要忽略,默認(rèn)所有異常都進(jìn)行記錄

測試前準(zhǔn)備

pom.xml

測試使用的IDEidea,使用的springboot進(jìn)行學(xué)習(xí)測試,首先引入maven依賴:

?

<dependency><groupId>io.github.resilience4j</groupId><artifactId>resilience4j-spring-boot</artifactId><version>0.9.0</version> </dependency>

resilience4j-spring-boot集成了circuitbeakerretrybulkheadratelimiter幾個(gè)模塊,因?yàn)楹罄m(xù)還要學(xué)習(xí)其他模塊,就直接引入resilience4j-spring-boot依賴。

application.yml配置

?

resilience4j:circuitbreaker:configs:default:ringBufferSizeInClosedState: 5 # 熔斷器關(guān)閉時(shí)的緩沖區(qū)大小ringBufferSizeInHalfOpenState: 2 # 熔斷器半開時(shí)的緩沖區(qū)大小waitDurationInOpenState: 10000 # 熔斷器從打開到半開需要的時(shí)間failureRateThreshold: 60 # 熔斷器打開的失敗閾值eventConsumerBufferSize: 10 # 事件緩沖區(qū)大小registerHealthIndicator: true # 健康監(jiān)測automaticTransitionFromOpenToHalfOpenEnabled: false # 是否自動(dòng)從打開到半開,不需要觸發(fā)recordFailurePredicate: com.example.resilience4j.exceptions.RecordFailurePredicate # 謂詞設(shè)置異常是否為失敗recordExceptions: # 記錄的異常- com.example.resilience4j.exceptions.BusinessBException- com.example.resilience4j.exceptions.BusinessAExceptionignoreExceptions: # 忽略的異常- com.example.resilience4j.exceptions.BusinessAExceptioninstances:backendA:baseConfig: defaultwaitDurationInOpenState: 5000failureRateThreshold: 20backendB:baseConfig: default

可以配置多個(gè)熔斷器實(shí)例,使用不同配置或者覆蓋配置。

需要保護(hù)的后端服務(wù)

以一個(gè)查找用戶列表的后端服務(wù)為例,利用熔斷器保護(hù)該服務(wù)。

?

interface RemoteService {List<User> process() throws TimeoutException, InterruptedException; }

連接器調(diào)用該服務(wù)

這是調(diào)用遠(yuǎn)端服務(wù)的連接器,我們通過調(diào)用連接器中的方法來調(diào)用后端服務(wù)。

?

public RemoteServiceConnector{public List<User> process() throws TimeoutException, InterruptedException {List<User> users;users = remoteServic.process();return users;} }

用于監(jiān)控熔斷器狀態(tài)及事件的工具類

要想學(xué)習(xí)各個(gè)配置項(xiàng)的作用,需要獲取特定時(shí)候的熔斷器狀態(tài),寫一個(gè)工具類:

?

@Log4j2 public class CircuitBreakerUtil {/*** @Description: 獲取熔斷器的狀態(tài)*/public static void getCircuitBreakerStatus(String time, CircuitBreaker circuitBreaker){CircuitBreaker.Metrics metrics = circuitBreaker.getMetrics();// Returns the failure rate in percentage.float failureRate = metrics.getFailureRate();// Returns the current number of buffered calls.int bufferedCalls = metrics.getNumberOfBufferedCalls();// Returns the current number of failed calls.int failedCalls = metrics.getNumberOfFailedCalls();// Returns the current number of successed calls.int successCalls = metrics.getNumberOfSuccessfulCalls();// Returns the max number of buffered calls.int maxBufferCalls = metrics.getMaxNumberOfBufferedCalls();// Returns the current number of not permitted calls.long notPermittedCalls = metrics.getNumberOfNotPermittedCalls();log.info(time + "state=" +circuitBreaker.getState() + " , metrics[ failureRate=" + failureRate +", bufferedCalls=" + bufferedCalls +", failedCalls=" + failedCalls +", successCalls=" + successCalls +", maxBufferCalls=" + maxBufferCalls +", notPermittedCalls=" + notPermittedCalls +" ]");}/*** @Description: 監(jiān)聽熔斷器事件*/public static void addCircuitBreakerListener(CircuitBreaker circuitBreaker){circuitBreaker.getEventPublisher().onSuccess(event -> log.info("服務(wù)調(diào)用成功:" + event.toString())).onError(event -> log.info("服務(wù)調(diào)用失敗:" + event.toString())).onIgnoredError(event -> log.info("服務(wù)調(diào)用失敗,但異常被忽略:" + event.toString())).onReset(event -> log.info("熔斷器重置:" + event.toString())).onStateTransition(event -> log.info("熔斷器狀態(tài)改變:" + event.toString())).onCallNotPermitted(event -> log.info(" 熔斷器已經(jīng)打開:" + event.toString()));}

調(diào)用方法

CircuitBreaker目前支持兩種方式調(diào)用,一種是程序式調(diào)用,一種是AOP使用注解的方式調(diào)用。

程序式的調(diào)用方法

CircuitService中先注入注冊器,然后用注冊器通過熔斷器名稱獲取熔斷器。如果不需要使用降級函數(shù),可以直接調(diào)用熔斷器的executeSupplier方法或executeCheckedSupplier方法:

?

public class CircuitBreakerServiceImpl{@Autowiredprivate CircuitBreakerRegistry circuitBreakerRegistry;public List<User> circuitBreakerNotAOP() throws Throwable {CircuitBreaker circuitBreaker = circuitBreakerRegistry.circuitBreaker("backendA");CircuitBreakerUtil.getCircuitBreakerStatus("執(zhí)行開始前:", circuitBreaker);circuitBreaker.executeCheckedSupplier(remotServiceConnector::process);} }

如果需要使用降級函數(shù),則要使用decorate包裝服務(wù)的方法,再使用Try.of().recover()進(jìn)行降級處理,同時(shí)也可以根據(jù)不同的異常使用不同的降級方法:

?

public class CircuitBreakerServiceImpl {@Autowiredprivate RemoteServiceConnector remoteServiceConnector;@Autowiredprivate CircuitBreakerRegistry circuitBreakerRegistry;public List<User> circuitBreakerNotAOP(){// 通過注冊器獲取熔斷器的實(shí)例CircuitBreaker circuitBreaker = circuitBreakerRegistry.circuitBreaker("backendA");CircuitBreakerUtil.getCircuitBreakerStatus("執(zhí)行開始前:", circuitBreaker);// 使用熔斷器包裝連接器的方法CheckedFunction0<List<User>> checkedSupplier = CircuitBreaker.decorateCheckedSupplier(circuitBreaker, remoteServiceConnector::process);// 使用Try.of().recover()調(diào)用并進(jìn)行降級處理Try<List<User>> result = Try.of(checkedSupplier).recover(CallNotPermittedException.class, throwable -> {log.info("熔斷器已經(jīng)打開,拒絕訪問被保護(hù)方法~");CircuitBreakerUtil.getCircuitBreakerStatus("熔斷器打開中:", circuitBreaker);List<User> users = new ArrayList();return users;}).recover(throwable -> {log.info(throwable.getLocalizedMessage() + ",方法被降級了~~");CircuitBreakerUtil.getCircuitBreakerStatus("降級方法中:",circuitBreaker);List<User> users = new ArrayList();return users;});CircuitBreakerUtil.getCircuitBreakerStatus("執(zhí)行結(jié)束后:", circuitBreaker);return result.get();} }

AOP式的調(diào)用方法

首先在連接器方法上使用@CircuitBreaker(name="",fallbackMethod="")注解,其中name是要使用的熔斷器的名稱,fallbackMethod是要使用的降級方法,降級方法必須和原方法放在同一個(gè)類中,且降級方法的返回值需要和原方法相同,輸入?yún)?shù)需要添加額外的exception參數(shù),類似這樣:

?

public RemoteServiceConnector{@CircuitBreaker(name = "backendA", fallbackMethod = "fallBack")public List<User> process() throws TimeoutException, InterruptedException {List<User> users;users = remoteServic.process();return users;}private List<User> fallBack(Throwable throwable){log.info(throwable.getLocalizedMessage() + ",方法被降級了~~");CircuitBreakerUtil.getCircuitBreakerStatus("降級方法中:", circuitBreakerRegistry.circuitBreaker("backendA"));List<User> users = new ArrayList();return users;}private List<User> fallBack(CallNotPermittedException e){log.info("熔斷器已經(jīng)打開,拒絕訪問被保護(hù)方法~");CircuitBreakerUtil.getCircuitBreakerStatus("熔斷器打開中:", circuitBreakerRegistry.circuitBreaker("backendA"));List<User> users = new ArrayList();return users;}}

可使用多個(gè)降級方法,保持方法名相同,同時(shí)滿足的條件的降級方法會(huì)觸發(fā)最接近的一個(gè)(這里的接近是指類型的接近,先會(huì)觸發(fā)離它最近的子類異常),例如如果process()方法拋出CallNotPermittedException,將會(huì)觸發(fā)fallBack(CallNotPermittedException e)方法而不會(huì)觸發(fā)fallBack(Throwable throwable)方法。

之后直接調(diào)用方法就可以了:

?

public class CircuitBreakerServiceImpl {@Autowiredprivate RemoteServiceConnector remoteServiceConnector;@Autowiredprivate CircuitBreakerRegistry circuitBreakerRegistry;public List<User> circuitBreakerAOP() throws TimeoutException, InterruptedException {CircuitBreakerUtil.getCircuitBreakerStatus("執(zhí)行開始前:",circuitBreakerRegistry.circuitBreaker("backendA"));List<User> result = remoteServiceConnector.process();CircuitBreakerUtil.getCircuitBreakerStatus("執(zhí)行結(jié)束后:", circuitBreakerRegistry.circuitBreaker("backendA"));return result;} }

使用測試

接下來進(jìn)入測試,首先我們定義了兩個(gè)異常,異常A同時(shí)在黑白名單中,異常B只在黑名單中:

?

recordExceptions: # 記錄的異常- com.example.resilience4j.exceptions.BusinessBException- com.example.resilience4j.exceptions.BusinessAException ignoreExceptions: # 忽略的異常- com.example.resilience4j.exceptions.BusinessAException

然后對被保護(hù)的后端接口進(jìn)行如下的實(shí)現(xiàn):

?

public class RemoteServiceImpl implements RemoteService {private static AtomicInteger count = new AtomicInteger(0);public List<User> process() {int num = count.getAndIncrement();log.info("count的值 = " + num);if (num % 4 == 1){throw new BusinessAException("異常A,不需要被記錄");}if (num % 4 == 2 || num % 4 == 3){throw new BusinessBException("異常B,需要被記錄");}log.info("服務(wù)正常運(yùn)行,獲取用戶列表");// 模擬數(shù)據(jù)庫的正常查詢r(jià)eturn repository.findAll();} }

使用CircuitBreakerServiceImpl中的AOP或者程序式調(diào)用方法進(jìn)行單元測試,循環(huán)調(diào)用10次:

?

public class CircuitBreakerServiceImplTest{@Autowiredprivate CircuitBreakerServiceImpl circuitService;@Testpublic void circuitBreakerTest() {for (int i=0; i<10; i++){// circuitService.circuitBreakerAOP();circuitService.circuitBreakerNotAOP();}} }

看下運(yùn)行結(jié)果:

?

執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=0, failedCalls=0, successCalls=0, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 0 服務(wù)正常運(yùn)行,獲取用戶列表 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, 執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 1 異常A,不需要被記錄,方法被降級了~~ 降級方法中:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 2 異常B,需要被記錄,方法被降級了~~ 降級方法中:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=2, failedCalls=1, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=2, failedCalls=1, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=2, failedCalls=1, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 3 異常B,需要被記錄,方法被降級了~~ 降級方法中:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=3, failedCalls=2, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=3, failedCalls=2, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=3, failedCalls=2, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 4 服務(wù)正常運(yùn)行,獲取用戶列表 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=4, failedCalls=2, successCalls=2, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=4, failedCalls=2, successCalls=2, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 5 異常A,不需要被記錄,方法被降級了~~ 降級方法中:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=4, failedCalls=2, successCalls=2, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=4, failedCalls=2, successCalls=2, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=4, failedCalls=2, successCalls=2, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 6 異常B,需要被記錄,方法被降級了~~ 降級方法中:state=OPEN , metrics[ failureRate=60.0, bufferedCalls=5, failedCalls=3, successCalls=2, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=OPEN , metrics[ failureRate=60.0, bufferedCalls=5, failedCalls=3, successCalls=2, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=OPEN , metrics[ failureRate=60.0, bufferedCalls=5, failedCalls=3, successCalls=2, maxBufferCalls=5, notPermittedCalls=0 ] 熔斷器已經(jīng)打開,拒絕訪問被保護(hù)方法~ 熔斷器打開中:state=OPEN , metrics[ failureRate=60.0, bufferedCalls=5, failedCalls=3, successCalls=2, maxBufferCalls=5, notPermittedCalls=1 ] 執(zhí)行結(jié)束后:state=OPEN , metrics[ failureRate=60.0, bufferedCalls=5, failedCalls=3, successCalls=2, maxBufferCalls=5, notPermittedCalls=1 ]

注意到異常A發(fā)生的前后bufferedCallsfailedCallssuccessCalls三個(gè)參數(shù)的值都沒有沒有發(fā)生變化,說明白名單的優(yōu)先級高于黑名單,源碼中也有提到Ignoring an exception has priority over recording an exception

?

/** * @see #ignoreExceptions(Class[]) ). Ignoring an exception has priority over recording an exception. * <p> * Example: * recordExceptions(Throwable.class) and ignoreExceptions(RuntimeException.class) * would capture all Errors and checked Exceptions, and ignore unchecked * <p> */

同時(shí)也可以看出白名單所謂的忽略,是指不計(jì)入緩沖區(qū)中(即不算成功也不算失敗),有降級方法會(huì)調(diào)用降級方法,沒有降級方法會(huì)拋出異常,和其他異常無異。

?

執(zhí)行開始前:state=OPEN , metrics[ failureRate=60.0, bufferedCalls=5, failedCalls=3, successCalls=2, maxBufferCalls=5, notPermittedCalls=0 ] 熔斷器已經(jīng)打開,拒絕訪問被保護(hù)方法~ 熔斷器打開中:state=OPEN , metrics[ failureRate=60.0, bufferedCalls=5, failedCalls=3, successCalls=2, maxBufferCalls=5, notPermittedCalls=1 ] 執(zhí)行結(jié)束后:state=OPEN , metrics[ failureRate=60.0, bufferedCalls=5, failedCalls=3, successCalls=2, maxBufferCalls=5, notPermittedCalls=1 ]

當(dāng)環(huán)形緩沖區(qū)大小被填滿時(shí)會(huì)計(jì)算失敗率,這時(shí)請求會(huì)被拒絕獲取不到count的值,且notPermittedCalls會(huì)增加。


接下來我們實(shí)驗(yàn)一下多線程下熔斷器關(guān)閉和熔斷器半開兩種情況下緩沖環(huán)的區(qū)別,我們先開15個(gè)線程進(jìn)行調(diào)用測試熔斷器關(guān)閉時(shí)的緩沖環(huán),熔斷之后等10s再開15個(gè)線程進(jìn)行調(diào)用測試熔斷器半開時(shí)的緩沖環(huán):

?

public class CircuitBreakerServiceImplTest{@Autowiredprivate CircuitBreakerServiceImpl circuitService;@Testpublic void circuitBreakerThreadTest() throws InterruptedException {ExecutorService pool = Executors.newCachedThreadPool();for (int i=0; i<15; i++){pool.submit(// circuitService::circuitBreakerAOPcircuitService::circuitBreakerNotAOP);}pool.shutdown();while (!pool.isTerminated());Thread.sleep(10000);log.info("熔斷器狀態(tài)已轉(zhuǎn)為半開");pool = Executors.newCachedThreadPool();for (int i=0; i<15; i++){pool.submit(// circuitService::circuitBreakerAOPcircuitService::circuitBreakerNotAOP);}pool.shutdown();while (!pool.isTerminated());for (int i=0; i<10; i++){}} }

15個(gè)線程都通過了熔斷器,由于正常返回需要查數(shù)據(jù)庫,所以會(huì)慢很多,失敗率很快就達(dá)到了100%,而且觀察到如下的記錄:

?

異常B,需要被記錄,方法被降級了~~ 降級方法中:state=OPEN , metrics[ failureRate=100.0, bufferedCalls=5, failedCalls=5, successCalls=0, maxBufferCalls=5, notPermittedCalls=0 ]

可以看出,雖然熔斷器已經(jīng)打開了,可是異常B還是進(jìn)入了降級方法,拋出的異常不是notPermittedCalls數(shù)量為0,說明在熔斷器轉(zhuǎn)換成打開之前所有請求都通過了熔斷器,緩沖環(huán)不會(huì)控制線程的并發(fā)。

?

執(zhí)行結(jié)束后:state=OPEN , metrics[ failureRate=80.0, bufferedCalls=5, failedCalls=4, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=OPEN , metrics[ failureRate=60.0, bufferedCalls=5, failedCalls=3, successCalls=2, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=OPEN , metrics[ failureRate=40.0, bufferedCalls=5, failedCalls=2, successCalls=3, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=OPEN , metrics[ failureRate=20.0, bufferedCalls=5, failedCalls=1, successCalls=4, maxBufferCalls=5, notPermittedCalls=0 ]

同時(shí)以上幾條正常執(zhí)行的服務(wù)完成后,熔斷器的失敗率在下降,說明熔斷器打開狀態(tài)下還是會(huì)計(jì)算失敗率,由于環(huán)形緩沖區(qū)大小為5,初步推斷成功的狀態(tài)會(huì)依次覆蓋最開始的幾個(gè)狀態(tài),所以得到了上述結(jié)果。

接下來分析后15個(gè)線程的結(jié)果

?

熔斷器狀態(tài)已轉(zhuǎn)為半開 執(zhí)行開始前:state=OPEN , metrics[ failureRate=0.0, bufferedCalls=5, failedCalls=0, successCalls=5, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=OPEN , metrics[ failureRate=0.0, bufferedCalls=5, failedCalls=0, successCalls=5, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=OPEN , metrics[ failureRate=0.0, bufferedCalls=5, failedCalls=0, successCalls=5, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=OPEN , metrics[ failureRate=0.0, bufferedCalls=5, failedCalls=0, successCalls=5, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=OPEN , metrics[ failureRate=0.0, bufferedCalls=5, failedCalls=0, successCalls=5, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=OPEN , metrics[ failureRate=0.0, bufferedCalls=5, failedCalls=0, successCalls=5, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 16 服務(wù)正常運(yùn)行,獲取用戶列表 執(zhí)行開始前:state=OPEN , metrics[ failureRate=0.0, bufferedCalls=5, failedCalls=0, successCalls=5, maxBufferCalls=5, notPermittedCalls=0 ] 熔斷器狀態(tài)改變:2019-07-29T17:19:19.959+08:00[Asia/Shanghai]: CircuitBreaker 'backendA' changed state from OPEN to HALF_OPEN count的值 = 18 count的值 = 17 服務(wù)正常運(yùn)行,獲取用戶列表 count的值 = 19 count的值 = 15

熔斷器狀態(tài)從打開到半開我設(shè)置的是5s,前15個(gè)線程調(diào)用之后我等待了10s,熔斷器應(yīng)該已經(jīng)變?yōu)榘腴_了,但是執(zhí)行開始前熔斷器的狀態(tài)卻是OPEN,這是因?yàn)槟J(rèn)的配置項(xiàng)automaticTransitionFromOpenToHalfOpenEnabled=false,時(shí)間到了也不會(huì)自動(dòng)轉(zhuǎn)換,需要有新的請求來觸發(fā)熔斷器的狀態(tài)轉(zhuǎn)換。同時(shí)我們發(fā)現(xiàn),好像狀態(tài)改變后還是進(jìn)了超過4個(gè)請求,似乎半開狀態(tài)的環(huán)并不能限制線程數(shù)?這是由于這些進(jìn)程是在熔斷器打開時(shí)一起進(jìn)來的。為了更好的觀察環(huán)半開時(shí)候環(huán)大小是否限制線程數(shù),我們修改一下配置:

?

resilience4j:circuitbreaker:configs:myDefault:automaticTransitionFromOpenToHalfOpenEnabled: true # 是否自動(dòng)從打開到半開

我們再試一次:

?

熔斷器狀態(tài)已轉(zhuǎn)為半開 執(zhí)行開始前:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=0, failedCalls=0, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] 執(zhí)行開始前:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=0, failedCalls=0, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] 執(zhí)行開始前:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=0, failedCalls=0, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] count的值 = 15 count的值 = 16 服務(wù)正常運(yùn)行,獲取用戶列表異常B,需要被記錄,方法被降級了~~ 降級方法中:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=1, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=1, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] count的值 = 17 異常A,不需要被記錄,方法被降級了~~ 降級方法中:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=2, failedCalls=2, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] 執(zhí)行開始前:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=2, failedCalls=2, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] count的值 = 18 執(zhí)行開始前:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=2, failedCalls=2, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] 異常B,需要被記錄,方法被降級了~~ 降級方法中:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=3, failedCalls=3, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=3, failedCalls=3, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] 熔斷器已經(jīng)打開:2019-07-29T17:36:14.189+08:00[Asia/Shanghai]: CircuitBreaker 'backendA' recorded a call which was not permitted. 執(zhí)行開始前:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=2, failedCalls=2, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=HALF_OPEN , metrics[ failureRate=-1.0, bufferedCalls=2, failedCalls=2, successCalls=0, maxBufferCalls=4, notPermittedCalls=0 ] 熔斷器已經(jīng)打開,拒絕訪問被保護(hù)方法~

結(jié)果只有4個(gè)請求進(jìn)去了,可以看出雖然熔斷器狀態(tài)還是半開,但是已經(jīng)熔斷了,說明在半開狀態(tài)下,超過環(huán)大小的請求會(huì)被直接拒絕。

綜上,circuitbreaker的機(jī)制已經(jīng)被證實(shí),且十分清晰,以下為幾個(gè)需要注意的點(diǎn):

  • 失敗率的計(jì)算必須等環(huán)裝滿才會(huì)計(jì)算
  • 白名單優(yōu)先級高于黑名單且白名單上的異常會(huì)被忽略,不會(huì)占用緩沖環(huán)位置,即不會(huì)計(jì)入失敗率計(jì)算
  • 熔斷器打開時(shí)同樣會(huì)計(jì)算失敗率,當(dāng)狀態(tài)轉(zhuǎn)換為半開時(shí)重置為-1
  • 只要出現(xiàn)異常都可以調(diào)用降級方法,不論是在白名單還是黑名單
  • 熔斷器的緩沖環(huán)有兩個(gè),一個(gè)關(guān)閉時(shí)的緩沖環(huán),一個(gè)打開時(shí)的緩沖環(huán)
  • 熔斷器關(guān)閉時(shí),直至熔斷器狀態(tài)轉(zhuǎn)換前所有請求都會(huì)通過,不會(huì)受到限制
  • 熔斷器半開時(shí),限制請求數(shù)為緩沖環(huán)的大小,其他請求會(huì)等待
  • 熔斷器從打開到半開的轉(zhuǎn)換默認(rèn)還需要請求進(jìn)行觸發(fā),也可通過automaticTransitionFromOpenToHalfOpenEnabled=true設(shè)置為自動(dòng)觸發(fā)

TimeLimiter

簡介

Hystrix不同,Resilience4j將超時(shí)控制器從熔斷器中獨(dú)立出來,成為了一個(gè)單獨(dú)的組件,主要的作用就是對方法調(diào)用進(jìn)行超時(shí)控制。實(shí)現(xiàn)的原理和Hystrix相似,都是通過調(diào)用Futureget方法來進(jìn)行超時(shí)控制。

可配置參數(shù)

配置參數(shù)默認(rèn)值描述
timeoutDuration1(s)超時(shí)時(shí)間限定
cancelRunningFuturetrue當(dāng)超時(shí)時(shí)是否關(guān)閉取消線程

測試前準(zhǔn)備

pom.xml

?

<dependency><groupId>io.github.resilience4j</groupId><artifactId>resilience4j-timelimiter</artifactId><version>0.16.0</version> </dependency>

TimeLimiter沒有整合進(jìn)resilience4j-spring-boot中,需要單獨(dú)添加依賴

application.yml配置

?

timelimiter:timeoutDuration: 3000 # 超時(shí)時(shí)長cancelRunningFuture: true # 發(fā)生異常是否關(guān)閉線程

TimeLimiter沒有配置自動(dòng)注入,需要自己進(jìn)行注入,寫下面兩個(gè)文件進(jìn)行配置自動(dòng)注入:

TimeLimiterProperties

用于將application.yml中的配置轉(zhuǎn)換為TimeLimiterProperties對象:

?

@Data @Component @ConfigurationProperties(prefix = "resilience4j.timelimiter") public class TimeLimiterProperties {private Duration timeoutDuration;private boolean cancelRunningFuture; }

TimeLimiterConfiguration

TimeLimiterProperties對象寫入到TimeLimiter的配置中:

?

@Configuration public class TimeLimiterConfiguration {@Autowiredprivate TimeLimiterProperties timeLimiterProperties;@Beanpublic TimeLimiter timeLimiter(){return TimeLimiter.of(timeLimiterConfig());}private TimeLimiterConfig timeLimiterConfig(){return TimeLimiterConfig.custom().timeoutDuration(timeLimiterProperties.getTimeoutDuration()).cancelRunningFuture(timeLimiterProperties.isCancelRunningFuture()).build();} }

調(diào)用方法

還是以之前查詢用戶列表的后端服務(wù)為例。TimeLimiter目前僅支持程序式調(diào)用,還不能使用AOP的方式調(diào)用。

因?yàn)?strong>TimeLimiter通常與CircuitBreaker聯(lián)合使用,很少單獨(dú)使用,所以直接介紹聯(lián)合使用的步驟。

TimeLimiter沒有注冊器,所以通過@Autowired注解自動(dòng)注入依賴直接使用,因?yàn)?strong>TimeLimter是基于Futureget方法的,所以需要?jiǎng)?chuàng)建線程池,然后通過線程池的submit方法獲取Future對象:

?

public class CircuitBreakerServiceImpl {@Autowiredprivate RemoteServiceConnector remoteServiceConnector;@Autowiredprivate CircuitBreakerRegistry circuitBreakerRegistry;@Autowiredprivate TimeLimiter timeLimiter;public List<User> circuitBreakerTimeLimiter(){// 通過注冊器獲取熔斷器的實(shí)例CircuitBreaker circuitBreaker = circuitBreakerRegistry.circuitBreaker("backendA");CircuitBreakerUtil.getCircuitBreakerStatus("執(zhí)行開始前:", circuitBreaker);// 創(chuàng)建單線程的線程池ExecutorService pool = Executors.newSingleThreadExecutor();//將被保護(hù)方法包裝為能夠返回Future的supplier函數(shù)Supplier<Future<List<User>>> futureSupplier = () -> pool.submit(remoteServiceConnector::process);// 先用限時(shí)器包裝,再用熔斷器包裝Callable<List<User>> restrictedCall = TimeLimiter.decorateFutureSupplier(timeLimiter, futureSupplier);Callable<List<User>> chainedCallable = CircuitBreaker.decorateCallable(circuitBreaker, restrictedCall);// 使用Try.of().recover()調(diào)用并進(jìn)行降級處理Try<List<User>> result = Try.of(chainedCallable::call).recover(CallNotPermittedException.class, throwable ->{log.info("熔斷器已經(jīng)打開,拒絕訪問被保護(hù)方法~");CircuitBreakerUtil.getCircuitBreakerStatus("熔斷器打開中", circuitBreaker);List<User> users = new ArrayList();return users;}).recover(throwable -> {log.info(throwable.getLocalizedMessage() + ",方法被降級了~~");CircuitBreakerUtil.getCircuitBreakerStatus("降級方法中:",circuitBreaker);List<User> users = new ArrayList();return users;});CircuitBreakerUtil.getCircuitBreakerStatus("執(zhí)行結(jié)束后:", circuitBreaker);return result.get();} }

使用測試

異常ABapplication.yml文件中沒有修改:

?

recordExceptions: # 記錄的異常- com.example.resilience4j.exceptions.BusinessBException- com.example.resilience4j.exceptions.BusinessAException ignoreExceptions: # 忽略的異常- com.example.resilience4j.exceptions.BusinessAException

使用另一個(gè)遠(yuǎn)程服務(wù)接口的實(shí)現(xiàn),將num%4==3的情況讓線程休眠5s,大于我們TimeLimiter的限制時(shí)間:

?

public class RemoteServiceImpl implements RemoteService {private static AtomicInteger count = new AtomicInteger(0);public List<User> process() {int num = count.getAndIncrement();log.info("count的值 = " + num);if (num % 4 == 1){throw new BusinessAException("異常A,不需要被記錄");}if (num % 4 == 2){throw new BusinessBException("異常B,需要被記錄");}if (num % 4 == 3){Thread.sleep(5000);}log.info("服務(wù)正常運(yùn)行,獲取用戶列表");// 模擬數(shù)據(jù)庫的正常查詢r(jià)eturn repository.findAll();} }

把調(diào)用方法進(jìn)行單元測試,循環(huán)10遍:

?

public class CircuitBreakerServiceImplTest{@Autowiredprivate CircuitBreakerServiceImpl circuitService;@Testpublic void circuitBreakerTimeLimiterTest() {for (int i=0; i<10; i++){circuitService.circuitBreakerTimeLimiter();}} }

看下運(yùn)行結(jié)果:

?

執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=0, failedCalls=0, successCalls=0, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 0 服務(wù)正常運(yùn)行,獲取用戶列表 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 1 com.example.resilience4j.exceptions.BusinessAException: 異常A,不需要被記錄,方法被降級了~~ 降級方法中:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 2 com.example.resilience4j.exceptions.BusinessBException: 異常B,需要被記錄,方法被降級了~~ 降級方法中:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行開始前:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 3 null,方法被降級了~~ 降級方法中:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ]

發(fā)現(xiàn)熔斷器任何異常和超時(shí)都沒有失敗。。完全不會(huì)觸發(fā)熔斷,這是為什么呢?我們把異常toString()看一下:

?

java.util.concurrent.ExecutionException: com.example.resilience4j.exceptions.BusinessBException: 異常B,需要被記錄,方法被降級了~~ java.util.concurrent.TimeoutException,方法被降級了~~

這下原因就很明顯了,線程池會(huì)將線程中的任何異常包裝為ExecutionException,而熔斷器沒有把異常解包,由于我們設(shè)置了黑名單,而熔斷器又沒有找到黑名單上的異常,所以失效了。這是一個(gè)已知的bug,會(huì)在下個(gè)版本(0.16.0之后)中修正,目前來說如果需要同時(shí)使用TimeLimiterCircuitBreaker的話,黑白名單的設(shè)置是不起作用的,需要自定義自己的謂詞邏輯,并在test()方法中將異常解包進(jìn)行判斷,比如像下面這樣:

?

public class RecordFailurePredicate implements Predicate<Throwable> {@Overridepublic boolean test(Throwable throwable) {if (throwable.getCause() instanceof BusinessAException) return false;else return true;} }

然后在application.yml文件中指定這個(gè)類作為判斷類:

?

circuitbreaker:configs:default:recordFailurePredicate: com.example.resilience4j.predicate.RecordFailurePredicate

就能自定義自己的黑白名單了,我們再運(yùn)行一次試試:

?

java.util.concurrent.TimeoutException,方法被降級了~~ 降級方法中:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=3, failedCalls=2, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] 執(zhí)行結(jié)束后:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=3, failedCalls=2, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ]

可以看出,TimeLimiter已經(jīng)生效了,同時(shí)CircuitBreaker也正常工作。

Note:

最新版0.17.0,該bug已經(jīng)修復(fù),黑白名單可以正常使用。

Retry

簡介

同熔斷器一樣,重試組件也提供了注冊器,可以通過注冊器獲取實(shí)例來進(jìn)行重試,同樣可以跟熔斷器配合使用。

可配置參數(shù)

配置參數(shù)默認(rèn)值描述
maxAttempts3最大重試次數(shù)
waitDuration500[ms]固定重試間隔
intervalFunctionnumberOfAttempts -> waitDuration用來改變重試時(shí)間間隔,可以選擇指數(shù)退避或者隨機(jī)時(shí)間間隔
retryOnResultPredicateresult -> false自定義結(jié)果重試規(guī)則,需要重試的返回true
retryOnExceptionPredicatethrowable -> true自定義異常重試規(guī)則,需要重試的返回true
retryExceptionsempty需要重試的異常列表
ignoreExceptionsempty需要忽略的異常列表

測試前準(zhǔn)備

pom.xml

不需要引入新的依賴,已經(jīng)集成在resilience4j-spring-boot中了

application.yml配置

?

resilience4j:retry:configs:default:maxRetryAttempts: 3waitDuration: 10senableExponentialBackoff: true # 是否允許使用指數(shù)退避算法進(jìn)行重試間隔時(shí)間的計(jì)算expontialBackoffMultiplier: 2 # 指數(shù)退避算法的乘數(shù)enableRandomizedWait: false # 是否允許使用隨機(jī)的重試間隔randomizedWaitFactor: 0.5 # 隨機(jī)因子resultPredicate: com.example.resilience4j.predicate.RetryOnResultPredicate retryExceptionPredicate: com.example.resilience4j.predicate.RetryOnExceptionPredicateretryExceptions:- com.example.resilience4j.exceptions.BusinessBException- com.example.resilience4j.exceptions.BusinessAException- io.github.resilience4j.circuitbreaker.CallNotPermittedExceptionignoreExceptions:- io.github.resilience4j.circuitbreaker.CallNotPermittedExceptioninstances:backendA:baseConfig: defaultwaitDuration: 5sbackendB:baseConfig: defaultmaxRetryAttempts: 2

application.yml可以配置的參數(shù)多出了幾個(gè)enableExponentialBackoffexpontialBackoffMultiplierenableRandomizedWaitrandomizedWaitFactor,分別代表是否允許指數(shù)退避間隔時(shí)間,指數(shù)退避的乘數(shù)、是否允許隨機(jī)間隔時(shí)間、隨機(jī)因子,注意指數(shù)退避和隨機(jī)間隔不能同時(shí)啟用。

用于監(jiān)控重試組件狀態(tài)及事件的工具類

同樣為了監(jiān)控重試組件,寫一個(gè)工具類:

?

@Log4j2 public class RetryUtil {/*** @Description: 獲取重試的狀態(tài)*/public static void getRetryStatus(String time, Retry retry){Retry.Metrics metrics = retry.getMetrics();long failedRetryNum = metrics.getNumberOfFailedCallsWithRetryAttempt();long failedNotRetryNum = metrics.getNumberOfFailedCallsWithoutRetryAttempt();long successfulRetryNum = metrics.getNumberOfSuccessfulCallsWithRetryAttempt();long successfulNotyRetryNum = metrics.getNumberOfSuccessfulCallsWithoutRetryAttempt();log.info(time + "state=" + " metrics[ failedRetryNum=" + failedRetryNum +", failedNotRetryNum=" + failedNotRetryNum +", successfulRetryNum=" + successfulRetryNum +", successfulNotyRetryNum=" + successfulNotyRetryNum +" ]");}/*** @Description: 監(jiān)聽重試事件*/public static void addRetryListener(Retry retry){retry.getEventPublisher().onSuccess(event -> log.info("服務(wù)調(diào)用成功:" + event.toString())).onError(event -> log.info("服務(wù)調(diào)用失敗:" + event.toString())).onIgnoredError(event -> log.info("服務(wù)調(diào)用失敗,但異常被忽略:" + event.toString())).onRetry(event -> log.info("重試:第" + event.getNumberOfRetryAttempts() + "次"));} }

調(diào)用方法

還是以之前查詢用戶列表的服務(wù)為例。Retry支持AOP和程序式兩種方式的調(diào)用.

程序式的調(diào)用方法

CircuitBreaker的調(diào)用方式差不多,和熔斷器配合使用有兩種調(diào)用方式,一種是先用重試組件裝飾,再用熔斷器裝飾,這時(shí)熔斷器的失敗需要等重試結(jié)束才計(jì)算,另一種是先用熔斷器裝飾,再用重試組件裝飾,這時(shí)每次調(diào)用服務(wù)都會(huì)記錄進(jìn)熔斷器的緩沖環(huán)中,需要注意的是,第二種方式需要把CallNotPermittedException放進(jìn)重試組件的白名單中,因?yàn)槿蹟嗥鞔蜷_時(shí)重試是沒有意義的:

?

public class CircuitBreakerServiceImpl {@Autowiredprivate RemoteServiceConnector remoteServiceConnector;@Autowiredprivate CircuitBreakerRegistry circuitBreakerRegistry;@Autowiredprivate RetryRegistry retryRegistry;public List<User> circuitBreakerRetryNotAOP(){// 通過注冊器獲取熔斷器的實(shí)例CircuitBreaker circuitBreaker = circuitBreakerRegistry.circuitBreaker("backendA");// 通過注冊器獲取重試組件實(shí)例Retry retry = retryRegistry.retry("backendA");CircuitBreakerUtil.getCircuitBreakerStatus("執(zhí)行開始前:", circuitBreaker);// 先用重試組件包裝,再用熔斷器包裝CheckedFunction0<List<User>> checkedSupplier = Retry.decorateCheckedSupplier(retry, remoteServiceConnector::process);CheckedFunction0<List<User>> chainedSupplier = CircuitBreaker .decorateCheckedSupplier(circuitBreaker, checkedSupplier);// 使用Try.of().recover()調(diào)用并進(jìn)行降級處理Try<List<User>> result = Try.of(chainedSupplier).recover(CallNotPermittedException.class, throwable -> {log.info("已經(jīng)被熔斷,停止重試");return new ArrayList<>();}).recover(throwable -> {log.info("重試失敗: " + throwable.getLocalizedMessage());return new ArrayList<>();});RetryUtil.getRetryStatus("執(zhí)行結(jié)束: ", retry);CircuitBreakerUtil.getCircuitBreakerStatus("執(zhí)行結(jié)束:", circuitBreaker);return result.get();} }

AOP式的調(diào)用方法

首先在連接器方法上使用@Retry(name="",fallbackMethod="")注解,其中name是要使用的重試器實(shí)例的名稱,fallbackMethod是要使用的降級方法:

?

public RemoteServiceConnector{@CircuitBreaker(name = "backendA", fallbackMethod = "fallBack")@Retry(name = "backendA", fallbackMethod = "fallBack")public List<User> process() throws TimeoutException, InterruptedException {List<User> users;users = remoteServic.process();return users;} }

要求和熔斷器一致,但是需要注意同時(shí)注解重試組件和熔斷器的話,是按照第二種方案來的,即每一次請求都會(huì)被熔斷器記錄。

之后直接調(diào)用方法:

?

public class CircuitBreakerServiceImpl {@Autowiredprivate RemoteServiceConnector remoteServiceConnector;@Autowiredprivate CircuitBreakerRegistry circuitBreakerRegistry;@Autowiredprivate RetryRegistry retryRegistry;public List<User> circuitBreakerRetryAOP() throws TimeoutException, InterruptedException {List<User> result = remoteServiceConnector.process();RetryUtil.getRetryStatus("執(zhí)行結(jié)束:", retryRegistry.retry("backendA"));CircuitBreakerUtil.getCircuitBreakerStatus("執(zhí)行結(jié)束:", circuitBreakerRegistry.circuitBreaker("backendA"));return result;} }

使用測試

異常ABapplication.yml文件中設(shè)定為都需要重試,因?yàn)槭褂玫谝环N方案,所以不需要將CallNotPermittedException設(shè)定在重試組件的白名單中,同時(shí)為了測試重試過程中的異常是否會(huì)被熔斷器記錄,將異常A從熔斷器白名單中去除:

?

recordExceptions: # 記錄的異常- com.example.resilience4j.exceptions.BusinessBException- com.example.resilience4j.exceptions.BusinessAException ignoreExceptions: # 忽略的異常 # - com.example.resilience4j.exceptions.BusinessAException # ... resultPredicate: com.example.resilience4j.predicate.RetryOnResultPredicate retryExceptions:- com.example.resilience4j.exceptions.BusinessBException- com.example.resilience4j.exceptions.BusinessAException- io.github.resilience4j.circuitbreaker.CallNotPermittedException ignoreExceptions: # - io.github.resilience4j.circuitbreaker.CallNotPermittedException

使用另一個(gè)遠(yuǎn)程服務(wù)接口的實(shí)現(xiàn),將num%4==2的情況返回null,測試根據(jù)返回結(jié)果進(jìn)行重試的功能:

?

public class RemoteServiceImpl implements RemoteService {private static AtomicInteger count = new AtomicInteger(0);public List<User> process() {int num = count.getAndIncrement();log.info("count的值 = " + num);if (num % 4 == 1){throw new BusinessAException("異常A,需要重試");}if (num % 4 == 2){return null;}if (num % 4 == 3){throw new BusinessBException("異常B,需要重試");}log.info("服務(wù)正常運(yùn)行,獲取用戶列表");// 模擬數(shù)據(jù)庫的正常查詢r(jià)eturn repository.findAll();} }

同時(shí)添加一個(gè)類自定義哪些返回值需要重試,設(shè)定為返回值為空就進(jìn)行重試,這樣num % 4 == 2時(shí)就可以測試不拋異常,根據(jù)返回結(jié)果進(jìn)行重試了:

?

public class RetryOnResultPredicate implements Predicate {@Overridepublic boolean test(Object o) {return o == null ? true : false;} }

使用CircuitBreakerServiceImpl中的AOP或者程序式調(diào)用方法進(jìn)行單元測試,循環(huán)調(diào)用10次:

?

public class CircuitBreakerServiceImplTest{@Autowiredprivate CircuitBreakerServiceImpl circuitService;@Testpublic void circuitBreakerRetryTest() {for (int i=0; i<10; i++){// circuitService.circuitBreakerRetryAOP();circuitService.circuitBreakerRetryNotAOP();}} }

看一下運(yùn)行結(jié)果:

?

count的值 = 0 服務(wù)正常運(yùn)行,獲取用戶列表 執(zhí)行結(jié)束: state= metrics[ failedRetryNum=0, failedNotRetryNum=0, successfulRetryNum=0, successfulNotyRetryNum=1 ] 執(zhí)行結(jié)束:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 1 重試:第1次 count的值 = 2 重試:第2次 count的值 = 3 服務(wù)調(diào)用失敗:2019-07-09T19:06:59.705+08:00[Asia/Shanghai]: Retry 'backendA' recorded a failed retry attempt. Number of retry attempts: '3', Last exception was: 'com.example.resilience4j.exceptions.BusinessBException: 異常B,需要重試'. 重試失敗: 異常B,需要重試 執(zhí)行結(jié)束: state= metrics[ failedRetryNum=1, failedNotRetryNum=0, successfulRetryNum=0, successfulNotyRetryNum=1 ] 執(zhí)行結(jié)束:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=2, failedCalls=1, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ]

這部分結(jié)果可以看出來,重試最大次數(shù)設(shè)置為3結(jié)果其實(shí)只重試了2次,服務(wù)共執(zhí)行了3次,重試3次后熔斷器只記錄了1次。而且返回值為null時(shí)也確實(shí)進(jìn)行重試了。

?

服務(wù)正常運(yùn)行,獲取用戶列表 執(zhí)行結(jié)束: state= metrics[ failedRetryNum=2, failedNotRetryNum=0, successfulRetryNum=0, successfulNotyRetryNum=3 ] 執(zhí)行結(jié)束:state=OPEN , metrics[ failureRate=40.0, bufferedCalls=5, failedCalls=2, successCalls=3, maxBufferCalls=5, notPermittedCalls=0 ] 已經(jīng)被熔斷,停止重試 執(zhí)行結(jié)束: state= metrics[ failedRetryNum=2, failedNotRetryNum=0, successfulRetryNum=0, successfulNotyRetryNum=3 ] 執(zhí)行結(jié)束:state=OPEN , metrics[ failureRate=40.0, bufferedCalls=5, failedCalls=2, successCalls=3, maxBufferCalls=5, notPermittedCalls=1 ]

當(dāng)熔斷之后不會(huì)再進(jìn)行重試。

接下來我修改一下調(diào)用服務(wù)的實(shí)現(xiàn):

?

public class RemoteServiceImpl implements RemoteService {private static AtomicInteger count = new AtomicInteger(0);public List<User> process() {int num = count.getAndIncrement();log.info("count的值 = " + num);if (num % 4 == 1){throw new BusinessAException("異常A,需要重試");}if (num % 4 == 3){return null;}if (num % 4 == 2){throw new BusinessBException("異常B,需要重試");}log.info("服務(wù)正常運(yùn)行,獲取用戶列表");// 模擬數(shù)據(jù)庫的正常查詢r(jià)eturn repository.findAll();} }

num%4==2變成異常Bnum%4==3變成返回null,看一下最后一次重試返回值為null屬于重試成功還是重試失敗。

運(yùn)行結(jié)果如下:

?

count的值 = 0 服務(wù)正常運(yùn)行,獲取用戶列表 執(zhí)行結(jié)束: state= metrics[ failedRetryNum=0, failedNotRetryNum=0, successfulRetryNum=0, successfulNotyRetryNum=1 ] 執(zhí)行結(jié)束:state=CLOSED , metrics[ failureRate=-1.0, bufferedCalls=1, failedCalls=0, successCalls=1, maxBufferCalls=5, notPermittedCalls=0 ] count的值 = 1 重試:第1次 count的值 = 2 重試:第2次 count的值 = 3 服務(wù)調(diào)用成功:2019-07-09T19:17:35.836+08:00[Asia/Shanghai]: Retry 'backendA' recorded a successful retry attempt. Number of retry attempts: '3', Last exception was: 'com.example.resilience4j.exceptions.BusinessBException: 異常B,需要重試'.

如上可知如果最后一次重試不拋出異常就算作重試成功,不管結(jié)果是否需要繼續(xù)重試。

Bulkhead

簡介

Resilence4jBulkhead提供兩種實(shí)現(xiàn),一種是基于信號量的,另一種是基于有等待隊(duì)列的固定大小的線程池的,由于基于信號量的Bulkhead能很好地在多線程和I/O模型下工作,所以選擇介紹基于信號量的Bulkhead的使用。

可配置參數(shù)

配置參數(shù)默認(rèn)值描述
maxConcurrentCalls25可允許的最大并發(fā)線程數(shù)
maxWaitDuration0嘗試進(jìn)入飽和艙壁時(shí)應(yīng)阻止線程的最大時(shí)間

測試前準(zhǔn)備

pom.xml

不需要引入新的依賴,已經(jīng)集成在resilience4j-spring-boot中了

application.yml配置

?

resilience4j:bulkhead:configs:default:maxConcurrentCalls: 10maxWaitDuration: 1000instances:backendA:baseConfig: defaultmaxConcurrentCalls: 3backendB:baseConfig: defaultmaxWaitDuration: 100

CircuitBreaker差不多,都是可以通過繼承覆蓋配置設(shè)定實(shí)例的。

用于監(jiān)控Bulkhead狀態(tài)及事件的工具類

同樣為了監(jiān)控Bulkhead組件,寫一個(gè)工具類:

?

@Log4j2 public class BulkhdadUtil {/*** @Description: 獲取bulkhead的狀態(tài)*/public static void getBulkheadStatus(String time, Bulkhead bulkhead){Bulkhead.Metrics metrics = bulkhead.getMetrics();// Returns the number of parallel executions this bulkhead can support at this point in time.int availableConcurrentCalls = metrics.getAvailableConcurrentCalls();// Returns the configured max amount of concurrent callsint maxAllowedConcurrentCalls = metrics.getMaxAllowedConcurrentCalls();log.info(time + ", metrics[ availableConcurrentCalls=" + availableConcurrentCalls +", maxAllowedConcurrentCalls=" + maxAllowedConcurrentCalls + " ]");}/*** @Description: 監(jiān)聽bulkhead事件*/public static void addBulkheadListener(Bulkhead bulkhead){bulkhead.getEventPublisher().onCallFinished(event -> log.info(event.toString())).onCallPermitted(event -> log.info(event.toString())).onCallRejected(event -> log.info(event.toString()));} }

調(diào)用方法

還是以之前查詢用戶列表的服務(wù)為例。Bulkhead支持AOP和程序式兩種方式的調(diào)用。

程序式的調(diào)用方法

調(diào)用方法都類似,裝飾方法之后用Try.of().recover()來執(zhí)行:

?

public class BulkheadServiceImpl {@Autowiredprivate RemoteServiceConnector remoteServiceConnector;@Autowiredprivate BulkheadRegistry bulkheadRegistry;public List<User> bulkheadNotAOP(){// 通過注冊器獲得Bulkhead實(shí)例Bulkhead bulkhead = bulkheadRegistry.bulkhead("backendA");BulkhdadUtil.getBulkheadStatus("開始執(zhí)行前: ", bulkhead);// 通過Try.of().recover()調(diào)用裝飾后的服務(wù)Try<List<User>> result = Try.of(Bulkhead.decorateCheckedSupplier(bulkhead, remoteServiceConnector::process)).recover(BulkheadFullException.class, throwable -> {log.info("服務(wù)失敗: " + throwable.getLocalizedMessage());return new ArrayList();});BulkhdadUtil.getBulkheadStatus("執(zhí)行結(jié)束: ", bulkhead);return result.get();} }

AOP式的調(diào)用方法

首先在連接器方法上使用@Bulkhead(name="", fallbackMethod="", type="")注解,其中name是要使用的Bulkhead實(shí)例的名稱,fallbackMethod是要使用的降級方法,type是選擇信號量或線程池的Bulkhead

?

public RemoteServiceConnector{@Bulkhead(name = "backendA", fallbackMethod = "fallback", type = Bulkhead.Type.SEMAPHORE)public List<User> process() throws TimeoutException, InterruptedException {List<User> users;users = remoteServic.process();return users;}private List<User> fallback(BulkheadFullException e){log.info("服務(wù)失敗: " + e.getLocalizedMessage());return new ArrayList();} }

如果RetryCircuitBreakerBulkhead同時(shí)注解在方法上,默認(rèn)的順序是Retry>CircuitBreaker>Bulkhead,即先控制并發(fā)再熔斷最后重試,之后直接調(diào)用方法:

?

public class BulkheadServiceImpl {@Autowiredprivate RemoteServiceConnector remoteServiceConnector;@Autowiredprivate BulkheadRegistry bulkheadRegistry;public List<User> bulkheadAOP() throws TimeoutException, InterruptedException {List<User> result = remoteServiceConnector.process();BulkheadUtil.getBulkheadStatus("執(zhí)行結(jié)束:", bulkheadRegistry.retry("backendA"));return result;} }

使用測試

application.yml文件中將backenA線程數(shù)限制為1,便于觀察,最大等待時(shí)間為1s,超過1s的會(huì)走降級方法:

?

instances:backendA:baseConfig: defaultmaxConcurrentCalls: 1

使用另一個(gè)遠(yuǎn)程服務(wù)接口的實(shí)現(xiàn),不拋出異常,當(dāng)做正常服務(wù)進(jìn)行:

?

public class RemoteServiceImpl implements RemoteService {private static AtomicInteger count = new AtomicInteger(0);public List<User> process() {int num = count.getAndIncrement();log.info("count的值 = " + num);log.info("服務(wù)正常運(yùn)行,獲取用戶列表");// 模擬數(shù)據(jù)庫正常查詢r(jià)eturn repository.findAll();} }

用線程池調(diào)5個(gè)線程去請求服務(wù):

?

public class BulkheadServiceImplTest{@Autowiredprivate BulkheadServiceImpl bulkheadService;@Autowiredprivate BulkheadRegistry bulkheadRegistry;@Testpublic void bulkheadTest() {BulkhdadUtil.addBulkheadListener(bulkheadRegistry.bulkhead("backendA"));ExecutorService pool = Executors.newCachedThreadPool();for (int i=0; i<5; i++){pool.submit(() -> {// bulkheadService.bulkheadAOP();bulkheadService.bulkheadNotAOP();});}pool.shutdown();while (!pool.isTerminated());}} }

看一下運(yùn)行結(jié)果:

?

開始執(zhí)行前: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ] 開始執(zhí)行前: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ] 開始執(zhí)行前: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ] 開始執(zhí)行前: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ] Bulkhead 'backendA' permitted a call. count的值 = 0 服務(wù)正常運(yùn)行,獲取用戶列表 開始執(zhí)行前: , metrics[ availableConcurrentCalls=0, maxAllowedConcurrentCalls=1 ] Bulkhead 'backendA' rejected a call. Bulkhead 'backendA' rejected a call. Bulkhead 'backendA' rejected a call. Bulkhead 'backendA' rejected a call. 服務(wù)失敗: Bulkhead 'backendA' is full and does not permit further calls 執(zhí)行結(jié)束: , metrics[ availableConcurrentCalls=0, maxAllowedConcurrentCalls=1 ] 服務(wù)失敗: Bulkhead 'backendA' is full and does not permit further calls 執(zhí)行結(jié)束: , metrics[ availableConcurrentCalls=0, maxAllowedConcurrentCalls=1 ] 服務(wù)失敗: Bulkhead 'backendA' is full and does not permit further calls 執(zhí)行結(jié)束: , metrics[ availableConcurrentCalls=0, maxAllowedConcurrentCalls=1 ] 服務(wù)失敗: Bulkhead 'backendA' is full and does not permit further calls 執(zhí)行結(jié)束: , metrics[ availableConcurrentCalls=0, maxAllowedConcurrentCalls=1 ] Bulkhead 'backendA' has finished a call. 執(zhí)行結(jié)束: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ]

由上可以看出,5個(gè)請求只有一個(gè)進(jìn)入,其余觸發(fā)rejected事件,然后自動(dòng)進(jìn)入降級方法。接下來我們把等待時(shí)間稍微加長一些:

?

instances:backendA:baseConfig: defaultmaxConcurrentCalls: 1maxWaitDuration: 5000

再運(yùn)行一次:

?

開始執(zhí)行前: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ] 開始執(zhí)行前: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ] 開始執(zhí)行前: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ] 開始執(zhí)行前: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ] 開始執(zhí)行前: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ] Bulkhead 'backendA' permitted a call. count的值 = 0 服務(wù)正常運(yùn)行,獲取用戶列表 Bulkhead 'backendA' permitted a call. count的值 = 1 Bulkhead 'backendA' has finished a call. 服務(wù)正常運(yùn)行,獲取用戶列表 執(zhí)行結(jié)束: , metrics[ availableConcurrentCalls=0, maxAllowedConcurrentCalls=1 ] Bulkhead 'backendA' has finished a call. 執(zhí)行結(jié)束: , metrics[ availableConcurrentCalls=1, maxAllowedConcurrentCalls=1 ] Bulkhead 'backendA' permitted a call.

前面的線程沒有馬上被拒絕,而是等待了一段時(shí)間再執(zhí)行。

RateLimiter

簡介

高頻控制是可以限制服務(wù)調(diào)用頻率,Resilience4jRateLimiter可以對頻率進(jìn)行納秒級別的控制,在每一個(gè)周期刷新可以調(diào)用的次數(shù),還可以設(shè)定線程等待權(quán)限的時(shí)間。

可配置參數(shù)

配置參數(shù)默認(rèn)值描述
timeoutDuration5[s]線程等待權(quán)限的默認(rèn)等待時(shí)間
limitRefreshPeriod500[ns]權(quán)限刷新的時(shí)間,每個(gè)周期結(jié)束后,RateLimiter將會(huì)把權(quán)限計(jì)數(shù)設(shè)置為limitForPeriod的值
limiteForPeriod50一個(gè)限制刷新期間的可用權(quán)限數(shù)

測試前準(zhǔn)備

pom.xml

不需要引入新的依賴,已經(jīng)集成在resilience4j-spring-boot中了

application.yml配置

?

resilience4j:ratelimiter:configs:default:limitForPeriod: 5limitRefreshPeriod: 1stimeoutDuration: 5sinstances:backendA:baseConfig: defaultlimitForPeriod: 1backendB:baseConfig: defaulttimeoutDuration: 0s

用于監(jiān)控RateLimiter狀態(tài)及事件的工具類

同樣為了監(jiān)控RateLimiter組件,寫一個(gè)工具類:

?

@Log4j2 public class RateLimiterUtil {/*** @Description: 獲取rateLimiter的狀態(tài)*/public static void getRateLimiterStatus(String time, RateLimiter rateLimiter){RateLimiter.Metrics metrics = rateLimiter.getMetrics();// Returns the number of availablePermissions in this duration.int availablePermissions = metrics.getAvailablePermissions();// Returns the number of WaitingThreadsint numberOfWaitingThreads = metrics.getNumberOfWaitingThreads();log.info(time + ", metrics[ availablePermissions=" + availablePermissions +", numberOfWaitingThreads=" + numberOfWaitingThreads + " ]");}/*** @Description: 監(jiān)聽rateLimiter事件*/public static void addRateLimiterListener(RateLimiter rateLimiter){rateLimiter.getEventPublisher().onSuccess(event -> log.info(event.toString())).onFailure(event -> log.info(event.toString()));} }

調(diào)用方法

還是以之前查詢用戶列表的服務(wù)為例。RateLimiter支持AOP和程序式兩種方式的調(diào)用。

程序式的調(diào)用方法

調(diào)用方法都類似,裝飾方法之后用Try.of().recover()來執(zhí)行:

?

public class RateLimiterServiceImpl {@Autowiredprivate RemoteServiceConnector remoteServiceConnector;@Autowiredprivate RateLimiterRegistry rateLimiterRegistry;public List<User> ratelimiterNotAOP(){// 通過注冊器獲得RateLimiter實(shí)例RateLimiter rateLimiter = rateLimiterRegistry.rateLimiter("backendA");RateLimiterUtil.getRateLimiterStatus("開始執(zhí)行前: ", rateLimiter);// 通過Try.of().recover()調(diào)用裝飾后的服務(wù)Try<List<User>> result = Try.of(Bulkhead.decorateCheckedSupplier(rateLimiter, remoteServiceConnector::process)).recover(BulkheadFullException.class, throwable -> {log.info("服務(wù)失敗: " + throwable.getLocalizedMessage());return new ArrayList();});RateLimiterUtil.getRateLimiterStatus("執(zhí)行結(jié)束: ", rateLimiter);return result.get();} }

AOP式的調(diào)用方法

首先在連接器方法上使用@RateLimiter(name="", fallbackMethod="")注解,其中name是要使用的RateLimiter實(shí)例的名稱,fallbackMethod是要使用的降級方法:

?

public RemoteServiceConnector{@RateLimiter(name = "backendA", fallbackMethod = "fallback")public List<User> process() throws TimeoutException, InterruptedException {List<User> users;users = remoteServic.process();return users;}private List<User> fallback(BulkheadFullException e){log.info("服務(wù)失敗: " + e.getLocalizedMessage());return new ArrayList();} }

如果RetryCircuitBreakerBulkheadRateLimiter同時(shí)注解在方法上,默認(rèn)的順序是Retry>CircuitBreaker>RateLimiter>Bulkhead,即先控制并發(fā)再限流然后熔斷最后重試

接下來直接調(diào)用方法:

?

public class RateLimiterServiceImpl {@Autowiredprivate RemoteServiceConnector remoteServiceConnector;@Autowiredprivate RateLimiterRegistry rateLimiterRegistry;public List<User> rateLimiterAOP() throws TimeoutException, InterruptedException {List<User> result = remoteServiceConnector.process();BulkheadUtil.getBulkheadStatus("執(zhí)行結(jié)束:", rateLimiterRegistry.retry("backendA"));return result;} }

使用測試

application.yml文件中將backenA設(shè)定為20s只能處理1個(gè)請求,為便于觀察,刷新時(shí)間設(shè)定為20s,等待時(shí)間設(shè)定為5s

?

configs:default:limitForPeriod: 5limitRefreshPeriod: 20stimeoutDuration: 5sinstances:backendA:baseConfig: defaultlimitForPeriod: 1

使用另一個(gè)遠(yuǎn)程服務(wù)接口的實(shí)現(xiàn),不拋出異常,當(dāng)做正常服務(wù)進(jìn)行,為了讓結(jié)果明顯一些,讓方法sleep 5秒:

?

public class RemoteServiceImpl implements RemoteService {private static AtomicInteger count = new AtomicInteger(0);public List<User> process() throws InterruptedException {int num = count.getAndIncrement();log.info("count的值 = " + num);Thread.sleep(5000);log.info("服務(wù)正常運(yùn)行,獲取用戶列表");// 模擬數(shù)據(jù)庫正常查詢r(jià)eturn repository.findAll();} }

用線程池調(diào)5個(gè)線程去請求服務(wù):

?

public class RateLimiterServiceImplTest{@Autowiredprivate RateLimiterServiceImpl rateLimiterService;@Autowiredprivate RateLimiterRegistry rateLimiterRegistry;@Testpublic void rateLimiterTest() {RateLimiterUtil.addRateLimiterListener(rateLimiterRegistry.rateLimiter("backendA"));ExecutorService pool = Executors.newCachedThreadPool();for (int i=0; i<5; i++){pool.submit(() -> {// rateLimiterService.rateLimiterAOP();rateLimiterService.rateLimiterNotAOP();});}pool.shutdown();while (!pool.isTerminated());}} }

看一下測試結(jié)果:

?

開始執(zhí)行前: , metrics[ availablePermissions=1, numberOfWaitingThreads=0 ] 開始執(zhí)行前: , metrics[ availablePermissions=1, numberOfWaitingThreads=0 ] 開始執(zhí)行前: , metrics[ availablePermissions=1, numberOfWaitingThreads=0 ] 開始執(zhí)行前: , metrics[ availablePermissions=1, numberOfWaitingThreads=0 ] 開始執(zhí)行前: , metrics[ availablePermissions=0, numberOfWaitingThreads=0 ] RateLimiterEvent{type=SUCCESSFUL_ACQUIRE, rateLimiterName='backendA', creationTime=2019-07-10T17:06:15.735+08:00[Asia/Shanghai]} count的值 = 0 RateLimiterEvent{type=FAILED_ACQUIRE, rateLimiterName='backendA', creationTime=2019-07-10T17:06:20.737+08:00[Asia/Shanghai]} RateLimiterEvent{type=FAILED_ACQUIRE, rateLimiterName='backendA', creationTime=2019-07-10T17:06:20.739+08:00[Asia/Shanghai]} RateLimiterEvent{type=FAILED_ACQUIRE, rateLimiterName='backendA', creationTime=2019-07-10T17:06:20.740+08:00[Asia/Shanghai]} 服務(wù)失敗: RateLimiter 'backendA' does not permit further calls 服務(wù)失敗: RateLimiter 'backendA' does not permit further calls 執(zhí)行結(jié)束: , metrics[ availablePermissions=0, numberOfWaitingThreads=1 ] 執(zhí)行結(jié)束: , metrics[ availablePermissions=0, numberOfWaitingThreads=1 ] RateLimiterEvent{type=FAILED_ACQUIRE, rateLimiterName='backendA', creationTime=2019-07-10T17:06:20.745+08:00[Asia/Shanghai]} 服務(wù)正常運(yùn)行,獲取用戶列表 服務(wù)失敗: RateLimiter 'backendA' does not permit further calls 執(zhí)行結(jié)束: , metrics[ availablePermissions=0, numberOfWaitingThreads=0 ] 服務(wù)失敗: RateLimiter 'backendA' does not permit further calls 執(zhí)行結(jié)束: , metrics[ availablePermissions=0, numberOfWaitingThreads=0 ] 執(zhí)行結(jié)束: , metrics[ availablePermissions=1, numberOfWaitingThreads=0 ]

只有一個(gè)服務(wù)調(diào)用成功,其他都執(zhí)行失敗了。現(xiàn)在我們把刷新時(shí)間調(diào)成1s

?

configs:default:limitForPeriod: 5limitRefreshPeriod: 1stimeoutDuration: 5sinstances:backendA:baseConfig: defaultlimitForPeriod: 1

重新執(zhí)行,結(jié)果如下:

?

開始執(zhí)行前: , metrics[ availablePermissions=2, numberOfWaitingThreads=0 ] 開始執(zhí)行前: , metrics[ availablePermissions=2, numberOfWaitingThreads=0 ] 開始執(zhí)行前: , metrics[ availablePermissions=2, numberOfWaitingThreads=0 ] 開始執(zhí)行前: , metrics[ availablePermissions=2, numberOfWaitingThreads=0 ] 開始執(zhí)行前: , metrics[ availablePermissions=2, numberOfWaitingThreads=0 ] RateLimiterEvent{type=SUCCESSFUL_ACQUIRE, rateLimiterName='backendA', creationTime=2019-07-10T18:25:18.894+08:00[Asia/Shanghai]}count的值 = 0 RateLimiterEvent{type=SUCCESSFUL_ACQUIRE, rateLimiterName='backendA', creationTime=2019-07-10T18:25:18.894+08:00[Asia/Shanghai]} count的值 = 1 RateLimiterEvent{type=SUCCESSFUL_ACQUIRE, rateLimiterName='backendA', creationTime=2019-07-10T18:25:19.706+08:00[Asia/Shanghai]} count的值 = 2 RateLimiterEvent{type=SUCCESSFUL_ACQUIRE, rateLimiterName='backendA', creationTime=2019-07-10T18:25:19.706+08:00[Asia/Shanghai]} count的值 = 3 RateLimiterEvent{type=SUCCESSFUL_ACQUIRE, rateLimiterName='backendA', creationTime=2019-07-10T18:25:20.703+08:00[Asia/Shanghai]} count的值 = 4 服務(wù)正常運(yùn)行,獲取用戶列表 服務(wù)正常運(yùn)行,獲取用戶列表 服務(wù)正常運(yùn)行,獲取用戶列表 服務(wù)正常運(yùn)行,獲取用戶列表 執(zhí)行結(jié)束: , metrics[ availablePermissions=2, numberOfWaitingThreads=0 ] 執(zhí)行結(jié)束: , metrics[ availablePermissions=2, numberOfWaitingThreads=0 ] 執(zhí)行結(jié)束: , metrics[ availablePermissions=2, numberOfWaitingThreads=0 ]執(zhí)行結(jié)束: , metrics[ availablePermissions=2, numberOfWaitingThreads=0 ] 服務(wù)正常運(yùn)行,獲取用戶列表 執(zhí)行結(jié)束: , metrics[ availablePermissions=2, numberOfWaitingThreads=0 ]

可以看出,幾個(gè)服務(wù)都被放入并正常執(zhí)行了,即使上個(gè)服務(wù)還沒完成,依然可以放入,只與時(shí)間有關(guān),而與線程無關(guān)。


?

總結(jié)

以上是生活随笔為你收集整理的Resilience4j-轻量级熔断框架的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

成人性做爰aaa片免费看不忠 | 亚洲aⅴ无码成人网站国产app | 内射巨臀欧美在线视频 | 欧美激情一区二区三区成人 | 久久国内精品自在自线 | 国产激情精品一区二区三区 | 久久久久国色av免费观看性色 | 少妇被粗大的猛进出69影院 | www一区二区www免费 | 最新版天堂资源中文官网 | 国产精品人人爽人人做我的可爱 | 少女韩国电视剧在线观看完整 | 国产午夜精品一区二区三区嫩草 | 国产乱人偷精品人妻a片 | 久久亚洲中文字幕无码 | 中文字幕av伊人av无码av | 色老头在线一区二区三区 | 特黄特色大片免费播放器图片 | 亚洲 日韩 欧美 成人 在线观看 | 国产亚洲精品久久久久久久久动漫 | 丰满人妻一区二区三区免费视频 | 国产亚洲精品久久久久久 | 无码国产色欲xxxxx视频 | 国产av无码专区亚洲a∨毛片 | 亚洲欧洲无卡二区视頻 | 性欧美疯狂xxxxbbbb | 亚洲欧洲日本综合aⅴ在线 | 亚洲精品综合五月久久小说 | 女人被男人躁得好爽免费视频 | 精品无人国产偷自产在线 | 99riav国产精品视频 | 久久精品无码一区二区三区 | 精品乱子伦一区二区三区 | 极品尤物被啪到呻吟喷水 | 99久久久国产精品无码免费 | 色偷偷av老熟女 久久精品人妻少妇一区二区三区 | 国产午夜亚洲精品不卡 | 波多野结衣aⅴ在线 | 久久99精品久久久久久动态图 | 精品亚洲韩国一区二区三区 | 亚洲熟妇色xxxxx欧美老妇y | 精品国产成人一区二区三区 | 99国产精品白浆在线观看免费 | 少妇性l交大片欧洲热妇乱xxx | 亚洲成av人影院在线观看 | 久久久久久久女国产乱让韩 | 暴力强奷在线播放无码 | 久久久久99精品成人片 | 国产精品内射视频免费 | 亚洲国产精品成人久久蜜臀 | 亚洲爆乳无码专区 | 麻豆国产人妻欲求不满 | 亚洲国产欧美日韩精品一区二区三区 | 日韩亚洲欧美中文高清在线 | 亚洲日韩乱码中文无码蜜桃臀网站 | 久久精品国产一区二区三区 | 欧美性黑人极品hd | 中国大陆精品视频xxxx | 学生妹亚洲一区二区 | 国产又爽又猛又粗的视频a片 | 久久久久久久人妻无码中文字幕爆 | 国产在线一区二区三区四区五区 | 久久久久久av无码免费看大片 | 国产成人一区二区三区在线观看 | 久久综合给合久久狠狠狠97色 | 国产莉萝无码av在线播放 | 国产精品嫩草久久久久 | 亚洲 激情 小说 另类 欧美 | 亚洲伊人久久精品影院 | 欧美亚洲日韩国产人成在线播放 | 久久亚洲a片com人成 | 国语精品一区二区三区 | 纯爱无遮挡h肉动漫在线播放 | 国产精品资源一区二区 | 国产麻豆精品一区二区三区v视界 | 亚洲a无码综合a国产av中文 | 亚洲国产精品久久人人爱 | 亚洲欧美精品伊人久久 | 亚洲中文字幕av在天堂 | 撕开奶罩揉吮奶头视频 | 日韩视频 中文字幕 视频一区 | 又湿又紧又大又爽a视频国产 | 无码福利日韩神码福利片 | 亚洲精品www久久久 | 日韩成人一区二区三区在线观看 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 蜜臀av在线观看 在线欧美精品一区二区三区 | 欧美午夜特黄aaaaaa片 | 精品无码国产自产拍在线观看蜜 | 亚洲国产精品久久人人爱 | 丰满少妇熟乱xxxxx视频 | 欧美性猛交内射兽交老熟妇 | 九九久久精品国产免费看小说 | 成人无码视频在线观看网站 | 图片区 小说区 区 亚洲五月 | 亚洲国产欧美在线成人 | 欧美激情综合亚洲一二区 | 久久99精品国产麻豆蜜芽 | 波多野结衣aⅴ在线 | 伊人久久婷婷五月综合97色 | 亚洲人成影院在线无码按摩店 | 亚洲天堂2017无码中文 | 国产成人无码午夜视频在线观看 | 一区二区传媒有限公司 | 亚洲精品中文字幕久久久久 | 亚拍精品一区二区三区探花 | 好爽又高潮了毛片免费下载 | 日本va欧美va欧美va精品 | 久久国产精品萌白酱免费 | 日本一卡二卡不卡视频查询 | 国产人妻精品午夜福利免费 | 天干天干啦夜天干天2017 | 中文字幕+乱码+中文字幕一区 | 精品人妻人人做人人爽夜夜爽 | 女人被男人爽到呻吟的视频 | 国产熟女一区二区三区四区五区 | 亚洲欧洲无卡二区视頻 | 欧美肥老太牲交大战 | 国产成人精品视频ⅴa片软件竹菊 | 天下第一社区视频www日本 | 色欲久久久天天天综合网精品 | 野外少妇愉情中文字幕 | 67194成是人免费无码 | 国产在线精品一区二区三区直播 | 国产精品无码一区二区桃花视频 | 少妇人妻偷人精品无码视频 | 欧美成人高清在线播放 | 亚洲色偷偷偷综合网 | 国产免费观看黄av片 | 领导边摸边吃奶边做爽在线观看 | 色诱久久久久综合网ywww | 自拍偷自拍亚洲精品10p | 国内精品九九久久久精品 | 亚洲乱亚洲乱妇50p | 午夜精品一区二区三区在线观看 | 精品乱码久久久久久久 | 欧美freesex黑人又粗又大 | 久久久久久a亚洲欧洲av冫 | 精品一区二区三区无码免费视频 | 98国产精品综合一区二区三区 | 久久99精品久久久久久动态图 | 精品亚洲韩国一区二区三区 | 超碰97人人做人人爱少妇 | 国产人妻精品一区二区三区不卡 | 小泽玛莉亚一区二区视频在线 | 又色又爽又黄的美女裸体网站 | 欧美freesex黑人又粗又大 | 亚洲中文无码av永久不收费 | 夜精品a片一区二区三区无码白浆 | 黑人大群体交免费视频 | 日本乱人伦片中文三区 | 中文毛片无遮挡高清免费 | 夫妻免费无码v看片 | 欧美老人巨大xxxx做受 | 欧美日韩精品 | 亚洲精品一区二区三区婷婷月 | 精品国产一区二区三区四区 | 日日摸夜夜摸狠狠摸婷婷 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 1000部夫妻午夜免费 | 日韩无套无码精品 | 日韩亚洲欧美精品综合 | 欧美肥老太牲交大战 | 大肉大捧一进一出视频出来呀 | 亚洲欧洲中文日韩av乱码 | 国产成人无码午夜视频在线观看 | 老熟女重囗味hdxx69 | 国产人成高清在线视频99最全资源 | 在线观看欧美一区二区三区 | 西西人体www44rt大胆高清 | 久久午夜无码鲁丝片午夜精品 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 国产疯狂伦交大片 | 久久人人爽人人爽人人片ⅴ | 国产内射爽爽大片视频社区在线 | 亚洲色www成人永久网址 | 亚洲成a人片在线观看无码3d | 夫妻免费无码v看片 | 国产热a欧美热a在线视频 | 蜜桃臀无码内射一区二区三区 | 麻豆果冻传媒2021精品传媒一区下载 | 亚洲欧美色中文字幕在线 | 日本又色又爽又黄的a片18禁 | 99精品无人区乱码1区2区3区 | 免费国产成人高清在线观看网站 | aa片在线观看视频在线播放 | 国产性生大片免费观看性 | 国产凸凹视频一区二区 | 永久黄网站色视频免费直播 | 亚洲色偷偷偷综合网 | 免费人成网站视频在线观看 | 波多野结衣一区二区三区av免费 | 欧美丰满少妇xxxx性 | 亚洲狠狠色丁香婷婷综合 | 亚洲 另类 在线 欧美 制服 | 免费人成在线视频无码 | 无码av岛国片在线播放 | 亚洲精品一区二区三区在线 | 精品国产一区二区三区四区 | 亚洲精品一区国产 | 天天拍夜夜添久久精品大 | 少妇被黑人到高潮喷出白浆 | 宝宝好涨水快流出来免费视频 | 国产精品怡红院永久免费 | 蜜桃av抽搐高潮一区二区 | 丰满肥臀大屁股熟妇激情视频 | 少妇人妻大乳在线视频 | 国产成人精品优优av | 熟妇人妻无乱码中文字幕 | 一本久道久久综合狠狠爱 | 国产99久久精品一区二区 | 亚洲精品欧美二区三区中文字幕 | √8天堂资源地址中文在线 | 欧美色就是色 | 日本精品少妇一区二区三区 | 好爽又高潮了毛片免费下载 | 国产精品永久免费视频 | 久久久精品欧美一区二区免费 | 国产亚洲美女精品久久久2020 | 亚洲成av人综合在线观看 | 久久99精品国产.久久久久 | а天堂中文在线官网 | 亚洲精品成人福利网站 | 亚洲中文字幕成人无码 | 领导边摸边吃奶边做爽在线观看 | 毛片内射-百度 | 1000部啪啪未满十八勿入下载 | 国内精品一区二区三区不卡 | 国内精品久久毛片一区二区 | 欧美国产亚洲日韩在线二区 | 丰腴饱满的极品熟妇 | 午夜福利一区二区三区在线观看 | 亚洲国产精品久久久久久 | aa片在线观看视频在线播放 | 亚洲精品一区二区三区婷婷月 | 人人妻人人澡人人爽人人精品浪潮 | 亚洲精品一区二区三区四区五区 | 丰满少妇高潮惨叫视频 | 国内少妇偷人精品视频 | 俄罗斯老熟妇色xxxx | 亚洲大尺度无码无码专区 | 无遮无挡爽爽免费视频 | 无码免费一区二区三区 | 色欲久久久天天天综合网精品 | 亚洲天堂2017无码 | 奇米影视7777久久精品 | 天堂久久天堂av色综合 | 亚洲无人区一区二区三区 | 无码人妻丰满熟妇区五十路百度 | 国产精品久久久av久久久 | 国产 浪潮av性色四虎 | 国产亚洲精品久久久久久久久动漫 | 免费无码一区二区三区蜜桃大 | 国产真人无遮挡作爱免费视频 | 国产成人av免费观看 | 亚洲大尺度无码无码专区 | 无遮无挡爽爽免费视频 | 国产xxx69麻豆国语对白 | 免费观看激色视频网站 | 成 人 免费观看网站 | 亚洲精品无码国产 | 日日噜噜噜噜夜夜爽亚洲精品 | 亚洲中文字幕av在天堂 | 欧美真人作爱免费视频 | 亚洲精品欧美二区三区中文字幕 | 精品国产av色一区二区深夜久久 | 精品国产一区二区三区四区 | 无人区乱码一区二区三区 | 在线亚洲高清揄拍自拍一品区 | 1000部夫妻午夜免费 | 亚洲中文字幕久久无码 | 麻豆国产丝袜白领秘书在线观看 | 国产精品久久久久无码av色戒 | 亚洲国产欧美国产综合一区 | 成人欧美一区二区三区黑人免费 | 亚洲人成影院在线无码按摩店 | 一二三四社区在线中文视频 | 色婷婷av一区二区三区之红樱桃 | 色综合天天综合狠狠爱 | 免费无码午夜福利片69 | 精品国产乱码久久久久乱码 | 中文精品久久久久人妻不卡 | 亚洲成a人一区二区三区 | 精品乱子伦一区二区三区 | 天堂а√在线中文在线 | 狠狠色欧美亚洲狠狠色www | 色综合久久网 | 国产熟妇高潮叫床视频播放 | 无码任你躁久久久久久久 | av香港经典三级级 在线 | 草草网站影院白丝内射 | 人妻夜夜爽天天爽三区 | 人妻少妇精品久久 | 亚洲色偷偷男人的天堂 | 天堂а√在线地址中文在线 | 18禁止看的免费污网站 | 亲嘴扒胸摸屁股激烈网站 | 日韩av无码一区二区三区不卡 | 18黄暴禁片在线观看 | 亚洲va欧美va天堂v国产综合 | 欧美日韩一区二区免费视频 | 天天av天天av天天透 | 日本又色又爽又黄的a片18禁 | 中文字幕无线码免费人妻 | 偷窥日本少妇撒尿chinese | 无码一区二区三区在线 | 成在人线av无码免观看麻豆 | 少妇无套内谢久久久久 | 欧美成人免费全部网站 | 香蕉久久久久久av成人 | 蜜臀aⅴ国产精品久久久国产老师 | 美女毛片一区二区三区四区 | 亚洲中文无码av永久不收费 | 国产真人无遮挡作爱免费视频 | 成人毛片一区二区 | 亚洲成av人综合在线观看 | 中文字幕无码热在线视频 | 亚洲自偷精品视频自拍 | 亚洲性无码av中文字幕 | 亚洲一区二区三区四区 | 中文字幕色婷婷在线视频 | 装睡被陌生人摸出水好爽 | 免费乱码人妻系列无码专区 | 自拍偷自拍亚洲精品被多人伦好爽 | 乱码午夜-极国产极内射 | 欧美午夜特黄aaaaaa片 | 国产内射老熟女aaaa | 18禁止看的免费污网站 | 日日碰狠狠丁香久燥 | 色欲综合久久中文字幕网 | 天堂亚洲免费视频 | 国产办公室秘书无码精品99 | 麻豆人妻少妇精品无码专区 | 久久99久久99精品中文字幕 | 久久99精品国产麻豆蜜芽 | 水蜜桃亚洲一二三四在线 | 999久久久国产精品消防器材 | 亚洲色大成网站www国产 | 5858s亚洲色大成网站www | 婷婷五月综合激情中文字幕 | 撕开奶罩揉吮奶头视频 | 久久久久免费精品国产 | 亚洲熟熟妇xxxx | 一本大道久久东京热无码av | 国产香蕉尹人综合在线观看 | 亚洲小说图区综合在线 | 人人妻人人澡人人爽人人精品浪潮 | 97se亚洲精品一区 | 国产精品美女久久久久av爽李琼 | 2020最新国产自产精品 | 国内综合精品午夜久久资源 | 乱人伦人妻中文字幕无码久久网 | v一区无码内射国产 | 国产精品亚洲一区二区三区喷水 | 亚洲国产精品无码久久久久高潮 | 国产精品无码一区二区桃花视频 | 国产成人无码一二三区视频 | 天天爽夜夜爽夜夜爽 | 国产色在线 | 国产 | 动漫av网站免费观看 | 国产一区二区三区影院 | 清纯唯美经典一区二区 | 中文字幕无码免费久久9一区9 | 亚洲色成人中文字幕网站 | 67194成是人免费无码 | 大肉大捧一进一出视频出来呀 | 免费观看激色视频网站 | 国产av一区二区三区最新精品 | 成人综合网亚洲伊人 | 欧美成人免费全部网站 | 欧美一区二区三区视频在线观看 | 人人妻人人澡人人爽精品欧美 | 粉嫩少妇内射浓精videos | 日韩欧美群交p片內射中文 | 乱人伦人妻中文字幕无码久久网 | 人妻少妇精品无码专区动漫 | 国产特级毛片aaaaaa高潮流水 | 亚洲小说春色综合另类 | 久久久精品国产sm最大网站 | 亚洲乱码日产精品bd | 狠狠躁日日躁夜夜躁2020 | 帮老师解开蕾丝奶罩吸乳网站 | 国产精品无码一区二区三区不卡 | 青春草在线视频免费观看 | 亚洲国产成人a精品不卡在线 | v一区无码内射国产 | 88国产精品欧美一区二区三区 | 精品久久久久久人妻无码中文字幕 | 午夜性刺激在线视频免费 | 久久综合九色综合欧美狠狠 | 精品人妻人人做人人爽 | 少妇无套内谢久久久久 | 日韩精品一区二区av在线 | 久久99精品久久久久久 | 一本久道久久综合狠狠爱 | 国产精品久久久久久久影院 | 中文字幕无码热在线视频 | 亚洲精品久久久久avwww潮水 | 综合激情五月综合激情五月激情1 | 2019nv天堂香蕉在线观看 | 熟女体下毛毛黑森林 | 中文字幕无线码 | 任你躁国产自任一区二区三区 | 日本又色又爽又黄的a片18禁 | 久青草影院在线观看国产 | 水蜜桃亚洲一二三四在线 | 日本熟妇人妻xxxxx人hd | 精品无码一区二区三区的天堂 | 无码纯肉视频在线观看 | 漂亮人妻洗澡被公强 日日躁 | 中文字幕无码人妻少妇免费 | 欧美精品在线观看 | 国产午夜亚洲精品不卡下载 | 色五月丁香五月综合五月 | 精品成人av一区二区三区 | 久久国语露脸国产精品电影 | 四虎国产精品免费久久 | 国产午夜福利亚洲第一 | 欧洲熟妇色 欧美 | 亚洲 另类 在线 欧美 制服 | 欧美精品免费观看二区 | 国产在线无码精品电影网 | 欧美 日韩 人妻 高清 中文 | 无码帝国www无码专区色综合 | 国产艳妇av在线观看果冻传媒 | 午夜免费福利小电影 | 国内老熟妇对白xxxxhd | 老子影院午夜伦不卡 | 国产成人一区二区三区别 | 亚拍精品一区二区三区探花 | 中文字幕无码免费久久99 | 高中生自慰www网站 | 欧美xxxxx精品 | 成人无码视频在线观看网站 | 丰满护士巨好爽好大乳 | 亚洲中文无码av永久不收费 | 奇米影视7777久久精品 | 美女毛片一区二区三区四区 | 一区二区三区乱码在线 | 欧洲 | 精品国产福利一区二区 | 亚洲日本va午夜在线电影 | 亚洲自偷精品视频自拍 | 中文字幕无码免费久久99 | 超碰97人人射妻 | 久久精品国产一区二区三区 | 天堂亚洲免费视频 | 无遮挡国产高潮视频免费观看 | 久久久精品456亚洲影院 | 久久天天躁夜夜躁狠狠 | 亚洲欧美精品伊人久久 | 精品偷自拍另类在线观看 | 久久99热只有频精品8 | 999久久久国产精品消防器材 | 少女韩国电视剧在线观看完整 | 日韩无套无码精品 | 日日摸天天摸爽爽狠狠97 | 中文字幕无码人妻少妇免费 | 久久婷婷五月综合色国产香蕉 | 色一情一乱一伦一区二区三欧美 | 国产精品内射视频免费 | 欧美 亚洲 国产 另类 | 午夜精品久久久内射近拍高清 | 欧美肥老太牲交大战 | 亚洲国产高清在线观看视频 | 一本色道久久综合狠狠躁 | 97精品人妻一区二区三区香蕉 | 蜜臀aⅴ国产精品久久久国产老师 | 永久免费观看美女裸体的网站 | 天干天干啦夜天干天2017 | 99精品国产综合久久久久五月天 | 九九久久精品国产免费看小说 | 欧美一区二区三区视频在线观看 | 俺去俺来也www色官网 | 中文字幕无码乱人伦 | 人妻天天爽夜夜爽一区二区 | a国产一区二区免费入口 | 国产va免费精品观看 | 国产亚洲精品久久久久久久 | 亚洲精品久久久久avwww潮水 | 98国产精品综合一区二区三区 | 自拍偷自拍亚洲精品被多人伦好爽 | 熟女少妇人妻中文字幕 | 狂野欧美激情性xxxx | 国产成人精品一区二区在线小狼 | 亚洲精品成人福利网站 | 青青青手机频在线观看 | 97色伦图片97综合影院 | 久久五月精品中文字幕 | 少妇人妻av毛片在线看 | 国产精品资源一区二区 | 国产午夜手机精彩视频 | 丰满人妻一区二区三区免费视频 | 中文精品无码中文字幕无码专区 | 少妇太爽了在线观看 | 九月婷婷人人澡人人添人人爽 | 国产av一区二区精品久久凹凸 | 午夜精品久久久久久久久 | 永久黄网站色视频免费直播 | 强奷人妻日本中文字幕 | 国产办公室秘书无码精品99 | 国产精品自产拍在线观看 | 少妇愉情理伦片bd | 在线观看国产午夜福利片 | 少妇性l交大片 | 熟妇人妻中文av无码 | 国产精品成人av在线观看 | 国产av剧情md精品麻豆 | 国产福利视频一区二区 | 男女猛烈xx00免费视频试看 | 少妇一晚三次一区二区三区 | 午夜精品久久久久久久 | 日本精品久久久久中文字幕 | 97久久超碰中文字幕 | 久久精品中文字幕大胸 | 亚洲日韩乱码中文无码蜜桃臀网站 | 丁香啪啪综合成人亚洲 | 亚洲阿v天堂在线 | 亚洲乱亚洲乱妇50p | 成人欧美一区二区三区黑人免费 | 在线 国产 欧美 亚洲 天堂 | 麻豆av传媒蜜桃天美传媒 | 东京热一精品无码av | 2019nv天堂香蕉在线观看 | 日韩精品无码一本二本三本色 | 欧美国产亚洲日韩在线二区 | 色欲av亚洲一区无码少妇 | 熟女体下毛毛黑森林 | 女人被男人爽到呻吟的视频 | 久9re热视频这里只有精品 | 婷婷六月久久综合丁香 | 丰满诱人的人妻3 | 天堂在线观看www | 乱码午夜-极国产极内射 | a在线亚洲男人的天堂 | 亚洲成a人片在线观看无码 | 六月丁香婷婷色狠狠久久 | 亚洲日本va中文字幕 | 精品成人av一区二区三区 | 国产成人精品一区二区在线小狼 | 久久99精品久久久久久动态图 | 亚洲色欲色欲天天天www | 色综合久久久久综合一本到桃花网 | 亚洲日本va午夜在线电影 | 国产精品第一区揄拍无码 | 亚洲狠狠色丁香婷婷综合 | 国产午夜精品一区二区三区嫩草 | 精品久久综合1区2区3区激情 | 少妇被黑人到高潮喷出白浆 | 欧美亚洲国产一区二区三区 | 日产精品99久久久久久 | 精品亚洲成av人在线观看 | 久久人妻内射无码一区三区 | 成人片黄网站色大片免费观看 | 久久综合激激的五月天 | 丰满人妻一区二区三区免费视频 | 欧美精品无码一区二区三区 | 日本丰满熟妇videos | 又大又黄又粗又爽的免费视频 | 国产成人无码av一区二区 | 久久久精品456亚洲影院 | 国产情侣作爱视频免费观看 | 日产精品99久久久久久 | 日韩亚洲欧美精品综合 | 国产香蕉97碰碰久久人人 | 国产精品第一区揄拍无码 | 午夜男女很黄的视频 | 三上悠亚人妻中文字幕在线 | 国产人妻精品一区二区三区不卡 | 亚洲 高清 成人 动漫 | 精品无人区无码乱码毛片国产 | 成人影院yy111111在线观看 | 国产免费观看黄av片 | 少妇无套内谢久久久久 | 十八禁视频网站在线观看 | 露脸叫床粗话东北少妇 | 久久精品视频在线看15 | 国产办公室秘书无码精品99 | 国产成人av免费观看 | 国产乱人伦偷精品视频 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 女人色极品影院 | 99久久99久久免费精品蜜桃 | 国产真实伦对白全集 | 久久久无码中文字幕久... | 未满成年国产在线观看 | 国产97人人超碰caoprom | 亚洲区欧美区综合区自拍区 | 国产亚洲精品久久久久久久久动漫 | 国产深夜福利视频在线 | 中文字幕人成乱码熟女app | 亚洲欧美综合区丁香五月小说 | 天下第一社区视频www日本 | 国产黄在线观看免费观看不卡 | 性欧美牲交在线视频 | 丝袜 中出 制服 人妻 美腿 | 欧美真人作爱免费视频 | 午夜免费福利小电影 | 精品aⅴ一区二区三区 | 日本熟妇人妻xxxxx人hd | 少妇被黑人到高潮喷出白浆 | 久久亚洲中文字幕精品一区 | 婷婷丁香五月天综合东京热 | 亚洲欧美中文字幕5发布 | 蜜臀aⅴ国产精品久久久国产老师 | 国产欧美亚洲精品a | 人人超人人超碰超国产 | 色婷婷综合中文久久一本 | 成人亚洲精品久久久久软件 | 性做久久久久久久久 | 又湿又紧又大又爽a视频国产 | 性欧美熟妇videofreesex | 少妇人妻大乳在线视频 | 欧美丰满熟妇xxxx性ppx人交 | 中文字幕无码免费久久99 | 日本www一道久久久免费榴莲 | 小鲜肉自慰网站xnxx | 成人一区二区免费视频 | 久久精品国产亚洲精品 | 小泽玛莉亚一区二区视频在线 | 蜜臀av在线观看 在线欧美精品一区二区三区 | 国产亚洲欧美在线专区 | а√天堂www在线天堂小说 | 亚洲自偷自偷在线制服 | 国产又粗又硬又大爽黄老大爷视 | 国产亚洲日韩欧美另类第八页 | 久久这里只有精品视频9 | 国产成人久久精品流白浆 | 日本一区二区更新不卡 | 丁香花在线影院观看在线播放 | 国产凸凹视频一区二区 | 高中生自慰www网站 | 久久久中文字幕日本无吗 | 好爽又高潮了毛片免费下载 | 77777熟女视频在线观看 а天堂中文在线官网 | 国产偷国产偷精品高清尤物 | 亚洲欧洲无卡二区视頻 | 国内精品人妻无码久久久影院 | 欧洲vodafone精品性 | 娇妻被黑人粗大高潮白浆 | 欧美三级a做爰在线观看 | 亚洲一区二区三区偷拍女厕 | 亚洲熟女一区二区三区 | 国产网红无码精品视频 | 欧美激情综合亚洲一二区 | 熟妇女人妻丰满少妇中文字幕 | 国产性生大片免费观看性 | 欧美第一黄网免费网站 | 亚洲色欲久久久综合网东京热 | 成人片黄网站色大片免费观看 | 久久精品一区二区三区四区 | 捆绑白丝粉色jk震动捧喷白浆 | 丰满妇女强制高潮18xxxx | 天天摸天天碰天天添 | 又湿又紧又大又爽a视频国产 | 老太婆性杂交欧美肥老太 | 色综合久久88色综合天天 | 亚洲精品久久久久avwww潮水 | 极品尤物被啪到呻吟喷水 | 亚洲国产精品毛片av不卡在线 | 久久精品国产精品国产精品污 | 久久视频在线观看精品 | 精品国产aⅴ无码一区二区 | 人人妻人人澡人人爽精品欧美 | 亚洲七七久久桃花影院 | 亚洲爆乳无码专区 | 亚洲a无码综合a国产av中文 | 国产熟妇另类久久久久 | 精品偷拍一区二区三区在线看 | 亚洲欧美色中文字幕在线 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 最近的中文字幕在线看视频 | 国产精品a成v人在线播放 | 免费观看的无遮挡av | 中文字幕 亚洲精品 第1页 | av无码不卡在线观看免费 | 日本饥渴人妻欲求不满 | 性做久久久久久久免费看 | 精品国产国产综合精品 | 精品人人妻人人澡人人爽人人 | 日韩 欧美 动漫 国产 制服 | 国产午夜手机精彩视频 | 国产美女极度色诱视频www | 久久视频在线观看精品 | 国产真实伦对白全集 | 久久亚洲中文字幕无码 | 久久精品国产99久久6动漫 | 日本大香伊一区二区三区 | √天堂资源地址中文在线 | 一个人免费观看的www视频 | 亚洲色在线无码国产精品不卡 | 日韩av无码一区二区三区不卡 | 久久精品国产一区二区三区 | 午夜精品久久久久久久 | 国产精华av午夜在线观看 | 色一情一乱一伦一区二区三欧美 | 丰满少妇弄高潮了www | 扒开双腿吃奶呻吟做受视频 | 男女猛烈xx00免费视频试看 | 无码精品国产va在线观看dvd | 无码人妻出轨黑人中文字幕 | 内射欧美老妇wbb | 久9re热视频这里只有精品 | 亚洲中文字幕va福利 | 中文字幕无码视频专区 | 欧美一区二区三区 | 久久视频在线观看精品 | 亚洲精品久久久久avwww潮水 | 欧美黑人性暴力猛交喷水 | 亚洲小说图区综合在线 | 精品无人国产偷自产在线 | 亚洲欧美中文字幕5发布 | 亚洲国产精品久久人人爱 | 精品一区二区三区无码免费视频 | 一个人免费观看的www视频 | 人人澡人人透人人爽 | 国精产品一品二品国精品69xx | 亚洲自偷自偷在线制服 | 少妇无码吹潮 | 亚洲成a人片在线观看日本 | 久久99国产综合精品 | 久久精品中文字幕大胸 | 午夜理论片yy44880影院 | 人人澡人人透人人爽 | 97人妻精品一区二区三区 | 青青草原综合久久大伊人精品 | 伊在人天堂亚洲香蕉精品区 | 伊人久久婷婷五月综合97色 | 国产熟妇高潮叫床视频播放 | 色婷婷久久一区二区三区麻豆 | 香港三级日本三级妇三级 | 任你躁在线精品免费 | 丰满人妻翻云覆雨呻吟视频 | 18无码粉嫩小泬无套在线观看 | 99久久精品日本一区二区免费 | 蜜臀aⅴ国产精品久久久国产老师 | 永久免费观看国产裸体美女 | 六月丁香婷婷色狠狠久久 | 久久婷婷五月综合色国产香蕉 | 成人无码精品1区2区3区免费看 | 亚洲日本va中文字幕 | 日本又色又爽又黄的a片18禁 | 日韩精品乱码av一区二区 | 曰韩少妇内射免费播放 | 亚洲精品一区三区三区在线观看 | 亚洲中文字幕成人无码 | 精品亚洲成av人在线观看 | 久久久久久国产精品无码下载 | 精品国产av色一区二区深夜久久 | 欧美野外疯狂做受xxxx高潮 | 久激情内射婷内射蜜桃人妖 | 欧美大屁股xxxxhd黑色 | 欧美黑人性暴力猛交喷水 | 日本va欧美va欧美va精品 | 国产乱人偷精品人妻a片 | 2020久久超碰国产精品最新 | 精品成在人线av无码免费看 | 国产精品鲁鲁鲁 | 在教室伦流澡到高潮hnp视频 | 国产精品18久久久久久麻辣 | 岛国片人妻三上悠亚 | 日本大乳高潮视频在线观看 | 亚洲成av人片在线观看无码不卡 | 国产精品内射视频免费 | 欧洲精品码一区二区三区免费看 | 成人精品一区二区三区中文字幕 | 久久亚洲国产成人精品性色 | 性色av无码免费一区二区三区 | 熟女少妇人妻中文字幕 | 精品国精品国产自在久国产87 | 国产肉丝袜在线观看 | 婷婷丁香六月激情综合啪 | 国产xxx69麻豆国语对白 | 国产xxx69麻豆国语对白 | 亚洲の无码国产の无码步美 | 国产av一区二区三区最新精品 | 玩弄人妻少妇500系列视频 | 亚洲 欧美 激情 小说 另类 | 学生妹亚洲一区二区 | 欧美日本精品一区二区三区 | 久久午夜无码鲁丝片秋霞 | 婷婷综合久久中文字幕蜜桃三电影 | 国产又爽又黄又刺激的视频 | 日本一卡二卡不卡视频查询 | 西西人体www44rt大胆高清 | 欧美 日韩 人妻 高清 中文 | 澳门永久av免费网站 | 亚洲国产精品美女久久久久 | 国产精品va在线播放 | 色综合久久久久综合一本到桃花网 | 爆乳一区二区三区无码 | 精品成在人线av无码免费看 | 亚洲精品久久久久久一区二区 | 国内老熟妇对白xxxxhd | 人人爽人人澡人人高潮 | 狠狠综合久久久久综合网 | 一本久道久久综合婷婷五月 | 国产乱子伦视频在线播放 | 日本护士xxxxhd少妇 | 国产精品国产三级国产专播 | 色婷婷香蕉在线一区二区 | 小sao货水好多真紧h无码视频 | 呦交小u女精品视频 | 日日摸夜夜摸狠狠摸婷婷 | 国产偷国产偷精品高清尤物 | 无码午夜成人1000部免费视频 | 国产一精品一av一免费 | 麻豆av传媒蜜桃天美传媒 | 精品国偷自产在线 | 性色av无码免费一区二区三区 | 久久精品国产99精品亚洲 | 日韩无码专区 | 99久久无码一区人妻 | 国产av人人夜夜澡人人爽麻豆 | 欧美性猛交内射兽交老熟妇 | 人妻中文无码久热丝袜 | 国产激情综合五月久久 | 人人妻人人澡人人爽欧美一区九九 | 在线播放免费人成毛片乱码 | 性欧美熟妇videofreesex | 久久综合久久自在自线精品自 | 内射巨臀欧美在线视频 | 欧美 丝袜 自拍 制服 另类 | 欧美自拍另类欧美综合图片区 | 少妇无码一区二区二三区 | 亚洲精品一区三区三区在线观看 | 国产成人久久精品流白浆 | 亚洲爆乳无码专区 | 波多野结衣高清一区二区三区 | 国产热a欧美热a在线视频 | 国产精品二区一区二区aⅴ污介绍 | 中文无码成人免费视频在线观看 | 色五月丁香五月综合五月 | 欧美放荡的少妇 | 亚洲 a v无 码免 费 成 人 a v | 九月婷婷人人澡人人添人人爽 | 亚洲精品国产精品乱码视色 | 久久久久久a亚洲欧洲av冫 | 在线播放免费人成毛片乱码 | 男人扒开女人内裤强吻桶进去 | 亚洲精品中文字幕 | 黑人巨大精品欧美一区二区 | 丝袜 中出 制服 人妻 美腿 | 丰满妇女强制高潮18xxxx | 国产综合色产在线精品 | 中文精品久久久久人妻不卡 | 97色伦图片97综合影院 | 国内揄拍国内精品少妇国语 | 久久五月精品中文字幕 | √8天堂资源地址中文在线 | 国产在线无码精品电影网 | 内射老妇bbwx0c0ck | 亚洲精品午夜国产va久久成人 | 亚洲色大成网站www国产 | 亚洲小说图区综合在线 | а√天堂www在线天堂小说 | 久久久久av无码免费网 | 乱人伦人妻中文字幕无码 | 日韩av激情在线观看 | 2020最新国产自产精品 | 亚洲成av人综合在线观看 | 国产特级毛片aaaaaa高潮流水 | 国产真实伦对白全集 | 亚洲色在线无码国产精品不卡 | 欧美日韩在线亚洲综合国产人 | 国产精品理论片在线观看 | 无码帝国www无码专区色综合 | 色欲久久久天天天综合网精品 | 日本丰满护士爆乳xxxx | 亚洲欧美日韩综合久久久 | 麻豆md0077饥渴少妇 | 久久久中文久久久无码 | 亚洲第一网站男人都懂 | 日本爽爽爽爽爽爽在线观看免 | 国产suv精品一区二区五 | 国产日产欧产精品精品app | 中文字幕久久久久人妻 | 日日干夜夜干 | 久久国产自偷自偷免费一区调 | www国产精品内射老师 | 中文字幕av无码一区二区三区电影 | 97久久国产亚洲精品超碰热 | 97精品人妻一区二区三区香蕉 | 国产特级毛片aaaaaaa高清 | 亚洲熟熟妇xxxx | 牲欲强的熟妇农村老妇女 | 人人妻人人澡人人爽欧美精品 | 玩弄人妻少妇500系列视频 | 久久成人a毛片免费观看网站 | 欧美性生交xxxxx久久久 | 亚洲色欲久久久综合网东京热 | 伊人久久婷婷五月综合97色 | 内射欧美老妇wbb | 国产免费久久久久久无码 | 内射老妇bbwx0c0ck | 初尝人妻少妇中文字幕 | 亚洲色大成网站www | 免费国产黄网站在线观看 | 国产亚洲欧美日韩亚洲中文色 | 成人综合网亚洲伊人 | 国産精品久久久久久久 | 色妞www精品免费视频 | 久久99热只有频精品8 | 国产精品.xx视频.xxtv | 久久久www成人免费毛片 | 久久人人97超碰a片精品 | 久久99精品久久久久久动态图 | 亚洲日韩一区二区 | 亚洲区小说区激情区图片区 | 丁香花在线影院观看在线播放 | 国产两女互慰高潮视频在线观看 | 欧美性猛交xxxx富婆 | 欧美日韩人成综合在线播放 | 红桃av一区二区三区在线无码av | 久久久久免费看成人影片 | 麻豆精品国产精华精华液好用吗 | 欧美人与牲动交xxxx | 亚洲综合色区中文字幕 | 亚洲色欲色欲天天天www | 色婷婷综合中文久久一本 | 伊人色综合久久天天小片 | 亚洲国产精品久久久久久 | 亚洲综合在线一区二区三区 | 国产三级精品三级男人的天堂 | 久久久久人妻一区精品色欧美 | 无遮挡啪啪摇乳动态图 | 亚洲中文字幕成人无码 | 人妻有码中文字幕在线 | 亚洲成a人一区二区三区 | 在线播放无码字幕亚洲 | 国産精品久久久久久久 | 亚洲精品国产精品乱码不卡 | 无码人妻少妇伦在线电影 | 亚洲人亚洲人成电影网站色 | 国内揄拍国内精品人妻 | 国产美女极度色诱视频www | 国产综合色产在线精品 | 暴力强奷在线播放无码 | 国产精品99爱免费视频 | 九九综合va免费看 | 日日碰狠狠躁久久躁蜜桃 | 国产黄在线观看免费观看不卡 | 97人妻精品一区二区三区 | 亚洲精品欧美二区三区中文字幕 | 午夜无码人妻av大片色欲 | 国产成人精品无码播放 | 国内精品人妻无码久久久影院蜜桃 | 亚洲精品久久久久中文第一幕 | 欧美35页视频在线观看 | 99精品视频在线观看免费 | 无码福利日韩神码福利片 | 人人澡人人妻人人爽人人蜜桃 | 国产成人精品一区二区在线小狼 | 人妻体内射精一区二区三四 | 欧美老人巨大xxxx做受 | 精品国偷自产在线 | 任你躁国产自任一区二区三区 | 国产精品久久国产精品99 | 日韩精品一区二区av在线 | 性欧美videos高清精品 | 亚洲综合在线一区二区三区 | 精品国产一区二区三区四区在线看 | 亚洲精品国产精品乱码不卡 | 日本熟妇人妻xxxxx人hd | 亚洲精品国产a久久久久久 | 日本www一道久久久免费榴莲 | 东京热无码av男人的天堂 | 狠狠色噜噜狠狠狠7777奇米 | 97久久精品无码一区二区 | 人妻熟女一区 | 免费视频欧美无人区码 | 亚洲国产av美女网站 | 日本精品人妻无码77777 天堂一区人妻无码 | 亚洲春色在线视频 | 欧美熟妇另类久久久久久不卡 | 天堂а√在线中文在线 | 欧美人与动性行为视频 | 少妇厨房愉情理9仑片视频 | 亚洲春色在线视频 | 激情内射日本一区二区三区 | 人妻尝试又大又粗久久 | 黑人玩弄人妻中文在线 | 好屌草这里只有精品 | 亚洲精品一区二区三区四区五区 | 成人亚洲精品久久久久 | 国产精品二区一区二区aⅴ污介绍 | 亚洲中文字幕在线无码一区二区 | 内射老妇bbwx0c0ck | 亚洲欧美中文字幕5发布 | 国产激情无码一区二区app | 久久精品国产日本波多野结衣 | 国产另类ts人妖一区二区 | 999久久久国产精品消防器材 | 国产午夜视频在线观看 | 九九在线中文字幕无码 | 天堂а√在线地址中文在线 | 欧美激情内射喷水高潮 | 久久人人爽人人爽人人片av高清 | 女人被男人爽到呻吟的视频 | 性开放的女人aaa片 | 亚洲日韩中文字幕在线播放 | 亚洲第一无码av无码专区 | 国产片av国语在线观看 | 天海翼激烈高潮到腰振不止 | 麻豆国产丝袜白领秘书在线观看 | 四十如虎的丰满熟妇啪啪 | 国产精品无码成人午夜电影 | 午夜无码人妻av大片色欲 | 久久久精品欧美一区二区免费 | 人妻体内射精一区二区三四 | 亚洲国产精品无码久久久久高潮 | 精品久久综合1区2区3区激情 | 国产人成高清在线视频99最全资源 | 色综合久久久无码中文字幕 | 少妇性l交大片欧洲热妇乱xxx | 乱人伦人妻中文字幕无码久久网 | 久久久久99精品国产片 | 成人无码影片精品久久久 | 国产亚洲tv在线观看 | 日韩欧美中文字幕在线三区 | 午夜精品一区二区三区的区别 | 国产美女极度色诱视频www | 国产精品美女久久久网av | 亚洲中文字幕成人无码 | 亚洲一区二区三区偷拍女厕 | 成人女人看片免费视频放人 | 欧美人与牲动交xxxx | 亚洲欧美国产精品久久 | 亚洲精品国产精品乱码不卡 | av香港经典三级级 在线 | 最近中文2019字幕第二页 | aⅴ亚洲 日韩 色 图网站 播放 | 扒开双腿吃奶呻吟做受视频 | 大乳丰满人妻中文字幕日本 | 中国女人内谢69xxxx | 日韩人妻无码中文字幕视频 | 少妇性l交大片 | 激情国产av做激情国产爱 | 97夜夜澡人人爽人人喊中国片 | 黑人巨大精品欧美黑寡妇 | 亚洲精品一区二区三区四区五区 | 真人与拘做受免费视频一 | 国产 精品 自在自线 | 自拍偷自拍亚洲精品10p | 亚洲欧洲日本无在线码 | 国产亚洲精品久久久久久大师 | 欧美亚洲国产一区二区三区 | 国产精品第一国产精品 | 国产精品无码一区二区三区不卡 | 蜜臀av在线观看 在线欧美精品一区二区三区 | 四虎永久在线精品免费网址 | 国产精品高潮呻吟av久久 | 国产av无码专区亚洲a∨毛片 | 精品少妇爆乳无码av无码专区 | 又大又硬又黄的免费视频 | 东北女人啪啪对白 | 高潮毛片无遮挡高清免费 | 免费男性肉肉影院 | 色婷婷av一区二区三区之红樱桃 | 亚洲精品久久久久久久久久久 | 午夜熟女插插xx免费视频 | 国产亚洲美女精品久久久2020 | 亚洲综合在线一区二区三区 | 日韩精品无码一本二本三本色 | 日本一区二区更新不卡 | 国产莉萝无码av在线播放 | a在线亚洲男人的天堂 | 久久综合给久久狠狠97色 | 伊人久久婷婷五月综合97色 | 欧美 亚洲 国产 另类 | 在线播放无码字幕亚洲 | 俄罗斯老熟妇色xxxx | 一个人免费观看的www视频 | 图片小说视频一区二区 | 天堂无码人妻精品一区二区三区 | 久久午夜夜伦鲁鲁片无码免费 | 性开放的女人aaa片 | 天海翼激烈高潮到腰振不止 | 国产精品美女久久久久av爽李琼 | 免费无码一区二区三区蜜桃大 | 国产亚洲欧美在线专区 | 在线播放免费人成毛片乱码 | 成人亚洲精品久久久久 | 久久99精品国产.久久久久 | 日日橹狠狠爱欧美视频 | 蜜臀aⅴ国产精品久久久国产老师 | 国产xxx69麻豆国语对白 | 日日麻批免费40分钟无码 | 午夜福利电影 | 欧美激情内射喷水高潮 | 精品久久久无码中文字幕 | 亚洲熟熟妇xxxx | 欧美阿v高清资源不卡在线播放 | 亚洲狠狠婷婷综合久久 | 成熟人妻av无码专区 | 人人妻人人澡人人爽精品欧美 | 日日麻批免费40分钟无码 | 久久精品国产大片免费观看 | 一本久久伊人热热精品中文字幕 | 一本色道婷婷久久欧美 | 欧美性黑人极品hd | 国产精品久久久久影院嫩草 | 欧美成人高清在线播放 | 内射巨臀欧美在线视频 | 熟妇人妻中文av无码 | 亚洲一区二区三区香蕉 | 色综合视频一区二区三区 | 熟女少妇在线视频播放 | 国产农村妇女高潮大叫 | 爱做久久久久久 | 在线亚洲高清揄拍自拍一品区 | 国产免费观看黄av片 | 人妻少妇精品无码专区动漫 | 无码成人精品区在线观看 | 又大又硬又爽免费视频 | 亚洲色在线无码国产精品不卡 | 日日天干夜夜狠狠爱 | 九一九色国产 | 无码吃奶揉捏奶头高潮视频 | 亚洲精品美女久久久久久久 | 精品无码成人片一区二区98 | 丰满诱人的人妻3 | 小sao货水好多真紧h无码视频 | 欧美35页视频在线观看 | 丰满少妇弄高潮了www | 欧洲美熟女乱又伦 | 99精品视频在线观看免费 | 永久免费精品精品永久-夜色 | √天堂资源地址中文在线 | 国产精品久久久av久久久 | 精品国产国产综合精品 | 亚洲精品无码人妻无码 | 99精品无人区乱码1区2区3区 | 亚洲一区二区观看播放 | 妺妺窝人体色www婷婷 | 水蜜桃色314在线观看 | 日本一本二本三区免费 | 丝袜足控一区二区三区 | 中文字幕乱码亚洲无线三区 | 俺去俺来也在线www色官网 | 久久午夜无码鲁丝片秋霞 | 亚洲日韩一区二区 | 成人无码精品1区2区3区免费看 | 亚洲人成人无码网www国产 | 国产午夜视频在线观看 | yw尤物av无码国产在线观看 | 久久久久人妻一区精品色欧美 | 丰满人妻一区二区三区免费视频 | 国产色在线 | 国产 | 日韩av无码一区二区三区不卡 | 国产乱码精品一品二品 | 国产精品亚洲lv粉色 | www国产亚洲精品久久久日本 | 精品乱码久久久久久久 | 久久久成人毛片无码 | 亚洲日韩乱码中文无码蜜桃臀网站 | 国产免费久久久久久无码 | 99久久婷婷国产综合精品青草免费 | 性做久久久久久久久 | 日韩人妻无码一区二区三区久久99 | 扒开双腿吃奶呻吟做受视频 | 亚洲人交乣女bbw | 中文字幕无码热在线视频 | 国产成人综合色在线观看网站 | 真人与拘做受免费视频 | 搡女人真爽免费视频大全 | 日韩精品成人一区二区三区 | 精品国偷自产在线 | 麻豆果冻传媒2021精品传媒一区下载 | 久久精品女人天堂av免费观看 | 精品一区二区三区波多野结衣 | 国产亚洲欧美在线专区 | 国产人妖乱国产精品人妖 | 国产猛烈高潮尖叫视频免费 | 一本久久a久久精品亚洲 | av人摸人人人澡人人超碰下载 | 大地资源中文第3页 | av无码久久久久不卡免费网站 | 88国产精品欧美一区二区三区 | 国产一区二区三区四区五区加勒比 | 久久zyz资源站无码中文动漫 | 亚洲精品综合五月久久小说 | 亚洲欧美日韩国产精品一区二区 | 亚洲日韩av一区二区三区中文 | 人人妻人人澡人人爽人人精品浪潮 | 3d动漫精品啪啪一区二区中 | 内射欧美老妇wbb | 国产成人午夜福利在线播放 | 最近中文2019字幕第二页 | 日韩人妻系列无码专区 | 波多野结衣av一区二区全免费观看 | 国产免费无码一区二区视频 | 久久久久亚洲精品中文字幕 | 国产亚洲人成a在线v网站 | 精品无码国产一区二区三区av | 亚洲精品午夜国产va久久成人 | 国产亚洲精品久久久久久久久动漫 | 少女韩国电视剧在线观看完整 | 色综合久久久无码中文字幕 | 97久久精品无码一区二区 | 亚洲va中文字幕无码久久不卡 | 两性色午夜免费视频 | 成人无码精品一区二区三区 | 欧美人与禽zoz0性伦交 | 1000部啪啪未满十八勿入下载 | 国产乱人伦av在线无码 | 东京热一精品无码av | 欧美 日韩 人妻 高清 中文 | av在线亚洲欧洲日产一区二区 | 久久精品国产大片免费观看 | 国产高潮视频在线观看 | 日本www一道久久久免费榴莲 | www国产亚洲精品久久久日本 | 午夜精品一区二区三区的区别 | 国产精品igao视频网 | 久久婷婷五月综合色国产香蕉 | 丰满妇女强制高潮18xxxx | 欧美丰满熟妇xxxx性ppx人交 | 色综合久久88色综合天天 | 伊人久久大香线蕉亚洲 | 久激情内射婷内射蜜桃人妖 | 人人澡人摸人人添 | 国产无遮挡又黄又爽又色 | 伊人久久大香线蕉av一区二区 | 丰满人妻一区二区三区免费视频 | 亚洲 激情 小说 另类 欧美 | 国产精品.xx视频.xxtv | 亚洲一区二区三区偷拍女厕 | 久久午夜夜伦鲁鲁片无码免费 | а√资源新版在线天堂 | 亚洲精品一区国产 | 好屌草这里只有精品 | 在线观看国产午夜福利片 | 99精品无人区乱码1区2区3区 | 国产艳妇av在线观看果冻传媒 | 成在人线av无码免观看麻豆 | 国产超碰人人爽人人做人人添 | 思思久久99热只有频精品66 | 日韩视频 中文字幕 视频一区 | 欧美老人巨大xxxx做受 | 99久久精品日本一区二区免费 | 国产国语老龄妇女a片 | 色综合久久久无码中文字幕 | 纯爱无遮挡h肉动漫在线播放 | 亚洲日韩中文字幕在线播放 | a在线观看免费网站大全 | 亚洲自偷自拍另类第1页 | av无码久久久久不卡免费网站 | 亚洲国产欧美日韩精品一区二区三区 | 思思久久99热只有频精品66 | 国产猛烈高潮尖叫视频免费 | 精品久久8x国产免费观看 | 久久99久久99精品中文字幕 | 中文字幕乱码人妻无码久久 | 蜜桃av抽搐高潮一区二区 | 偷窥日本少妇撒尿chinese | 国产两女互慰高潮视频在线观看 | 性欧美videos高清精品 | 内射老妇bbwx0c0ck | 国产成人综合在线女婷五月99播放 | 国产三级精品三级男人的天堂 | 性生交大片免费看女人按摩摩 | 正在播放东北夫妻内射 | 中文字幕久久久久人妻 | 帮老师解开蕾丝奶罩吸乳网站 | 国产一区二区不卡老阿姨 | 麻豆人妻少妇精品无码专区 | 精品久久综合1区2区3区激情 | 欧美黑人巨大xxxxx | 男女作爱免费网站 | 久久久久亚洲精品中文字幕 | 国産精品久久久久久久 | 波多野42部无码喷潮在线 | 成人无码视频在线观看网站 | 久久久久亚洲精品中文字幕 | 欧美性猛交内射兽交老熟妇 | 内射老妇bbwx0c0ck | 中文无码成人免费视频在线观看 | 久久久久免费看成人影片 | 俺去俺来也在线www色官网 | 色 综合 欧美 亚洲 国产 | 精品偷拍一区二区三区在线看 | 欧美精品一区二区精品久久 | 熟妇人妻无乱码中文字幕 | 又大又硬又爽免费视频 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 亚洲精品一区三区三区在线观看 | 国产精品18久久久久久麻辣 | 亚洲欧美日韩国产精品一区二区 | 国产亚洲精品久久久久久久久动漫 | 欧美人与牲动交xxxx | 日本丰满熟妇videos | 性欧美videos高清精品 | 1000部啪啪未满十八勿入下载 | 国产成人无码专区 | 纯爱无遮挡h肉动漫在线播放 | 东京一本一道一二三区 | 小sao货水好多真紧h无码视频 | 国产一区二区三区四区五区加勒比 | 国产在线aaa片一区二区99 | 亚洲精品一区三区三区在线观看 | 老熟妇仑乱视频一区二区 | 动漫av一区二区在线观看 | 国产成人无码av在线影院 | 风流少妇按摩来高潮 | 国产成人精品久久亚洲高清不卡 | 国产无套内射久久久国产 | 精品人妻中文字幕有码在线 | 天海翼激烈高潮到腰振不止 | 欧美日本精品一区二区三区 | 日日麻批免费40分钟无码 | 国产精品人妻一区二区三区四 | 精品无人区无码乱码毛片国产 | 日本又色又爽又黄的a片18禁 | 成人片黄网站色大片免费观看 | 99久久人妻精品免费二区 | 人人妻在人人 | 亚洲成av人片在线观看无码不卡 | 亚洲成av人片天堂网无码】 | 午夜熟女插插xx免费视频 | 久久久精品456亚洲影院 | 国产精品99爱免费视频 | 小泽玛莉亚一区二区视频在线 | 天堂а√在线地址中文在线 | 日本www一道久久久免费榴莲 | 欧美成人高清在线播放 | 成人亚洲精品久久久久软件 | 久久久久久a亚洲欧洲av冫 | 荫蒂被男人添的好舒服爽免费视频 | 久久综合九色综合欧美狠狠 | 九九综合va免费看 | 国产三级久久久精品麻豆三级 | 任你躁国产自任一区二区三区 | 精品国产乱码久久久久乱码 | 成人片黄网站色大片免费观看 | 国产精品多人p群无码 | 亚洲国产精品一区二区第一页 | 国产成人精品无码播放 | 男人的天堂av网站 | 免费播放一区二区三区 | 国产精品.xx视频.xxtv | 国产精品久久久一区二区三区 | 97se亚洲精品一区 | 亚洲va欧美va天堂v国产综合 | 国产婷婷色一区二区三区在线 | 无码一区二区三区在线 | 精品久久久无码人妻字幂 | 亚洲の无码国产の无码步美 | 国产熟妇高潮叫床视频播放 | 精品国产一区av天美传媒 | 国产99久久精品一区二区 | 在线成人www免费观看视频 | 国产精品高潮呻吟av久久 | 国产午夜精品一区二区三区嫩草 | 无码任你躁久久久久久久 | 国产亚av手机在线观看 | 精品久久8x国产免费观看 | 美女黄网站人色视频免费国产 | 国内揄拍国内精品人妻 | 精品国产青草久久久久福利 | 久久久婷婷五月亚洲97号色 | 99久久精品无码一区二区毛片 | 18无码粉嫩小泬无套在线观看 | 国产午夜亚洲精品不卡下载 | 99麻豆久久久国产精品免费 | 久久久久成人精品免费播放动漫 | 亚洲综合在线一区二区三区 | 男人扒开女人内裤强吻桶进去 | 国产激情无码一区二区 | 国产xxx69麻豆国语对白 | 精品国产一区二区三区四区 | 国产精品无码mv在线观看 | 老熟女乱子伦 | 亚洲综合伊人久久大杳蕉 | 国产乱人伦偷精品视频 | 欧美放荡的少妇 | 国产无套粉嫩白浆在线 | 未满小14洗澡无码视频网站 | 国産精品久久久久久久 | 国语自产偷拍精品视频偷 | 日日天日日夜日日摸 | 精品国偷自产在线 | 国产午夜无码视频在线观看 | 3d动漫精品啪啪一区二区中 | 国产无遮挡又黄又爽免费视频 | 国产舌乚八伦偷品w中 | 女人被爽到呻吟gif动态图视看 | 亚洲人亚洲人成电影网站色 | 夜精品a片一区二区三区无码白浆 | 一本一道久久综合久久 | 鲁鲁鲁爽爽爽在线视频观看 | 无码人妻黑人中文字幕 | 波多野结衣av一区二区全免费观看 | 一二三四在线观看免费视频 | 亚洲午夜福利在线观看 | 麻豆成人精品国产免费 | 99久久精品日本一区二区免费 | 狠狠cao日日穞夜夜穞av | 青草视频在线播放 | 黑人巨大精品欧美一区二区 | 99麻豆久久久国产精品免费 | 日日夜夜撸啊撸 | 少妇性俱乐部纵欲狂欢电影 | 成人无码精品一区二区三区 | 国产成人一区二区三区在线观看 | 国产人成高清在线视频99最全资源 | 亚洲中文字幕无码中文字在线 | 国产精品igao视频网 | 午夜福利一区二区三区在线观看 | 成人动漫在线观看 | 国产麻豆精品精东影业av网站 | 国产高清av在线播放 | 野外少妇愉情中文字幕 | 成 人影片 免费观看 | 免费人成在线观看网站 | 久久综合给合久久狠狠狠97色 | 欧美真人作爱免费视频 | 荫蒂被男人添的好舒服爽免费视频 | 色一情一乱一伦一视频免费看 | 久久 国产 尿 小便 嘘嘘 | 久久久久久久久蜜桃 | 久久久久成人片免费观看蜜芽 | 一个人看的视频www在线 | 1000部啪啪未满十八勿入下载 | 成人精品视频一区二区 | 亚洲 另类 在线 欧美 制服 | 国产av无码专区亚洲a∨毛片 | 日韩 欧美 动漫 国产 制服 | 亚洲精品国偷拍自产在线麻豆 | 国产疯狂伦交大片 | 色婷婷久久一区二区三区麻豆 | 少妇激情av一区二区 | 亚洲精品国产精品乱码不卡 | 久久无码中文字幕免费影院蜜桃 | 国产精品无码mv在线观看 | 九月婷婷人人澡人人添人人爽 | 亚洲男人av天堂午夜在 | 六十路熟妇乱子伦 | 国产精品久久久午夜夜伦鲁鲁 | 在线 国产 欧美 亚洲 天堂 | 在线欧美精品一区二区三区 | 亚洲精品久久久久中文第一幕 | 少妇被黑人到高潮喷出白浆 | 激情人妻另类人妻伦 | 无码纯肉视频在线观看 | 国产精品久久国产三级国 | 日韩亚洲欧美精品综合 | 欧美日韩色另类综合 | 欧洲熟妇色 欧美 | 大胆欧美熟妇xx | 日本精品久久久久中文字幕 | 久久精品人人做人人综合 | 亚洲 另类 在线 欧美 制服 | 少妇人妻av毛片在线看 | 桃花色综合影院 | 国产人妻大战黑人第1集 | 少妇被黑人到高潮喷出白浆 | 国产亚洲精品久久久久久久 | 国产亚洲tv在线观看 | av无码久久久久不卡免费网站 | 国产性生交xxxxx无码 | 欧美 日韩 人妻 高清 中文 | 久久精品国产日本波多野结衣 | 久久久久成人片免费观看蜜芽 | 人人妻人人澡人人爽人人精品 | 国产美女极度色诱视频www | 欧美精品国产综合久久 | 亚洲国产精品一区二区第一页 | 女人被爽到呻吟gif动态图视看 | 日本www一道久久久免费榴莲 | 中文无码精品a∨在线观看不卡 | 人妻无码αv中文字幕久久琪琪布 | 天下第一社区视频www日本 | 精品国产一区二区三区av 性色 | 日日摸夜夜摸狠狠摸婷婷 | 扒开双腿疯狂进出爽爽爽视频 | 国产精品久久久久久久9999 | 一本久道高清无码视频 | 在线 国产 欧美 亚洲 天堂 | 中文字幕av日韩精品一区二区 | 免费人成在线视频无码 | 成人av无码一区二区三区 | 国产熟妇高潮叫床视频播放 | 国产性生大片免费观看性 | 欧美人与牲动交xxxx | 国产av无码专区亚洲awww | 国产精品资源一区二区 | 丝袜 中出 制服 人妻 美腿 | 无遮挡国产高潮视频免费观看 | 大肉大捧一进一出好爽视频 | 18精品久久久无码午夜福利 | 精品国产福利一区二区 | 蜜桃无码一区二区三区 | 日日摸天天摸爽爽狠狠97 | 青草青草久热国产精品 | 纯爱无遮挡h肉动漫在线播放 | 亚洲一区二区三区播放 | 国产乱子伦视频在线播放 | 99久久精品午夜一区二区 | 色偷偷av老熟女 久久精品人妻少妇一区二区三区 | 国产精品无码mv在线观看 | 日本一卡二卡不卡视频查询 | 蜜桃视频插满18在线观看 | 精品成在人线av无码免费看 | 疯狂三人交性欧美 | 一本无码人妻在中文字幕免费 | 国产精品va在线播放 | 亚洲国产精品毛片av不卡在线 | 熟女少妇人妻中文字幕 | 成 人 网 站国产免费观看 | 国产国产精品人在线视 | 久久精品成人欧美大片 | 性欧美大战久久久久久久 | 久久亚洲中文字幕精品一区 | 漂亮人妻洗澡被公强 日日躁 | 国产成人无码av一区二区 | 131美女爱做视频 | 高潮毛片无遮挡高清免费视频 | 欧美 丝袜 自拍 制服 另类 | 国产精品亚洲一区二区三区喷水 | 人妻互换免费中文字幕 | 人人妻在人人 | 亚洲色在线无码国产精品不卡 | 色五月丁香五月综合五月 | 两性色午夜视频免费播放 | 亚洲人亚洲人成电影网站色 | 亚洲国产精品一区二区第一页 | 少妇性荡欲午夜性开放视频剧场 | 国产精品久久久一区二区三区 | 国产午夜手机精彩视频 | 日日天日日夜日日摸 | 任你躁国产自任一区二区三区 | 98国产精品综合一区二区三区 | 高清国产亚洲精品自在久久 | 中国女人内谢69xxxx | 亚洲va欧美va天堂v国产综合 | 一本色道久久综合亚洲精品不卡 | 美女毛片一区二区三区四区 | 日日鲁鲁鲁夜夜爽爽狠狠 | 国产精品怡红院永久免费 | 久久久精品欧美一区二区免费 | 夫妻免费无码v看片 | 国产三级久久久精品麻豆三级 | 国产激情无码一区二区 | 真人与拘做受免费视频 | 亚洲综合色区中文字幕 | 伊人久久大香线蕉午夜 | 国产电影无码午夜在线播放 | 久久人人爽人人人人片 | 日韩欧美中文字幕在线三区 | 7777奇米四色成人眼影 | 少妇人妻av毛片在线看 | 亚洲成a人片在线观看日本 | 亚洲精品久久久久avwww潮水 | 亚洲无人区一区二区三区 | 久久综合给合久久狠狠狠97色 | 丰满少妇高潮惨叫视频 | 55夜色66夜色国产精品视频 | 2020最新国产自产精品 | 国产精品无码mv在线观看 | 久久亚洲精品成人无码 | 亚洲午夜无码久久 | 久久精品国产一区二区三区肥胖 | 中文精品久久久久人妻不卡 | 免费男性肉肉影院 | 亚洲精品国产第一综合99久久 | 中文字幕无码av波多野吉衣 | 樱花草在线播放免费中文 | 一二三四社区在线中文视频 | 日产精品99久久久久久 | 天天躁日日躁狠狠躁免费麻豆 | 亚洲の无码国产の无码步美 | 国产网红无码精品视频 | 女人被男人爽到呻吟的视频 | 国产明星裸体无码xxxx视频 | 少妇激情av一区二区 | 装睡被陌生人摸出水好爽 | 成人精品视频一区二区三区尤物 | 国产色在线 | 国产 | 大肉大捧一进一出视频出来呀 | 中文字幕+乱码+中文字幕一区 | 欧美日韩一区二区三区自拍 | 亚洲欧美色中文字幕在线 | 在线观看国产一区二区三区 | av小次郎收藏 | 蜜桃av抽搐高潮一区二区 | 日韩精品a片一区二区三区妖精 | 久久午夜夜伦鲁鲁片无码免费 | 四虎国产精品免费久久 | 中文字幕av日韩精品一区二区 | 国产亚洲人成a在线v网站 | 日韩欧美中文字幕在线三区 | 亚洲熟悉妇女xxx妇女av | 国产绳艺sm调教室论坛 | 人人妻人人澡人人爽欧美一区九九 | 日日麻批免费40分钟无码 | 乱码午夜-极国产极内射 | 台湾无码一区二区 | 欧美国产亚洲日韩在线二区 | 亚洲大尺度无码无码专区 | 国产精品a成v人在线播放 | 亚洲成av人综合在线观看 | 久久久无码中文字幕久... | 久久99精品久久久久婷婷 | 无码国模国产在线观看 | 日韩精品乱码av一区二区 | √天堂中文官网8在线 | 亚洲啪av永久无码精品放毛片 | 成人无码影片精品久久久 | 天天综合网天天综合色 | 亚洲精品中文字幕 | 东京无码熟妇人妻av在线网址 | 亚洲a无码综合a国产av中文 | 亚洲va中文字幕无码久久不卡 | 国产99久久精品一区二区 | 国产午夜福利亚洲第一 | 国产高清av在线播放 | 大肉大捧一进一出视频出来呀 | 水蜜桃av无码 | 国产农村乱对白刺激视频 | 国产午夜精品一区二区三区嫩草 | 精品无人国产偷自产在线 | 亚洲国产欧美在线成人 | 亚洲s码欧洲m码国产av | 在线成人www免费观看视频 | 亚洲精品国产a久久久久久 | 国产 浪潮av性色四虎 | 久久久久成人精品免费播放动漫 | 日韩欧美群交p片內射中文 | 67194成是人免费无码 | 性啪啪chinese东北女人 | 亚洲精品午夜国产va久久成人 | 久精品国产欧美亚洲色aⅴ大片 | 六月丁香婷婷色狠狠久久 | 无码吃奶揉捏奶头高潮视频 | 日日鲁鲁鲁夜夜爽爽狠狠 | 成熟人妻av无码专区 | 久久久婷婷五月亚洲97号色 | 性欧美大战久久久久久久 | 日日麻批免费40分钟无码 | 久久99精品久久久久久 | 人妻少妇精品无码专区二区 | 久久视频在线观看精品 | 男人的天堂2018无码 | 欧美黑人巨大xxxxx | 国产精品无码一区二区桃花视频 | 清纯唯美经典一区二区 | 国产精品久久久久久亚洲影视内衣 | 国产香蕉尹人视频在线 | 国产av剧情md精品麻豆 | 国产成人精品必看 | 日韩精品无码一区二区中文字幕 | 荫蒂被男人添的好舒服爽免费视频 | 美女毛片一区二区三区四区 | 十八禁视频网站在线观看 | 天海翼激烈高潮到腰振不止 | 红桃av一区二区三区在线无码av | 婷婷色婷婷开心五月四房播播 | 久久无码专区国产精品s | 国产无遮挡吃胸膜奶免费看 | 国产精品人人爽人人做我的可爱 | 日韩成人一区二区三区在线观看 | 丰满岳乱妇在线观看中字无码 | 正在播放东北夫妻内射 | 国产精品久久久久影院嫩草 | 麻花豆传媒剧国产免费mv在线 | 99久久亚洲精品无码毛片 | 亚洲国产午夜精品理论片 | 中文字幕av无码一区二区三区电影 | 亚洲国产成人a精品不卡在线 | 呦交小u女精品视频 | 色一情一乱一伦 | 99久久99久久免费精品蜜桃 | 97夜夜澡人人双人人人喊 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 国产性生大片免费观看性 | 亚洲中文无码av永久不收费 |