重磅推荐专栏:
《大模型AIGC》
《课程大纲》
《知识星球》
本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域,包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用,以及与之相关的人工智能生成内容(AIGC)技术。通过深入的技术解析和实践经验分享,旨在帮助读者更好地理解和应用这些领域的最新进展
1. 异常表现
用 Xinference 部署Embedding Model,正常来说一次调用在 0.0x s 就能返回了,但是总会调着调着突然有超时的情况(超时设置为 0.2s)。
以下为排查时的耗时记录:
0 0.05194091796875
1 0.03154397010803223
2 0.02721405029296875
3 0.022481203079223633
4 0.0260312557220459
5 0.022041797637939453
6 0.023247241973876953
7 0.022098064422607422
8 0.0237271785736084
9 0.02179098129272461
10 0.022876739501953125
11 0.02112102508544922
12 0.022140026092529297
13 0.021735668182373047
14 0.022485971450805664
15 0.02161383628845215
16 0.02232217788696289
17 0.4504587650299072 超时啦!!!!!
18 0.5312082767486572 超时啦!!!!!
19 0.025865793228149414
20 0.027109146118164062
21 0.02774524688720703
22 0.026093721389770508
23 0.023926973342895508
24 0.026304006576538086
25 0.02429652214050293
26 0.02492690086364746
27 0.0239565372467041
28 0.024293184280395508
29 0.024419307708740234
30 0.027068614959716797
31 0.022825241088867188
32 0.022889137268066406
33 0.022517919540405273
34 0.022736310958862305
35 0.023031949996948242
36 0.024333715438842773
37 0.35354113578796387 超时啦!!!!!
38 0.34353184700012207 超时啦!!!!!
39 0.025719404220581055
40 0.02369856834411621
41 0.02283000946044922
42 0.022718429565429688
43 0.022561311721801758
44 0.02275228500366211
45 0.02206563949584961
46 0.022105693817138672
47 0.02268385887145996
48 0.023158788681030273
49 0.021632909774780273
50 0.02277398109436035
51 0.02237224578857422
52 0.022454023361206055
53 0.021343469619750977
54 0.021682262420654297
55 0.021616697311401367
56 0.022090911865234375
57 0.34398388862609863 超时啦!!!!!
58 0.3253335952758789 超时啦!!!!!
59 0.027069807052612