分类默认分类下的文章

Golang HttpClient调用过程浅析

作者: nbboy
时间: 2021-09-26
分类: 默认分类,软件架构,软件工程,设计模式,Golang
评论

Golang Client的实现高低版本的实现方式上存在一些有意思的差异，本文主要分析1.0版本和1.2版本，因为1.2版本之后的版本和1.2版本模型上基本是一致的。
先看下1.0版本的调用流程图：
![](https://chenxf.org/usr/uploads/2021/09/1350670828.png)
get请求最后会调用核心的RoundTrip,其完成实际的httpclient链接池请求。
```go
func (t *Transport) RoundTrip(req *Request) (resp *Response, err error)
```

在继续分析剩下的流程之前，先看下主要的Transport结构：

```go
type Transport struct {
	lk       sync.Mutex
	idleConn map[string][]*persistConn
	...
}

// persistConn wraps a connection, usually a persistent one
// (but may be used for non-keep-alive requests as well)
type persistConn struct {
	t        *Transport
	cacheKey string // its connectMethod.String()
	conn     net.Conn
	br       *bufio.Reader       // from conn
	bw       *bufio.Writer       // to conn
	reqch    chan requestAndChan // written by roundTrip(); read by readLoop()
	...
	broken               bool // an error has happened on this connection; marked broken so it's not reused.
}
```
链接池通过map结构维护，而key的计算方式是：
```go
func (ck *connectMethod) String() string {
	proxyStr := ""
	if ck.proxyURL != nil {
		proxyStr = ck.proxyURL.String()
	}
	return strings.Join([]string{proxyStr, ck.targetScheme, ck.targetAddr}, "|")
}
```
也就是同样的url是一组，共用一组链接池。
再把视线切回到导图里来，在这个版本中，会用getConn获取到当前链接的一个persistConn（如果是有空闲的persistConn就直接获取，否则就新创建一个persistConn），然后会调用persistConn的roundTrip方法，而其实际是往channel中写入请求，请求服务是在persistConn.readLoop中去做的。这时候的模型其实是这样的：
![](https://chenxf.org/usr/uploads/2021/09/3043231070.png)
**一个persistConn有一个goroutine去等待着获取请求，然后向服务发起这个请求，并且把响应通过chan回送到调用方**。可以说**这个过程是异步的**，充分利用了golang的goroutine特性。

到了1.2版本，调用流程变得复杂一些了，还是先看导图：
![](https://chenxf.org/usr/uploads/2021/09/386584304.png)
前面调用过程是一样的，主要区别还是从原来的一个persistConn一个worker变成了**一个persistConn两个worker,这两个worker一个用来写request,一个用来读response**。这样效率肯定会高一点，它的工作模型变成如下图所示：
![](https://chenxf.org/usr/uploads/2021/09/2901301984.png)

从1.2之后，模型大体上没有变化，只是对细节上做了一些更进一步的优化和修复问题。

#### 总结
第一个点，从一个client库中可以看出golang基础库的高效，也充分利用了golang的特性-goroutine。第二点，从后面版本开始，读写其实是分离的，这个点我们可以借鉴到我们的设计中去，特别是网络程序。

#### 附件
文章写的很匆忙，细节我总结在导图中了，有兴趣的可以下载观看。
[httpclient导图](http://chenxf.org/files/http_client.emmx "httpclient导图")

《异类》读书有感

作者: nbboy
时间: 2021-04-24
分类: 默认分类
评论

snowflake算法学习

作者: nbboy
时间: 2020-08-03
分类: 默认分类
评论

从线上宕机引起的问题谈开去

作者: nbboy
时间: 2020-06-18
分类: 默认分类,PHP
评论

### 背景
  公司的外网线上项目连续宕机将近2周时间，后来通过查找日志，发现是某度蜘蛛大量爬取造成。因为公司花钱进行了SEO推广，所以也不能直接禁掉蜘蛛，所以一度造成网站打不开的情况。期间增加带宽，扩容cpu,增强搜索引擎集群等方案，都得不到好的效果。
### 分析
  开始优化代码，记录慢日志，在云平台看慢查询，渐渐优化慢查询，但是问题依旧。慢慢通过分析慢日志注意到如下细节：
![](https://www.chenxf.org/usr/uploads/2020/06/2773976548.png)
这里我摘取了两个日志片段，其实类似日志片段还有非常多。可以看到将近相同的时间不同的许多进程都进行了GC,而这里的所谓GC是什么？
在StartSession.php上看到了如下代码:
```php
/**
     * Remove the garbage from the session if necessary.
     *
     * @param  \Illuminate\Session\SessionInterface  $session
     * @return void
     */
    protected function collectGarbage(SessionInterface $session)
    {
        $config = $this->manager->getSessionConfig();

// Here we will see if this request hits the garbage collection lottery by hitting
        // the odds needed to perform garbage collection on any given request. If we do
        // hit it, we'll call this handler to let it delete all the expired sessions.
        if ($this->configHitsLottery($config)) {
            $session->getHandler()->gc($this->getSessionLifetimeInSeconds());
        }
    }
```
这里注释的意思是有一定概率进行GC,并不是每次都进行GC,先来看下GC做了什么事情。
因为配置的是文件session,所以我们找到文件Session的实现文件FileSessionHandler.php,摘取GC函数代码如下:
```php
/**
     * {@inheritdoc}
     */
    public function gc($lifetime)
    {
        $files = Finder::create()
                    ->in($this->path)
                    ->files()
                    ->ignoreDotFiles(true)
                    ->date('<= now - '.$lifetime.' seconds');

foreach ($files as $file) {
            $this->files->delete($file->getRealPath());
        }
    }
```
代码的意思很简单，就是通过搜索文件，获取到过期的session文件然后进行删除，这里的过期时间在session.php的配置里定义：
```php
 /*
    |--------------------------------------------------------------------------
    | Session Lifetime
    |--------------------------------------------------------------------------
    |
    | Here you may specify the number of minutes that you wish the session
    | to be allowed to remain idle before it expires. If you want them
    | to immediately expire on the browser closing, set that option.
    |
    */

'lifetime' => 120,

'expire_on_close' => true,
```
可以看到默认是2个小时，下面一个参数的意义是是否要在浏览器关闭的时候立即过期！刚才说到了，有一定概率执行这个GC,那这个概率多大呢？
```php
/**
     * Determine if the configuration odds hit the lottery.
     *
     * @param  array  $config
     * @return bool
     */
    protected function configHitsLottery(array $config)
    {
        return random_int(1, 100) <= 2;
    }
```
上面代码是我把默认配置替换后的结果，也就是会有2%的可能会触发一次GC!而一次GC我们要回收两个小时之前的过期session文件。如果在并发量稍微有点大的情况下，要删除的文件其实是非常可观的，删除这个IO操作就是直接导致了cpu负荷直接超载的罪魁祸首。
### 解决方案
  方法很简单，就是换driver,比如集中式的redis session方案。

### 总结
  虽然这次项目的主要负责人不是我，不过通过这次抓取日志，跟踪代码，分析代码学到了很多优化的一手资料。Laravel其实是一个相当灵活的框架，文件session方式只能在测试环境进行应用，而在线上环境必须上集中式session方式，不然流量起来的时候，就会吃苦头。Laravel如不经过优化的情况下，他的性能是不高的，好在他也提供了很多可以优化的扩展接口，算的上是目前PHP里相当成熟的框架了。

SpringBoot集成FreeMarker

作者: nbboy
时间: 2020-04-02
分类: 默认分类,Java
评论

## SpringBoot 集成Freemarker
  Freemarker是一个Java模板系统,集成非常简单。
1. 第一步在POM文件中引入自动配置包
```
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-freemarker</artifactId>
</dependency>
```

2. 第二部在模板目录下创建模板test.ftlh,内容为
```html
<h1>${msg}</h1>
```

3. 第三部创建调用的Controller
```java
@Controller
@RequestMapping("/auth")
public class AuthController {
    @RequestMapping("/test")
    public String test(Model model){
        model.addAttribute("msg", "Hello,Freemarker");
        return "auth/test";
    }
}
```

4.运行，就能看到动态内容已经渲染出来了。

## Freemarker API简单使用

## SpringMVC调用Freemarker浅析
  完整的MVC调用链这里先隐去，从org.springframework.web.servlet.DispatcherServlet#doDispatch看下调用的逻辑:
```java
protected void doDispatch(HttpServletRequest request, HttpServletResponse response) throws Exception {
		HttpServletRequest processedRequest = request;
		HandlerExecutionChain mappedHandler = null;
		boolean multipartRequestParsed = false;

WebAsyncManager asyncManager = WebAsyncUtils.getAsyncManager(request);

try {
			ModelAndView mv = null;
			Exception dispatchException = null;

try {
				processedRequest = checkMultipart(request);
				multipartRequestParsed = (processedRequest != request);

// Determine handler for the current request.
				mappedHandler = getHandler(processedRequest);
				if (mappedHandler == null) {
					noHandlerFound(processedRequest, response);
					return;
				}

// Determine handler adapter for the current request.
				HandlerAdapter ha = getHandlerAdapter(mappedHandler.getHandler());

// Process last-modified header, if supported by the handler.
				String method = request.getMethod();
				boolean isGet = "GET".equals(method);
				if (isGet || "HEAD".equals(method)) {
					long lastModified = ha.getLastModified(request, mappedHandler.getHandler());
					if (new ServletWebRequest(request, response).checkNotModified(lastModified) && isGet) {
						return;
					}
				}

if (!mappedHandler.applyPreHandle(processedRequest, response)) {
					return;
				}

// Actually invoke the handler.
				mv = ha.handle(processedRequest, response, mappedHandler.getHandler());

if (asyncManager.isConcurrentHandlingStarted()) {
					return;
				}

applyDefaultViewName(processedRequest, mv);
				mappedHandler.applyPostHandle(processedRequest, response, mv);
			}
			//这里的开始处理控制器返回的内容,渲染视图就在这里面处理
			processDispatchResult(processedRequest, response, mappedHandler, mv, dispatchException);
		}
	}
```
在org.springframework.web.servlet.DispatcherServlet#processDispatchResult里面，我们看到了渲染的方法。
```java
	private void processDispatchResult(HttpServletRequest request, HttpServletResponse response,
			@Nullable HandlerExecutionChain mappedHandler, @Nullable ModelAndView mv,
			@Nullable Exception exception) throws Exception {

boolean errorView = false;

//省略部分代码

// Did the handler return a view to render?
		if (mv != null && !mv.wasCleared()) {
			render(mv, request, response);
			if (errorView) {
				WebUtils.clearErrorRequestAttributes(request);
			}
		}
		
		//省略部分代码
	}
```
再看下这个方法org.springframework.web.servlet.DispatcherServlet#render，完整的查找模板解析器和解析器渲染的过程就在这里。
```java
protected void render(ModelAndView mv, HttpServletRequest request, HttpServletResponse response) throws Exception {
		// Determine locale for request and apply it to the response.
		//省略部分代码

View view;
		//获得视图名称
		String viewName = mv.getViewName();
		if (viewName != null) {
			// We need to resolve the view name.
			//这里查找到模板解析器
			view = resolveViewName(viewName, mv.getModelInternal(), locale, request);
		}

try {
			if (mv.getStatus() != null) {
				response.setStatus(mv.getStatus().value());
			}
			//做真正的渲染
			view.render(mv.getModelInternal(), request, response);
		}
		//省略部分代码
	}
```
OK,我们看下org.springframework.web.servlet.DispatcherServlet#resolveViewName的方法是怎样的。
```java
protected View resolveViewName(String viewName, @Nullable Map<String, Object> model,
			Locale locale, HttpServletRequest request) throws Exception {

if (this.viewResolvers != null) {
			for (ViewResolver viewResolver : this.viewResolvers) {
				View view = viewResolver.resolveViewName(viewName, locale);
				if (view != null) {
					return view;
				}
			}
		}
		return null;
	}
```
我们的Freemarker解析器FreeMarkerViewResolver也在里面,这个解析器FreeMarkerViewResolver实现了ViewResolver接口就可以了。
至于渲染，刚才也看到会调用view的render方法，然后通过层层调用，最后调用org.springframework.web.servlet.view.freemarker.FreeMarkerView#doRender方法，方法如下所述:
```java
	protected void doRender(Map<String, Object> model, HttpServletRequest request,
			HttpServletResponse response) throws Exception {

// Expose model to JSP tags (as request attributes).
		exposeModelAsRequestAttributes(model, request);
		// Expose all standard FreeMarker hash models.
		SimpleHash fmModel = buildTemplateModel(model, request, response);

// Grab the locale-specific version of the template.
		Locale locale = RequestContextUtils.getLocale(request);
		processTemplate(getTemplate(locale), fmModel, response);
	}
	
	protected void processTemplate(Template template, SimpleHash model, HttpServletResponse response)
			throws IOException, TemplateException {

template.process(model, response.getWriter());
	}
```
至此，MVC里的调用就结束了,Template是Freemarker包下的模板对象。也可看到最后带过去的是数据模型和输出流，有了这两个东西，要动态输出是轻而易举的事情了。

## SpringBoot Freemarker 自动配置如何实现
  配置Freemarker主要是通过org.springframework.boot.autoconfigure.freemarker.FreeMarkerProperties实现的,不过有一些属性是来自基类org.springframework.boot.autoconfigure.template.AbstractViewResolverProperties，其中属性还是挺多，主要常用的比如
```java
/**
	 * Whether to enable MVC view resolution for this technology.
	 */
	private boolean enabled = true;

/**
	 * Whether to enable template caching.
	 */
	private boolean cache;

/**
	 * Content-Type value.
	 */
	private MimeType contentType = DEFAULT_CONTENT_TYPE;

/**
	 * Template encoding.
	 */
	private Charset charset = DEFAULT_CHARSET;
	
	/**
	 * Prefix that gets prepended to view names when building a URL.
	 */
	private String prefix;

/**
	 * Suffix that gets appended to view names when building a URL.
	 */
	private String suffix;
```

## 总结
  虽然现在都提倡前后端分离，不过适当了解了解模板渲染有关的内容也是挺有帮助的，因为就目前来说毕竟用SPA一体化富应用在SEO方面做得不够理想，还有对于比较简单不怎么交互的页面也完全可以用后端渲染完成，所以在这方面花适当的时间还是值得的。

Golang HttpClient调用过程浅析

《异类》读书有感

snowflake算法学习

从线上宕机引起的问题谈开去

SpringBoot集成FreeMarker

最新文章

最近回复

分类

归档

其它