请求批处理

问题

如果大量请求发送到具有少量数据的集群节点，网络延迟和请求处理时间（包括服务器端请求的序列化和反序列化）会增加显著的开销。

例如，在具有 1gbps 容量的网络中，如果延迟和请求处理时间为 100 微秒，并且客户端同时发送数百个请求，即使每个请求只有几个字节，也会显著限制整体吞吐量。