讲授Linux中的零拷贝技术和利用

本文探讨Linux中主要的几种零拷贝技术和零拷贝技术适用的场景。为了迅速建立起零拷贝的概念，我们拿一个经常使用的场景进行引入：

引文##

在写一个服务端程序时（Web Server或文件服务器），文件下载是一个基本功能。这时候候服务真个任务是：将服务端主机磁盘中的文件不做修改地从已连接的socket发出去，我们通经常使用下面的代码完成：

while((n = read(diskfd, buf, BUF_SIZE)) > 0)
  write(sockfd, buf , n);

基本操作就是循环的从磁盘读入文件内容到缓冲区，再将缓冲区的内容发送到socket。但是由于Linux的I/O操作默许是缓冲I/O。这里面主要使用的也就是read和write两个系统调用，我们其实不知道操作系统在其中做了甚么。实际上在以上I/O操作中，产生了屡次的数据拷贝。

当利用程序访问某块数据时，操作系统首先会检查，是不是是最近访问过此文件，文件内容会不会缓存在内核缓冲区，如果是，操作系统则直接根据read系统调用提供的buf地址，将内核缓冲区的内容拷贝到buf所指定的用户空间缓冲区中去。如果不是，操作系统则首先将磁盘上的数据拷贝的内核缓冲区，这一步目前主要依托DMA来传输，然后再把内核缓冲区上的内容拷贝到用户缓冲区中。

接下来，write系统调用再把用户缓冲区的内容拷贝到网络堆栈相关的内核缓冲区中，最后socket再把内核缓冲区的内容发送到网卡上。

说了这么多，不如看图清楚：

数据拷贝

从上图中可以看出，共产生了四次数据拷贝，即便使用了DMA来处理了与硬件的通讯，CPU依然需要处理两次数据拷贝，与此同时，在用户态与内核态也产生了屡次上下文切换，无疑也加重了CPU负担。
在此进程中，我们没有对文件内容做任何修改，那末在内核空间和用户空间来回拷贝数据无疑就是一种浪费，而零拷贝主要就是为了解决这类低效性。

甚么是零拷贝技术（zero-copy）？##

零拷贝主要的任务就是避免CPU将数据从一块存储拷贝到另外一块存储，主要就是利用各种零拷贝技术，避免让CPU做大量的数据拷贝任务，减少没必要要的拷贝，或让别的组件来做这一类简单的数据传输任务，让CPU摆脱出来专注于别的任务。这样就能够让系统资源的利用更加有效。

我们继续回到引文中的例子，我们如何减少数据拷贝的次数呢？一个很明显的着力点就是减少数据在内核空间和用户空间来回拷贝，这也引入了零拷贝的一个类型：

让数据传输不需要经过user space

使用mmap#####

我们减少拷贝次数的一种方法是调用mmap()来代替read调用：

buf = mmap(diskfd, len);
write(sockfd, buf, len);

利用程序调用mmap()，磁盘上的数据会通过DMA被拷贝的内核缓冲区，接着操作系统会把这段内核缓冲区与利用程序同享，这样就不需要把内核缓冲区的内容往用户空间拷贝。利用程序再调用write(),操作系统直接将内核缓冲区的内容拷贝到socket缓冲区中，这一切都产生在内核态，最后，socket缓冲区再把数据发到网卡去。
一样的，看图很简单：

mmap

使用mmap替换read很明显减少了一次拷贝，当拷贝数据量很大时，无疑提升了效力。但是使用mmap是有代价的。当你使用mmap时，你可能会遇到一些隐藏的圈套。例如，当你的程序map了一个文件，但是当这个文件被另外一个进程截断(truncate)时, write系统调用会由于访问非法地址而被SIGBUS信号终止。SIGBUS信号默许会杀死你的进程并产生一个coredump,如果你的服务器这样被中断了，那会产生一笔损失。

通常我们使用以下解决方案避免这类问题：

为SIGBUS信号建立信号处理程序
当遇到SIGBUS信号时，信号处理程序简单地返回，write系统调用在被中断之前会返回已写入的字节数，并且errno会被设置成success,但是这是一种糟的处理办法，由于你并没有解决问题的实质核心。

使用文件租借锁
通常我们使用这类方法，在文件描写符上使用租借锁，我们为文件向内核申请一个租借锁，当其它进程想要截断这个文件时，内核会向我们发送一个实时的RT_SIGNAL_LEASE信号，告知我们内核正在破坏你加持在文件上的读写锁。这样在程序访问非法内存并且被SIGBUS杀死之前，你的write系统调用会被中断。write会返回已写入的字节数，并且置errno为success。
我们应当在mmap文件之前加锁，并且在操作完文件后解锁：

if(fcntl(diskfd, F_SETSIG, RT_SIGNAL_LEASE) == ⑴) {
  perror("kernel lease set signal");
  return ⑴;
}
/* l_type can be F_RDLCK F_WRLCK 加锁*/
/* l_type can be F_UNLCK 解锁*/
if(fcntl(diskfd, F_SETLEASE, l_type)){
  perror("kernel lease set type");
  return ⑴;
}

使用sendfile#####

从2.1版内核开始，Linux引入了sendfile来简化操作:

#include<sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

系统调用sendfile()在代表输入文件的描写符in_fd和代表输出文件的描写符out_fd之间传送文件内容（字节）。描写符out_fd一定要指向一个套接字，而in_fd指向的文件一定要是可以mmap的。这些局限限制了sendfile的使用，使sendfile只能将数据从文件传递到套接字上，反之则不行。
使用sendfile不但减少了数据拷贝的次数，还减少了上下文切换，数据传送始终只产生在kernel space。

sendfile系统调用进程

在我们调用sendfile时，如果有其它进程截断了文件会产生甚么呢？假定我们没有设置任何信号处理程序，sendfile调用仅仅返回它在被中断之前已传输的字节数，errno会被置为success。如果我们在调用sendfile之前给文件加了锁，sendfile的行动依然和之前相同，我们还会收到RT_SIGNAL_LEASE的信号。

目前为止，我们已减少了数据拷贝的次数了，但是依然存在一次拷贝，就是页缓存到socket缓存的拷贝。那末能不能把这个拷贝也省略呢？

借助于硬件上的帮助，我们是可以办到的。之前我们是把页缓存的数据拷贝到socket缓存中，实际上，我们仅仅需要把缓冲区描写符传到socket缓冲区，再把数据长度传过去，这样DMA控制器直接将页缓存中的数据打包发送到网络中就能够了。

总结一下，sendfile系统调用利用DMA引擎将文件内容拷贝到内核缓冲区去，然后将带有文件位置和长度信息的缓冲区描写符添加socket缓冲区去，这一步不会将内核中的数据拷贝到socket缓冲区中，DMA引擎会将内核缓冲区的数据拷贝到协议引擎中去，避免了最后一次拷贝。

带DMA的sendfile

不过这一种搜集拷贝功能是需要硬件和驱动程序支持的。

使用splice#####

sendfile只适用于将数据从文件拷贝到套接字上，限定了它的使用范围。Linux在2.6.17版本引入splice系统调用，用于在两个文件描写符中移动数据：

#define _GNU_SOURCE     /* See feature_test_macros(7) */
#include <fcntl.h>
ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags);

splice调用在两个文件描写符之间移动数据，而不需要数据在内核空间和用户空间来回拷贝。他从fd_in拷贝len长度的数据到fd_out，但是有一方一定要是管道装备，这也是目前splice的一些局限性。flags参数有以下几种取值：

• SPLICE_F_MOVE ：尝试去移动数据而不是拷贝数据。这仅仅是对内核的一个小提示：如果内核不能从pipe移动数据或pipe的缓存不是一个整页面，依然需要拷贝数据。Linux最初的实现有些问题，所以从2.6.21开始这个选项不起作用，后面的Linux版本应当会实现。
• ** SPLICE_F_NONBLOCK** ：splice 操作不会被阻塞。但是，如果文件描写符没有被设置为不可被阻塞方式的 I/O ，那末调用 splice 有可能依然被阻塞。
• ** SPLICE_F_MORE**： 后面的splice调用会有更多的数据。

splice调用利用了Linux提出的管道缓冲区机制， 所以致少一个描写符要为管道。

以上几种零拷贝技术都是减少数据在用户空间和内核空间拷贝技术实现的，但是有些时候，数据一定要在用户空间和内核空间之间拷贝。这时候候，我们只能针对数据在用户空间和内核空间拷贝的时机上下工夫了。Linux通常利用写时复制(copy on write)来减少系统开消，这个技术又经常称作COW。

由于篇幅缘由，本文不详细介绍写时复制。大概描写下就是：如果多个程序同时访问同一块数据，那末每一个程序都具有指向这块数据的指针，在每一个程序看来，自己都是独立具有这块数据的，只有当程序需要对数据内容进行修改时，才会把数据内容拷贝到程序自己的利用空间里去，这时候候，数据才成为该程序的私有数据。如果程序不需要对数据进行修改，那末永久都不需要拷贝数据到自己的利用空间里。这样就减少了数据的拷贝。写时复制的内容可以再写一篇文章了。。。

除此以外，还有一些零拷贝技术，比如传统的Linux I/O中加上O_DIRECT标记可以直接I/O，避免了自动缓存，还有还没有成熟的fbufs技术，本文还没有覆盖所有零拷贝技术，只是介绍常见的一些，如有兴趣，可以自行研究，一般成熟的服务端项目也会自己改造内核中有关I/O的部份，提高自己的数据传输速率。

到此这篇关于讲授Linux中的零拷贝技术和利用的文章就介绍到这了,更多相关Linux 零拷贝内容请搜索之前的文章或继续浏览下面的相关文章希望大家以后多多支持！