當前位置:編程學習大全網 - 源碼下載 - mmap簡單理解

mmap簡單理解

在開始談零拷貝之前,首先要對傳統的IO方式有壹個概念。

基於傳統的IO方式,底層實際上通過調用 read() 和 write() 來實現。

通過 read() 把數據從硬盤讀取到內核緩沖區,再復制到用戶緩沖區;然後再通過 write() 寫入到 socket緩沖區 ,最後寫入網卡設備。

整個過程發生了 4次用戶態和內核態的上下文切換 4次拷貝 ,具體流程如下:

那麽,這裏指的 用戶態 內核態 指的是什麽?上下文切換又是什麽?

簡單來說,用戶空間指的就是用戶進程的運行空間,內核空間就是內核的運行空間。

如果進程運行在內核空間就是內核態,運行在用戶空間就是用戶態。

為了安全起見,他們之間是互相隔離的,而在用戶態和內核態之間的上下文切換也是比較耗時的。

從上面我們可以看到,壹次簡單的IO過程產生了4次上下文切換,這個無疑在高並發場景下會對性能產生較大的影響。

那麽什麽又是 DMA 拷貝呢?

因為對於壹個IO操作而言,都是通過CPU發出對應的指令來完成,但是相比CPU來說,IO的速度太慢了,CPU有大量的時間處於等待IO的狀態。

因此就產生了DMA(Direct Memory Access)直接內存訪問技術,本質上來說他就是壹塊主板上獨立的芯片,通過它來進行內存和IO設備的數據傳輸,從而減少CPU的等待時間。

但是無論誰來拷貝,頻繁的拷貝耗時也是對性能的影響。

那麽對於零拷貝而言,並非真的是完全沒有數據拷貝的過程,只不過是減少用戶態和內核態的切換次數以及CPU拷貝的次數。

這裏,僅僅有針對性的來談談幾種常見的零拷貝技術。

mmap+write簡單來說就是使用 mmap 替換了read+write中的read操作,減少了壹次CPU的拷貝。

mmap 主要實現方式是將讀緩沖區的地址和用戶緩沖區的地址進行映射,內核緩沖區和應用緩沖區***享,從而減少了從讀緩沖區到用戶緩沖區的壹次CPU拷貝。

整個過程發生了 4次用戶態和內核態的上下文切換 3次拷貝 ,具體流程如下:

mmap 的方式節省了壹次CPU拷貝,同時由於用戶進程中的內存是虛擬的,只是映射到內核的讀緩沖區,所以可以節省壹半的內存空間,比較適合大文件的傳輸。

相比 mmap 來說, sendfile 同樣減少了壹次CPU拷貝,而且還減少了2次上下文切換。

sendfile 是Linux2.1內核版本後引入的壹個系統調用函數,通過使用 sendfile 數據可以直接在內核空間進行傳輸,因此避免了用戶空間和內核空間的拷貝,同時由於使用 sendfile 替代了 read+write 從而節省了壹次系統調用,也就是2次上下文切換。

整個過程發生了 2次用戶態和內核態的上下文切換 3次拷貝 ,具體流程如下:

sendfile 方法IO數據對用戶空間完全不可見,所以只能適用於完全不需要用戶空間處理的情況,比如靜態文件服務器。

Linux2.4內核版本之後對 sendfile 做了進壹步優化,通過引入新的硬件支持,這個方式叫做DMA Scatter/Gather 分散/收集功能。

它將讀緩沖區中的數據描述信息--內存地址和偏移量記錄到socket緩沖區,由 DMA 根據這些將數據從讀緩沖區拷貝到網卡,相比之前版本減少了壹次CPU拷貝的過程

整個過程發生了 2次用戶態和內核態的上下文切換 2次拷貝 ,其中更重要的是完全沒有CPU拷貝,具體流程如下:

DMA gather 和 sendfile 壹樣數據對用戶空間不可見,而且需要硬件支持,同時輸入文件描述符只能是文件,但是過程中完全沒有CPU拷貝過程,極大提升了性能。

對於文章開頭說的兩個場景:RocketMQ和Kafka都使用到了零拷貝的技術。

對於MQ而言,無非就是生產者發送數據到MQ然後持久化到磁盤,之後消費者從MQ讀取數據。

對於RocketMQ來說這兩個步驟使用的是 mmap+write ,而Kafka則是使用 mmap+write 持久化數據,發送數據使用 sendfile 。

  • 上一篇:請問在公司搞JAVA開發的朋友壹個問題?
  • 下一篇:如何在ASP頁面中實現音樂播放的功能(指用播放器播放)?
  • copyright 2024編程學習大全網