【大数据】Spark优化经验&案例--数据倾斜 《Mysql必知必会》读书笔记 jar包名中自动添加git commit id PyCharm教学视频学习笔记 《SQL基础教程》简要总结 《设计师要懂心理学》读书笔记 MySQL与MariaDB学习笔记 WDT (Folly) 安装指南 -- CentOS 7 [solved]Page build failed(Jekyll) 数据包过滤及分析实例 tshark tcpdump Scala Tour 学习总结 “Docker容器和容器云”读书笔记(1) “Docker Practice”读书笔记 “图解基础设施设计模式”小结 “图解服务器端网络架构”小结 Python网络安全编程 数据包解析笔记 华为挑战赛(1) DDoS攻击防御与云服务 基于网络回溯分析技术的异常行为分析 “Linux程序设计”小结(进程间通信) C语言编程规范(华为软件精英挑战赛) 2017阿里在线编程题--单源最短路径问题 2017年阿里在线编程题-- 数串分组 Uinx/Linux上的帮助查询命令 你懂C,所以C++不在话下 一篇特别长的总结(C专家编程) 程序员面试金典--笔记(精华篇) C陷阱与缺陷--笔记 半小时搭建电子商务网站--opencart linux网络知识和工具(持续更新) 网卡参数查询及设置工具ethtool 高性能流量生成工具trafgen(DDoS模拟) Linux流量控制工具TC 流量控制工具TC详细说明 tcpdump过滤数据包,结果不对? Lecture 网络攻击与防御技术笔记 gotgit-git权威指南 高效使用MacOS所要知道的 shell内置字符串处理 配置ntp(知其所以然) 360黑客攻防技术分享会--记录 中毒U盘恢复--快捷键病毒 Tor--anonymity network介绍(PPT) IBM bluemix 再读《Linux Shell脚本攻略》 linux shell 学习摘记(9) linux shell 学习摘记(8) linux shell 学习摘记(7) linux shell 学习摘记(6) linux shell 学习摘记(5) linux shell 学习摘记(4) linux shell 学习摘记(3) linux shell 学习摘记(2) linux shell 学习摘记(1) firefox vim 插件 vimperator A Byte of Vim 笔记 windows注册表小知识 安全测试工具篇(开源&商业) 安全及性能测试工具(网站收集) 性能测试工具 屡试不爽的“3个”iPad使用技巧 Shell Shortcuts(和Tab键一样实用) vim--自动添加jekyll post信息头 vim 自动给文件添加头部信息 GitHub Tips (很实用,值得收藏) Linux路由、防火墙、NAT命令

TOE,RDMA等相关概念及Chelsio产品介绍

2016年09月09日

核心基础概念

  1. FCoE:以太网光纤通道 (Fibre Channel Over Ethernet)
    • 它是一个存储网络协议,允许在以太网上发送光纤通道帧, 且IP通信和光纤通道通信使用相同的以太网端口。
  2. HBA:host bus adapter,主机总线适配器
    • 它是连接主机计算机到网络/存储设备的可插拔式卡,支持多种存储网络协议,HBA通常是扩展卡,如PCI Express卡,它插入主机计算机的总线传送iSCSI或FC协议。
  3. OEM: 原始设备制造商(original equipment manufacturer)
  4. CNA:Converged network adapter,融合网路适配器,也称C-NIC
    • 作为计算机输入/输出设备,其融合了HBA和网络适配器的功能。简言之,通过CNA可同时访问SAN(存储区域网络)和传统的计算机网络。
    • 如单一万兆以太网适配器端口上同时运行TCP/IP,iSCSI和光纤通道以太网数据流a
      image_1arf3ukpp14sou51ihn3mi1nl69.png-32.9kB
  5. TOE:TCP Offlod Engine,TCP负荷减轻引擎,也称TCP卸载引擎。
    • TOE一般由软硬件构成,将传统的TCP/延伸,把网络数流量的处理工作全部转到网卡上的集成硬件中进行,服务器只承担TCP/IP控制信息的处理决策任务
      image_1arf8052e1hec5qgo9oon72jfm.png-95.7kB
  6. ASIC:特定用途集成电路(Application Specific Integrated Circuit)
  7. InfiniBand:InfiniBand架构是一种支持多并发链接的”转换线缆”技术,是一种长缆线的连接方式,具有高速、低延迟的传输特性。
    • 主要是用于在服务器集群,系统之间的互联。
    • 发展

      需要说明的是,即使在系统之间的互联,InfiniBand也还面临着竞争对手,这是因为自英特尔、微软退出IBTA之后,IBM、惠普也在不久后退出,并在第二年提出RDMA(Remote Direct Memory Access,远程直接内存存取)技术,期望用10 Gbps Ethernet搭配TOE(TCP/IP Offload Engine,TCP/IP负荷卸载引擎)的硬件加速设计,以更标准、低廉的方式与InfiniBand进行竞争。此外,由Broadcom、Chelsio、惠普、NetApp和微软等厂商推动的iWarp,一种用于远程直接内存访问、远程直接数据放置的保护协议,它淘汰了两端的网卡,也是一种标准的协议。另外,英特尔的I/O加速技术也与InfiniBand具有一定的竞争关系。

  8. RDMA: Remote Direct Memory Access,远程直接内存存取
  9. iWARP: Internet Wide Area RDMA Protocol 一种用于远程直接内存访问、远程直接数据放置的保护协议,它淘汰了两端的网卡,也是一种标准的协议。
    • 一种通过以太网做RDMA的解决方案,其能够试下同Infiniband同样的RDMA特性
  10. Cut-though:直通转发技术 (Cut-through)又叫快速转发。
  11. SCSI:Small Computer System Interface,小型计算机系统接口
    • 一种用于计算机和智能设备之间(硬盘、软驱、光驱、打印机、扫描仪等)系统级接口的独立处理器标准。
    • 是一种智能的通用接口标准。
      image_1arfpueog2sqhq5106neftf189.png-93.8kB
  12. iSCSI:Internet 小型计算机系统接口 (iSCSI:Internet Small Computer System Interface)
    • iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换数据
    • 是一种基于 TCP/IP的协议,用来建立和管理 IP 存储设备、主机和客户机等之间的相互连接,并创建存储区域网络(SAN)。
  13. SMB:Server Message Block 服务信息块,又称Common Internet File System(CIFS)A
    • 由微软、英特尔开发的一种软件程序级的网络传输协议,主要用来使得一个网络上的机器共享计算机文件、打印机、串行端口和通讯等资源。它也提供认证的行程间通讯机能。
    • SMB 是在会话层(session layer)和表示层(presentation layer)以及小部分应用层(application layer)的协议。SMB使用了NetBIOS的应用程序接口
    • 它主要用在装有Microsoft Windows的机器上,在这样的机器上被称为Microsoft Windows Network。
  14. RoCE:RDMA over Converged Ethernet
  15. iSER:iSCSI Extensions for RDMA
    • 对iSCSI协议进行了RDMA扩展的计算机网络协议。
    • 支持RDMA的包括:基于TCP的RDMA服务(iWARP),不基于TCP的RoCE协议,以及InfiniBand技术。
    • iSER允许直接在SCSI计算机内存缓冲区中进行数据的传输,无需中间层的数据拷贝和过多的CPU干预。
    • 读命令的执行
      image_1arhrlk0mnfd12hd1hpc2ap148a1g.png-94.6kB
    • 写命令的执行
      image_1arhrnve2uh1kq3o24bqneuu1t.png-111.1kB
  16. SR‐IOV:single‐root I/O virtualization;PF:physical function;VFs : multiple virtual functions ;VI Virtual Interfaces

Chelsio产品

TCP Offload at 40Gbps

  • 原文链接:TCP Offload at 40Gbps
  • TOE技术特点。
    This opens the way for very powerful extensions to pure protocol offload, including:
    1. Direct Data Placement (DDP), which addresses the memory subsystem bottleneck problem on receive
    2. Direct Data Sourcing (DDS), which addresses the memory subsystem bottleneck problem on send
    3. Application layer data integrity check (CRC) offload, typically used in data critical applications, which are not satisfied with the relatively weak Internet checksum protection(e.g. iSCSI header and payload digests)
    4. Reliable remote direct memory to memory access with RDMA
    5. Further application layer offload, such as application layer payload recovery security protocol offload
    6. Per connection TCP level traffic management and quality of service

Terminator 5 ASICA(终结者T5)

  1. T5 is a highly integrated, hyper- virtualized 10/40GbE controller built around a programmable
    protocol-processing engine, with full offload of a complete Unified Wire solution comprising
    NIC, TOE, iWARP RDMA, ISCSI, FCoE and NAT support.

  2. T5 ASIC 体现了Chelsio公司的,第五代TOE设计技术,第四代iSCSI设计技术,第三代iWARP RDMA实现技术
  3. T5-Based Unified Adapter
    image_1arfpecinpba14gl17nb1ucn1uo71t.png-400.2kB

  4. T5 Capability Overview
    image_1arfq3b5g5j71q0s1c4v17hctfcm.png-299.9kB

  5. Storage Value Propositon
    image_1arfqaleg6qjo1nub1sik170n13.png-200.5kB

  6. High Performance RDMA
    • 1.5 µsec latency, line rate bandwidth
    • iWARP support on Linux OFED
    • Network Direct support
    • Socket user\space I/O (TCP and UDP, raw Ethernet)
    • Transport for Microsoft SMB\Direct (SMB 3.0)

参考及扩展阅读

  1. 融合网络适配器(CNA):网络整合之王
  2. SAN架构、FC与FCoE
  3. FCoE基本原理
  4. 关于TOE技术的发展及概况的研究–2005年
  5. TOE-Technical-Briefi:TCP Offload at 40Gbps
  6. Chelsio 白皮书系列
  7. RDMA原理

知识共享许可协议
SWF's Hacking Dreamonephone 创作,采用 知识共享 署名-非商业性使用 4.0 国际 许可协议进行许可。
© 2011-2024. All rights reserved by onephone. Powerd by Jekyll.