.. Kenneth Lee 版权所有 2018-2020
:Authors: Kenneth Lee :Version: 1.0
Tegra TX2一瞥
最近入手了一台Tegra TX2做玩具，职业习惯，快速总结一下这个东西，供其他有兴趣的同 学参考。（注：一如过往，这只是快速形成的印象，不保证正确性，如果你信这个搞出什 么问题来，别回来找我）。
这个总结分三部分写：
第一印象
IO子系统
内存子系统分析
首先说说硬件，总的来说，我还是很喜欢这个硬件的：
.. figure:: _static/tx2-1.jpg
关键是小巧玲珑，到处带很容易，而且机能基本上足够：本地编译Kernel，基于Docker启 动个web服务器，都没有什么困难。
对于小巧玲珑这一点，估计用惯树莓派或者HiKey这种板子的人会有不同意见。但这两个东 西用来做开发，完全不够看。要知道我平时在家里用的都是这样的货色：
.. figure:: _static/tx2-2.jpg
接着说软件——简单总结，这个东西具有一切商业公司对待开源社区的傲慢无知的缺点。
你说你做一块自恰的单板，你直接给我做一个USB启动，直接插盘安装不就完了？它偏不， 非要做一个管理软件（JetPack），把一台服务器形态的单板做成一个嵌入式单板， JetPack需要先安装到Host上，然后用Host来安装Target。
最大的问题是，这个JetPack安装的时候，默认安装目标是安装程序本身的路径，而且一旦 你确认，立即删除同目录下的所有文件，问都不问一声：
.. figure:: _static/tx2-3.jpg
（看不清的话，这里是手册上的内容清单：
| OS Image:
| A sample file system derived from Ubuntu for Jetson
| Libraries:
| CUDA Toolkit for Host PC (Ubuntu with cross-development support)
| CUDA Toolkit for Jetson
| OpenCV
| VisionWorks
| cuDNN
| TensorRT
| MultiMedia API
| Dev Tools:
| NV System Profiler Tegra Graphics Debugger (OpenGL调试）
| Sample Code
| Documentation
）
真是自来熟，不把自己当外人啊。这风格和cuda那一堆库那样，装起来就到处撒东西，装 完机器就不是你的了。一副缺乏竞争，“你不用我不行”，为所欲为的模样。
(这个安装也是一样的，直接给我的PC加了dpkg --add-architecture arm64，装binutils ，把我的本地库管理弄得一塌糊涂，直接锁住了一堆本地程序的升级——关键是包括安全升 级。弄得我装好Target就把这个Host给卸了，还卸了半天）
不说这个安装过程要翻某某神秘障碍物了，更神奇的是，你看着它是个图形界面，实际上 ，它里面是个脚本调用，而且这个调用过程调了sudo，所以，如果你不仔细看它的日志窗 口，在里面输一下密码，这个安装过程会永远挂在这里。
出现这种问题，怎么看都是毫无开源文化的商业公司，找了几个小外包，根据需求说明单 一天天算钱做出来的。
这一点也表现在内核的下载上，你说你要给我源代码，你给内核的git路径不就结了吗，结 果你做了这个：::
git clone https://github.com/jetsonhacks/buildJetsonTX2Kernel.git
里面居然仅仅是下载kernel的脚本
而执行这个脚本，居然又在里面调sudo。大哥，我就下载个Kernel源码，这和sudo权限啥 关系啊？
有了前面被删光download目录的经验，这次我去看了一下sudo是干哈的——原来它非要把内 核给我下载到/usr/src目录下——谁告诉你我一定会在目标系统上编译这个代码啊？
再说了，makeKernel我也就只是想编译一下，我没想要替换现在的内核啊，你给我拷上去 又算怎么回事？……
无论如何吧，这次源代码中是一个.o都没有了，不再玩原来nv驱动那种“用户自己链接，所 以我不用开源”的游戏了。这也算一大进步。
再说说TensorFlow，你说你买TX2，一般就是想搞TF, Caffe,MXNet一类的东西了。这些应 该默认就可以正常工作吧——现实是，我现在都没有能够装起来。TX2默认装的是Cuda9，官 网给的方案TensorFlow是基于Cuda8的，没法用。后来给了一个Cuda9的版本，跑起来还是 去找Cuda8的库，这个我晚点再去折腾吧。
总的来说，第一印象来说，硬件不错，软件渣渣。最后给一个perf的性能数据做对比：
TX2的：::
nvidia@tegra-ubuntu:~/work/tegra-tx2-kernel/kernel-4.4/tools/perf$ sudo
./perf bench all [sudo] password for nvidia: # Running sched/messaging
benchmark... # 20 sender and receiver processes per group # 10 groups ==
400 processes run
Total time: 0.382 [sec]
# Running sched/pipe benchmark... # Executed 1000000 pipe operations
between two processes
Total time: 30.084 [sec]
30.084290 usecs/op 33239 ops/sec
# Running mem/memcpy benchmark... # function 'default' (Default memcpy()
provided by glibc) # Copying 1MB bytes ...
3.985969 GB/sec
# Running mem/memset benchmark... # function 'default' (Default memset()
provided by glibc) # Copying 1MB bytes ...
4.002305 GB/sec
作为对比，这是我的Carbon X1 2017的：::
# Running sched/messaging benchmark... # 20 sender and receiver processes
per group # 10 groups == 400 processes run
Total time: 0.218 [sec]
# Running sched/pipe benchmark... # Executed 1000000 pipe operations
between two processes
Total time: 4.265 [sec]
4.265017 usecs/op 234465 ops/sec
# Running mem/memcpy benchmark... # function 'default' (Default memcpy()
provided by glibc) # Copying 1MB bytes ...
34.877232 GB/sec # function 'x86-64-unrolled' (unrolled memcpy() in
arch/x86/lib/memcpy_64.S) # Copying 1MB bytes ...
23.251488 GB/sec # function 'x86-64-movsq' (movsq-based memcpy() in
arch/x86/lib/memcpy_64.S) # Copying 1MB bytes ...
44.389205 GB/sec # function 'x86-64-movsb' (movsb-based memcpy() in
arch/x86/lib/memcpy_64.S) # Copying 1MB bytes ...
44.389205 GB/sec
# Running mem/memset benchmark... # function 'default' (Default memset()
provided by glibc) # Copying 1MB bytes ...
54.253472 GB/sec
.. figure:: _static/tx2-4.png
6个A57，慢不到10倍，比起模拟器，还可以接受啦。
TX2的启动系统使用的是UEFI+dtb=>grub=>kernel的方案，文件系统使用标准的Ubuntu ARM64版本（可能经过定制，但至少apt source是标准的）。
（但我怀疑这里做错了，如果用UEFI方案，正确的方法应该是把单独UEFI放在一个fat目录 下，这样最初的加载程序只需要解释fat目录就可以了。现在把UEFI和它东西放在一起，就 发挥不出UEFI和grub加载多种文件系统的效果了）
直接查dtb的compatible，有如下外设（我感兴趣的都标记了对应的驱动，方括号是未入主 线的代码）：::
compatible = "a-edp,1080p-14-0"; [drivers/video/tegra/dc/panel/panel-a-edp-1080p-14-0.c]
compatible = "a-edp,1080p-14-0-bl";
compatible = "ak,ak89xx";(iio/imu/inv_mpu/inv_compass/inv_ak89xx_core.c)
compatible = "android,CustomIPI";(kernel/smp.c)
compatible = "android,firmware";(drivers/platform/tegra/firmwares-all.c)
compatible = "android,trusty-fiq-v1";
compatible = "android,trusty-irq-v1";
compatible = "android,trusty-log-v1";
compatible = "android,trusty-ote-v1";
compatible = "android,trusty-smc-v1";
compatible = "android,trusty-virtio-v1";
compatible = "arm,armv8-pmuv3";
compatible = "arm,armv8-timer";
compatible = "arm,coresight-etm3x", "arm,primecell";
compatible = "arm,coresight-etm4x", "arm,primecell";
compatible = "arm,coresight-funnel", "arm,primecell";
compatible = "arm,coresight-replicator";
compatible = "arm,coresight-stm", "arm,primecell";
compatible = "arm,coresight-tmc", "arm,primecell";
compatible = "arm,coresight-tpiu", "arm,primecell";
compatible = "arm,cortex-a15-gic";
compatible = "arm,cortex-a57-64bit", "arm,armv8";
compatible = "arm,mmu-500";
compatible = "arm,psci-1.0";
compatible = "bmp,bmpX80";（drivers/iio/pressure/nvi_bmpX80.c）
compatible = "bosch,mttcan";[drivers/staging/mttcan/m_ttcan_linux.c]
compatible = "bosch,mttcan-ivc";
compatible = "cache";
compatible = "capella,cm32180";（drivers/iio/light/nvs_cm3218.c）
compatible = "dp, display";
compatible = "dummy-cooling-dev";
compatible = "extcon-gpio-states";
compatible = "fixed-clock";
compatible = "gpio-keys";
compatible = "gps-wake";
compatible = "hdmi,display";
compatible = "invensense,mpu6xxx";（iio/imu/nvi_mpu/nvi.c）
compatible = "linux,spdif-dit";（sound/soc/codecs/spdif_transmitter.c）
compatible = "maxim,max16984-tegra186-cdp-phy";（drivers/phy/phy-max16984-cdp.c）
compatible = "maxim,max20024";（drivers/mfd/max77620.c）
compatible = "null,dsi-hotplug";
compatible = "nvidia, tegra-camera-platform";（drivers/video/tegra/camera/tegra_camera_platform.c）
compatible = "nvidia, tegra186-mipical";（drivers/media/platform/tegra/mipical/mipi_cal.c）
compatible = "nvidia,bwmgr";（drivers/platform/tegra/mc/emc_bwmgr.c）
compatible = "nvidia,carveouts";[drivers/video/tegra/nvmap/nvmap_init.c]
compatible = "nvidia,denver", "arm,armv8";[drivers/platform/tegra/tegra18_perf_uncore.c]
compatible = "nvidia,denver-hardwood";
compatible = "nvidia,denver15-pmu";
compatible = "nvidia,eqos";[net/ethernet/nvidia/eqos/init.c]
compatible = "nvidia,fiq-debugger";(drivers/staging/android/fiq_debugger/fiq_debugger.c)
compatible = "nvidia,generic_carveout";
compatible = "nvidia,imx185"; --i2c
compatible = "nvidia,imx219";
compatible = "nvidia,imx274";
compatible = "nvidia,mods-clocks";
compatible = "nvidia,ov23850";(drivers/media/i2c/ov23850.c)
compatible = "nvidia,ov5693";
compatible = "nvidia,pca9570";
compatible = "nvidia,ramoops";
compatible = "nvidia,smmu_test";
compatible = "nvidia,storm", "nvidia,tegra186";
compatible = "nvidia,t18x-cluster-clk-priv";
compatible = "nvidia,tegra-audio-t186ref-mobile-rt565x";
compatible = "nvidia,tegra-gic";
compatible = "nvidia,tegra-t18x-mc";
compatible = "nvidia,tegra-wdt-t18x";
compatible = "nvidia,tegra18-rtc";
compatible = "nvidia,tegra186";
compatible = "nvidia,tegra186-AXI2APB-bridge";[drivers/platform/tegra/bridge_mca.c]
compatible = "nvidia,tegra186-AXIP2P-bridge";
compatible = "nvidia,tegra186-adma";
compatible = "nvidia,tegra186-adsp-pd";(drivers/platform/tegra/pm_domains.c)
compatible = "nvidia,tegra186-ahc";[drivers/misc/tegra186-ahc/tegra186_ahc.c]
compatible = "nvidia,tegra186-ahci-sata";(drivers/ata/tegra/ahci_tegra.c)
compatible = "nvidia,tegra186-aon";[drivers/platform/tegra/tegra-aon.c]
compatible = "nvidia,tegra186-aon-ivc-echo";
compatible = "nvidia,tegra186-aon-spi";
compatible = "nvidia,tegra186-aondbg";
compatible = "nvidia,tegra186-aowake";
compatible = "nvidia,tegra186-ape-ivc";[drivers/platform/tegra/tegra-camera-rtcpu.c]
compatible = "nvidia,tegra186-ape-pd";
compatible = "nvidia,tegra186-arad";
compatible = "nvidia,tegra186-asrc";
compatible = "nvidia,tegra186-bpmp";[drivers/thermal/tegra_bpmp_thermal.c]
compatible = "nvidia,tegra186-bpmp-i2c";
compatible = "nvidia,tegra186-bpmp-thermal";
compatible = "nvidia,tegra186-cactmon";(drivers/platform/tegra/central_actmon/actmon_common.c)
compatible = "nvidia,tegra186-camera-ivc-protocol-capture";
compatible = "nvidia,tegra186-camera-ivc-protocol-capture-control";
compatible = "nvidia,tegra186-camera-ivc-protocol-dbg";
compatible = "nvidia,tegra186-camera-ivc-protocol-debug";
compatible = "nvidia,tegra186-camera-ivc-protocol-echo";
compatible = "nvidia,tegra186-camera-ivc-protocol-mods";
compatible = "nvidia,tegra186-camera-ivc-protocol-vinotify";
compatible = "nvidia,tegra186-cec";(drivers/misc/tegra-cec/tegra_cec.c)
compatible = "nvidia,tegra186-chipid";(drivers/platform/tegra/tegra_chipid.c)
compatible = "nvidia,tegra186-combined-uart";
compatible = "nvidia,tegra186-cpuidle-a57";
compatible = "nvidia,tegra186-cpuidle-a57-cluster";
compatible = "nvidia,tegra186-cpuidle-a57-thresholds";
compatible = "nvidia,tegra186-cpuidle-denver";
compatible = "nvidia,tegra186-cpuidle-denver-cluster";
compatible = "nvidia,tegra186-cpuidle-denver-thresholds";
compatible = "nvidia,tegra186-dc";[drivers/video/tegra/dc/dc.c]
compatible = "nvidia,tegra186-disa-pd";[drivers/video/tegra/dc/nvdisp/nvdisp.c]
compatible = "nvidia,tegra186-dpaux";
compatible = "nvidia,tegra186-dpaux-pinctrl";
compatible = "nvidia,tegra186-dpaux1";
compatible = "nvidia,tegra186-dpaux1-pinctrl";
compatible = "nvidia,tegra186-dsi";
compatible = "nvidia,tegra186-dspk";
compatible = "nvidia,tegra186-dspk";
compatible = "nvidia,tegra186-efuse", "nvidia,tegra210-efuse";
compatible = "nvidia,tegra186-efuse-burn";
compatible = "nvidia,tegra186-gp10b", "nvidia,gp10b";[drivers/gpu/nvgpu/nvgpu_gpuid_t18x.h]
compatible = "nvidia,tegra186-gpcdma";[drivers/dma/tegra186-gpc-dma.c]
compatible = "nvidia,tegra186-gpio";
compatible = "nvidia,tegra186-gpio-aon";
compatible = "nvidia,tegra186-host1x", "simple-bus";
compatible = "nvidia,tegra186-host1x-pd";
compatible = "nvidia,tegra186-hsp";
compatible = "nvidia,tegra186-hsp-mailbox";
compatible = "nvidia,tegra186-hsuart";
compatible = "nvidia,tegra186-i2c";
compatible = "nvidia,tegra186-iommu-context";
compatible = "nvidia,tegra186-isp";[drivers/video/tegra/host/isp/isp.c]
compatible = "nvidia,tegra186-ispa-pd";
compatible = "nvidia,tegra186-kfuse";
compatible = "nvidia,tegra186-mc-sid";
compatible = "nvidia,tegra186-mce";
compatible = "nvidia,tegra186-miscreg";
compatible = "nvidia,tegra186-msenc-pd";
compatible = "nvidia,tegra186-nvcsi";[drivers/video/tegra/host/nvcsi/nvcsi.c]
compatible = "nvidia,tegra186-nvdec";[drivers/video/tegra/host/nvdec/nvdec.c]
compatible = "nvidia,tegra186-nvdec-pd";
compatible = "nvidia,tegra186-nvdumper";
compatible = "nvidia,tegra186-nvenc"; --drm驱动，主线和外部皆有
compatible = "nvidia,tegra186-nvjpg"; --drm驱动，主线和外部皆有
compatible = "nvidia,tegra186-nvjpg-pd";
compatible = "nvidia,tegra186-pcie";
compatible = "nvidia,tegra186-pcie-pd";
compatible = "nvidia,tegra186-pinmux";
compatible = "nvidia,tegra186-pm-irq";
compatible = "nvidia,tegra186-pmc";
compatible = "nvidia,tegra186-pmc-iopower";
compatible = "nvidia,tegra186-pwm";
compatible = "nvidia,tegra186-qspi";
compatible = "nvidia,tegra186-roc-flush";
compatible = "nvidia,tegra186-safety-cmd-resp";
compatible = "nvidia,tegra186-safety-hb";
compatible = "nvidia,tegra186-safety-ivc";
compatible = "nvidia,tegra186-sata-pd";
compatible = "nvidia,tegra186-sce-ivc";
compatible = "nvidia,tegra186-sdhci";
compatible = "nvidia,tegra186-se-elp";（drivers/crypto/tegra-se-elp.c）
compatible = "nvidia,tegra186-se-pd";
compatible = "nvidia,tegra186-se1-nvhost"; --这个是未主线化的
compatible = "nvidia,tegra186-se2-nvhost";
compatible = "nvidia,tegra186-se3-nvhost";
compatible = "nvidia,tegra186-se4-nvhost";
compatible = "nvidia,tegra186-sor";
compatible = "nvidia,tegra186-sor1";
compatible = "nvidia,tegra186-spi";
compatible = "nvidia,tegra186-spi";
compatible = "nvidia,tegra186-system-config";
compatible = "nvidia,tegra186-tachometer";
compatible = "nvidia,tegra186-timer";
compatible = "nvidia,tegra186-tsec";
compatible = "nvidia,tegra186-tsec-pd";
compatible = "nvidia,tegra186-usb-cd";
compatible = "nvidia,tegra186-ve-pd";
compatible = "nvidia,tegra186-vi"; [drivers/video/tegra/host/vi/vi4.c]
compatible = "nvidia,tegra186-vi-bypass";
compatible = "nvidia,tegra186-vic";
compatible = "nvidia,tegra186-vic03-pd";
compatible = "nvidia,tegra186-xhci";
compatible = "nvidia,tegra186-xotg";
compatible = "nvidia,tegra186-xudc";
compatible = "nvidia,tegra186-xusb-mbox";
compatible = "nvidia,tegra186-xusb-padctl";
compatible = "nvidia,tegra186-xusba-pd";
compatible = "nvidia,tegra186-xusbb-pd";
compatible = "nvidia,tegra186-xusbc-pd";
compatible = "nvidia,tegra18x-adsp";
compatible = "nvidia,tegra18x-adsp-carveout";
compatible = "nvidia,tegra18x-agic";
compatible = "nvidia,tegra18x-balanced-throttle";
compatible = "nvidia,tegra18x-car";
compatible = "nvidia,tegra18x-cpufreq";
compatible = "nvidia,tegra18x-cpuidle";
compatible = "nvidia,tegra18x-eqos-ape";
compatible = "nvidia,tegra20-uart", "nvidia,tegra186-hsuart";
compatible = "nvidia,tegra210-admaif";
compatible = "nvidia,tegra210-adsp-audio";
compatible = "nvidia,tegra210-adx";
compatible = "nvidia,tegra210-afc";
ompatible = "nvidia,tegra210-amixer";
compatible = "nvidia,tegra210-amx";(sound/soc/tegra-alt/tegra210_amx_alt.c)
compatible = "nvidia,tegra210-axbar";
compatible = "nvidia,tegra210-dmic";
compatible = "nvidia,tegra210-i2s";
compatible = "nvidia,tegra210-iqc";
compatible = "nvidia,tegra210-mvc";
compatible = "nvidia,tegra210-mvc";
compatible = "nvidia,tegra210-ope";
compatible = "nvidia,tegra210-pmc-blink-pwm";
compatible = "nvidia,tegra210-sfc";
compatible = "nvidia,tegra210-spdif";
compatible = "nvidia,tegra210-spkprot";
compatible = "nvidia,tegra30-hda";
compatible = "nvidia,vpr-carveout";
compatible = "nxp,pca9546";
compatible = "pwm-fan";
compatible = "realtek,rt5658";(sound/soc/codecs/rt5659.c)
compatible = "regulator-fixed";
compatible = "regulator-fixed-sync";
compatible = "s,wqxga-10-1";
compatible = "s,wqxga-10-1-bl";
compatible = "s,wuxga-8-0";
compatible = "s,wuxga-8-0-bl";
compatible = "s-edp,uhdtv-15-6";
compatible = "s-edp,uhdtv-15-6-bl";
compatible = "sharp,lr388k7_ts";(drivers/input/touchscreen/lr388k7_ts.c)
compatible = "simple-bus";
compatible = "softdog-platform";
compatible = "synopsys,dwc_eqos_virt_test";
compatible = "tegra,ufs_variant";
compatible = "tegra-power-domains";
compatible = "thermal-fan-est";
compatible = "ti,ina3221x";--大部分是iio驱动
compatible = "ti,lp8556";
compatible = "ti,tas2552";
compatible = "ti,tca6408";
compatible = "ti,tca6416";
compatible = "ti,tca9539";
compatible = "ti,tmp451";
compatible = "ti,tps65132";
显示部分传到主线的大部分都是drm和fb的，没有上传的统一放在一个叫flcn的框架中，里 面的东西包罗万有。
用来支持cuda运算的驱动都没有主线化，也不在flcn中，而是放在driver/gpu目录下，提 供的主要是用户态的接口（通过一组字符设备），和内核的关系不大。
从大量的电源域和调频的设计看，这是从手机改过来的片子。当然，Tegra系列本来就是给 手机做的，这也没有什么可说的。
gk20a的驱动是2014年开始上传主线的，当时的内核版本是3.16，但一直仅包含drm的驱动 。从现在这个代码的样子，应该是一个内部的ML的产品线集成了计算核心到手机SoC中，然 后把对应的代码拼上来了。
查iommu_group，可以看到大部分外设都用iommu_group分割：::
sdhci x2
i2c x7
spi x3
serial x4
ether_qos
rtcpu
ahci-sata
aon
smmu_test
xhci
xudc
host1x x10
host1x:ctx0
nvcsi
vi
isp
nvdisplay
vic
nvenc
nvdec
i2c
nvjpg
tsec
tsecb
se x4
gp10b
bpmp
dma
pcie-controller
sound
hda
adsp_audio
adsp
片内带一个gpu设备（/sys/device/gpu.0），支持虚拟化，但仅包含一个iommu_group（所 以才支持了vfio-mdev？），驱动是/sys/bus/platform/drivers/gk20a。
gk20a的构架是一个统一的PCI化的设备框架nvgpu，不同的硬件实现则通过一个称为 platform的数据结构进行封装（放在device的priv中），从gk20a的实现看，主要是是些初 始化，时钟一类的东西，也就是说，标准的数据流是统一的设计。我猜这样的构架撑不了 三代（当然，Tegra也不需要），这可能是没有主线化的主要原因。
用户态接口主要暴露为如下字符设备：
/dev/nvhost-gpu：共享内存和通道管理
/dev/nvhost-as-gpu：Address Space
/dev/nvhost-ctrl-gpu：设备状态控制
/dev/nvhost-dbg-gpu：设备调试信息控制
/dev/nvhost-prof-gpu: GPU profiling事件导出和控制
/dev/nvhost-tsg-gpu: 不知道是啥，看起来是做任务控制的
/dev/nvhost-sched-gpu：看起来是tsg的辅助功能，可能前者是任务组管理，后者是调度
其他媒体codec也有类似的结构：::
/dev/nvhost-as-gpu /dev/nvhost-ctrl-isp /dev/nvhost-ctrl-vi /dev/nvhost-gpu /dev/nvhost-nvcsi /dev/nvhost-prof-gpu /dev/nvhost-tsecb /dev/nvhost-vic
/dev/nvhost-ctrl /dev/nvhost-ctrl-nvcsi /dev/nvhost-ctxsw-gpu /dev/nvhost-isp /dev/nvhost-nvdec /dev/nvhost-sched-gpu /dev/nvhost-tsg-gpu
/dev/nvhost-ctrl-gpu /dev/nvhost-ctrl-nvdec /dev/nvhost-dbg-gpu /dev/nvhost-msenc /dev/nvhost-nvjpg /dev/nvhost-tsec /dev/nvhost-vi
如果直接看一个cuda的调用过程，主要包括如下动作：::
openat(AT_FDCWD, "/dev/nvhost-ctrl-gpu", O_RDWR|O_CLOEXEC) = 4
ioctl(4, NVGPU_GPU_IOCTL_GET_CHARACTERISTICS
ioctl(4, NVGPU_GPU_IOCTL_GET_TPC_MASKS
ioctl(4, NVGPU_GPU_IOCTL_GET_FBP_L2_MASKS
ioctl(4, NVGPU_GPU_IOCTL_ZCULL_GET_CTX_SIZE
ioctl(4, NVGPU_GPU_IOCTL_ZCULL_GET_INFO
ioctl(4, NVGPU_GPU_IOCTL_GET_ENGINE_INFO
ioctl(4, NVGPU_GPU_IOCTL_ALLOC_AS //5是这里分配的句柄
ioctl(5, NVGPU_AS_IOCTL_GET_VA_REGIONS
ioctl(5, NVGPU_AS_IOCTL_GET_VA_REGIONS
ioctl(5, NVGPU_AS_IOCTL_ALLOC_SPACE
ioctl(5, NVGPU_AS_IOCTL_ALLOC_SPACE
openat(AT_FDCWD, "/dev/nvmap", O_RDWR|O_SYNC|O_CLOEXEC) = 9
ioctl(9, NVMAP_IOC_CREATE //和nvmap有关的我们先放下一篇分析里
ioctl(9, NVMAP_IOC_ALLOC
ioctl(5, NVGPU_AS_IOCTL_UNMAP_BUFFER
ioctl(9, NVMAP_IOC_CREATE
ioctl(9, NVMAP_IOC_ALLOC
...上两个调用的多次重复
ioctl(4, NVGPU_GPU_IOCTL_OPEN_TSG
ioctl(4, NVGPU_GPU_IOCTL_OPEN_CHANNEL //这里也是创建句柄，从设备分配一个通道
ioctl(5, NVGPU_AS_IOCTL_BIND_CHANNEL //把channel和AS关联起来
ioctl(4, NVGPU_GPU_IOCTL_OPEN_CHANNEL
ioctl(5, NVGPU_AS_IOCTL_BIND_CHANNEL
ioctl(4, NVGPU_GPU_IOCTL_OPEN_CHANNEL
...
简单从这个语义上下文理解，一次通讯是这样的：先从进程和GPU建立一个关联，驱动GPU 的能力，然后分配一个或者多个独立的地址空间（AS），可能是把MMU的一部分复制给SMMU ，然后在设备和进程间建立一个通道，然后把AS和通道绑定，估计这个时候设定streamid 和substreamid给设备，这样剩下的缺页行为就可以交给设备，设备发起缺页中断的时候， 靠进程这边接管对应的mm.handle_fault()，完成后面的过程。
这个设计优先保性能，上传是下一步的事情（也不一定会上传）。
其他没有什么感兴趣了的了，就这样吧。
这是这个系列最后一篇，看看TX2的GPU和host是怎么共享内存的。主要是要单独看看nvmap 这个模块的工作原理。
TX2的内核源代码是这样放的：
| display kernel-4.4 nvgpu nvgpu-t18x nvhost nvhost-t18x nvmap
| nvmap-t18x t18x
没有上传的代码不是Patch，而是一个个目录树的形态。但里面非常完整，连 NVIDIA-REVIEWERS这种文件都是按MAINTAINER的格式整理的，说起来应该是按随时可以 upstream的方式设计的，但整个功能通用性不强，估计upstream的难度不低。
其中gpu的驱动在nvgpu目录下（如前所述，drm驱动是已经upstream的，在kernel-4.4目录 中）。这个Kernel外的模块代码量93,913Loc)。而nvmap是个独立的目录(代码量6,334Loc ），nvgpu强依赖于nvmap。由于没有资料，nvgpu目录下的程序不太好看懂，很多概念比如 TSG是什么，估计需要分析很久，所以我们从一个相对独立逻辑空间来看看它的语义是怎么 样的。（这也是想介绍一下，应该如何具体解构一个已经存在的设计）
在分析这个逻辑前，我们先看看计算加速器设计中的一个关键问题：内存管理。
比如我做一个大型的矩阵计算，一个100x100的矩阵乘以另一个100x100的矩阵，用32位整 数，这样我就有120000个字节的空间要处理，放到4K的页中，就需要接近30页的内存需要 访问。我一开始在CPU一侧整理这些数据，这些数据当然是放在靠近CPU的内存中比较实在 ，这样CPU算起来比较快。但准备好了，我希望这个乘法让加速器（比如GPU）给我算。那 么GPU离这些内存就比较远了，每个乘法加法，都要经过层层总线节点更新到内存里，这还 不如CPU自己算。所以，这是个两难的问题，根据不同的总线带宽和时延，可以考虑的方案 有：
内存选择在CPU一侧（让加速器吃亏）
内存选择在加速器一侧（让CPU吃亏）
内存开始的时候选择在CPU一侧，但某一页的内容被加速器访问的时候，拷贝到GPU一侧 ，完成计算后，如果CPU访问这个内存，再从加速器拷贝回CPU一侧。这个过程，既可以 是人工的，也可以是动态的。
这里还有一个地址空间的问题，一般的Linux内核驱动，如果一片内存要分享给设备，需要 先做dma=dma_map(va)，其中va是CPU的地址，dma是设备的地址。这样一来，如果CPU要把 一个地址提交给设备，就需要转换到另一个地址空间。这种情况对于那些“弱智外设”，比 如网卡，SAS等控制器，大部分时候做DMA就是为了拷贝一段数据到外设上，这当然没有问 题，但对于那些“智能设备”如加速器，很可能我的数据中就带有指针，我的头指针可以给 你dma_map()，你不能要求我把里面的指针也全部替换了吧？
最后是，现代加速器（特别是计算加速器），基本上要求服务于用户态，所以，前面的问 题，都要在用户态解决。
我们关键看这个代码如何处理这两个问题的。
首先，nvmap的配置项如下（把子配置项和功能无关的项忽略了，只看大特性）：::
NVMAP_HIGHMEM_ONLY：分配内存时仅用HIMEM（64位系统要这东西干嘛？）
NVMAP_PAGE_POOLS：基于内存池管理内存分配
NVMAP_CACHE_MAINT_BY_SET_WAYS：Cache分配算法
NVMAP_DMABUF_STASH：重用DMABUF，降低重新分配成本
NVMAP_FORCE_ZEROED_USER_PAGES：安全功能，分配用户内存
NVMAP_DEFER_FD_RECYCLE：延迟FD号的使用（为后续分配重用）
没有什么涉及主功能的配置项，都是优化类的设计，这对构架分析来说是个好消息。
程序入口在nvmap_init中，实现为一个名叫tegra-carveouts的platform_device。查一下 carveout的含义，它是“切割出”的意思，也是CPU侧切出一片内存给GPU用这个商业特性的 名字。
以此为根，遍历整个代码树，功能分列如下：::
nvmap_init.c：平台设备驱动总入口，配置参数管理
nvmap_dev.c：platform_driver实现，注册为misc设备/dev/nvmap，核心是提供ioctl控制
nvmap_ioctl.c：具体实现nvmap_dev.c中的ioctl功能
nvmap_alloc.c：handle分配管理
nvmap.c：基于handle进行内存分配
nvmap_cache.c：在debugfs中创建接口进行cache控制，这里的cache控制指的是CPU一侧的控制，通过调用msr等动作实现的。这个接口的存在，说明CPU和GPU间不是CC的。
nvmap_dmabuf.c：nv版本的dma_buf实现，dma_buf是内核用于用户态直接对设备做DMA的一个封装[1]
nvmap_fault.c：实现vma的ops，进行fault处理，主要从handle预分配的空间中取
nvmap_handle.c：handle管理，主要是做一个rb树，建立vma和处理handle的关联
nvmap_heap.c：kmem_cache的封装（kmem_cache是内核一个管理固定大小内存的一个数据结构），用作CPU/GPU共享内存，这时称为Carveout。
nvmap_mm.c：进程的mm管理，是cache管理的一部分
nvmap_pp.c：page pool管理，自行管理了一个page list，NVMAP_IOC_ALLOC要求分配的也都在这里管理的
nvmap_tag.c：handle的名字管理，提供给handle命名和基于名字访问的能力
如果我们把优化性的语义收缩一下，比如pp和heap如果不做池化，就是个简单的 alloc_page()和kmalloc，tag如果不做rb树的管理，就是个handle name。cache操作是CPU 一侧的，不封装就是基本流程中的其中一步……
这样，我们可以初步猜测这个系统的功能是这样构造的：
实现一个平台设备，注册为misc设备，用户态通过ioctl分配handle，基于handle提供vma 的分配，分配后的页面依靠自己管理的page进行填充，提供dma_buf接口，剩下的功能都是 用户态如何基于handle对设备进行硬件交互了。
为了确认这一点，接着看看ioctl的设计：::
NVMAP_IOC_CREATE/NVMAP_IOC_FROM_FD：创建handle和dma_buf
NVMAP_IOC_FROM_VA：同上，但同时设置vma
NVMAP_IOC_FROM_IVC_ID：同上，但同时分配Carveout
NVMAP_IOC_GET_FD：查找功能，FD2handle
NVMAP_IOC_GET_IVC_ID：同上，FD2VimID
NVMAP_IOC_GET_IVM_HEAPS：列出支持IVM的所有carveout内存块
NVMAP_IOC_ALLOC：为handle分配page
NVMAP_IOC_GET_IVC_ID：同上，但从Carveout分配
NVMAP_IOC_VPR_FLOOR_SIZE：似乎是设置特定设备的最小DMA缓冲
NVMAP_IOC_FREE：靠，这是关掉handle的fd（而不是释放Page）
NVMAP_IOC_WRITE/READ：数据读写，WTF，就是说至少部分数据必须通过系统调用来访问（看不到用户库的代码，不好猜）
NVMAP_IOC_CACHE：Cache操作
NVMAP_IOC_CACHE_LIST：同上，维护类功能。
NVMAP_IOC_GUP_TEST：不用test了，这个东西逻辑上肯定是有问题的：用户态DMA的问题
NVMAP_IOC_SET_TAG_LABEL：这是给handle命名
基本不改变前面的逻辑，关键是这里有一个Carveout的概念，我猜在普通的实现上，这个 就是普通内存，从CPU直接分配kmemcache来共享，如果是高性能实现，就是不同的内存， 然后靠两边的读写来产生缺页来实现拷贝过程。
再看看handle的数据结构：::
struct nvmap_handle {
struct rb_node node; /* entry on global handle tree */
atomic_t ref; /* reference count (i.e., # of duplications) */
atomic_t pin; /* pin count */
u32 flags; /* caching flags */
size_t size; /* padded (as-allocated) size */
size_t orig_size; /* original (as-requested) size */
size_t align;
struct nvmap_client *owner;
struct dma_buf *dmabuf;
union {
struct nvmap_pgalloc pgalloc;
struct nvmap_heap_block *carveout;
};
bool heap_pgalloc; /* handle is page allocated (sysmem / iovmm) */
bool alloc; /* handle has memory allocated */
bool from_va; /* handle memory is from VA */
u32 heap_type; /* handle heap is allocated from */
u32 userflags; /* flags passed from userspace */
void *vaddr; /* mapping used inside kernel */
struct list_head vmas; /* list of all user vma's */
atomic_t umap_count; /* number of outstanding maps from user */
atomic_t kmap_count; /* number of outstanding map from kernel */
atomic_t share_count; /* number of processes sharing the handle */
struct list_head lru; /* list head to track the lru */
struct mutex lock;
struct list_head dmabuf_priv;
u64 ivm_id;
int peer; /* Peer VM number */
};
rbtree，成组的vma，多个dmabuf，cpu/gpu二选一的page或者carveout……基本上和前面的 逻辑一致。
再快速查一次nvgpu一侧的代码，除了by-pass-smmu以外，没有独立的SMMU操作，查所有的 中断处理，都是关于channel的，没有关于SMMU的中断处理，所以基本上可以认为，这个方 案是处理不了设备一侧的缺页的。
这个方案看起来挺……简陋的，重点还是聚焦在基本功能架构的一般优化上，没到向上提炼 构架的程度。
从功能上说，最不好的一点就是和IOMMU是结合不起来的，但它完全基于FD的管理比 WrapDrive基于vfio-mdev的管理带来一个好处，就是进程退出，通道就自动回收了，WD现 在做这个功能不好做。另外，WD需要考虑这里的另外两个需求：
它的Host和加速器之间不是CC的，得有个办法把Cache操作插入到语义中
WD现在没有考虑支持大页
[1] dma_buf的功能在内核Documentation/driver-api/dma-buf.rst中表述。如果我没 有记错，这是当初三星在Linaro首先推的特性，它主要解决像视频播放器这种：需要 软件动两下，转给硬件动两下，然后软件再动两下，交给下个硬件动两下这样的场景 的。它的核心就是让用户态可以分配一片DMA内存，然后让这个内存可以在多个驱动和 进程之间互相传递。