    CUDA培訓(xùn)

CUDA入門
1. CUDA 簡介
2. CUDA kernel函數(shù)，warp，線程組織
3. 系統(tǒng)架構(gòu)
4. 內(nèi)存映射
5. CUDA三步式編程結(jié)構(gòu)
在CUDA-GDB中理解CUDA
1. CUDA-GDB 基本用法
2. 觀察GPU寄存器
3. 觀察錯誤信息
4. 從GPU上打印信息
5. 試驗(yàn)：編譯和調(diào)試向量乘法程序
使用NSight調(diào)試CUDA程序
1. NSight簡介，安裝和設(shè)置環(huán)境信息
2. 在CUDA info窗口觀察計(jì)算狀態(tài)
3. 試驗(yàn)：編譯和調(diào)試矩陣向量乘法程序
4. 試驗(yàn)：使用Nsight調(diào)試CUDA程序
使用CUDA profiler 優(yōu)化CUDA程序
1. 測量GPU時(shí)間，nvprof，命令行選項(xiàng)
2. 分析熱點(diǎn)，采樣視圖
3. 內(nèi)存優(yōu)化，共享內(nèi)存
4. 試驗(yàn)：使用nvprof優(yōu)化CUDA程序
GPU深度學(xué)習(xí)的應(yīng)用
深度學(xué)習(xí)GPU解決方案：
基于GPU的交互式深度學(xué)習(xí)訓(xùn)練平臺：DIGITS；
深度學(xué)習(xí)框架的GPU加速：TensorFlow，Caffe等；
NVIDIA深度學(xué)習(xí)SDK：cuDNN，TensorRT，NCCL；
深度學(xué)習(xí)顯卡選擇；
OpenACC并行編程
OpenACC上機(jī)實(shí)戰(zhàn)：Helloworld
OpenACC四步開發(fā)流程：判斷并行性，并行化表達(dá)，顯式數(shù)據(jù)傳遞，優(yōu)化
判斷并行性：Profile工具pgprof
并行化表達(dá)：引導(dǎo)關(guān)鍵字Kernerls和Parallel Loop
顯式管理數(shù)據(jù)的拷貝：引導(dǎo)關(guān)鍵字Data
OpenCL并行編程
OpenCL：編程模型，存儲模型
生態(tài)（覆蓋intel,amd,nvidia,移動端arm）
CUDA vs OpenCL
OpenCL向哪里走
AMD ROCM HC/HIP編程
AMD并行編程
AMD生態(tài)
hipify轉(zhuǎn)換
HC/HIP編程
HIP vs OpenCL