基于RISC-V架构的AI框架（Pytorch）适配

在RISC-V平台上进行Pytorch源码编译

此次适配的环境是在算能的云空间中（可通过 https://www.sophon.cn/ 申请），适配流程参考了山东大学智研院的博客（原文链接 https://zhuanlan.zhihu.com/p/655277146）并进行了一定的补充。

算能云空间的服务器配置如下所示：

由于算能云空间中缺少基础的python环境以及一些包，因此在适配pytorch框架前需要一些预先的准备工作。

预先准备

由于笔者全程在root下配置，因此命令可不用添加sudo，若未在root下请在命令行前加上sudo，如：sudo apt …

python环境配置

apt install python3
apt install python-is-python3 python-dev-is-python3
apt autoremove
# 下载好python3后发现没有pip、yaml等工具
apt install python3-pip
pip install pyyaml

git安装

apt install git

编译工具链安装

apt install libopenblas-dev libblas-dev m4 cmake cython3 ccache
# 若执行过程中有以下报错，则杀死10198进程:Waiting for cache lock: Could not get lock /var/lib/dpkg/lock-frontend. It is held by process 10198 (apt)
kill -9 10198
# 安装过程中，若发现libopenblas-dev无法正常安装，则跳过其直接安装libblas-dev m4 cmake cython3 ccache
apt install libblas-dev m4 cmake cython3 ccache
# libopenblas-dev无法安装的替代方案：手动安装OpenBLAS
git clone https://github.com/xianyi/OpenBLAS.git
cd OpenBLAS
make -j8
sudo make PREFIX=/usr/local/OpenBLAS install
# 进入/etc，用vim打开profile
[在最后一行添加]: export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/OpenBLAS/lib/
source /etc/profile

源码获取

# 首先进入/root/yourname目录，再克隆pytorch源码
# 由于网络问题可能无法下载好所有的包，但执行之后的git submodule update --init --recursive会将未下好的包重新clone
git clone --recursive https://github.com/pytorch/pytorch.git
cd pytorch
# 确保子模块的远程仓库URL与父仓库中的配置一致
git submodule sync
# 确保获取并更新所有子模块的内容，包括初始化尚未初始化的子模块并递归地处理嵌套的子模块
git submodule update --init --recursive

Commit 文件修改

本节中需要用到Vim对一些文件进行修改，涉及到的Vim操作主要有：

• Vim打开文件：vim filename
• Vim搜索：使用 / 向前搜索，使用 ? 向后搜索，搜索后按 Enter 定位
• Vim编辑：使用 shift+i 进入编辑模型，使用 Esc 退出编辑模式
• Vim保存：使用 :wq 保存并退出
  1. aten/src/ATen/CMakeLists.txt

  将语句：if(NOT MSVC AND NOT EMSCRIPTEN AND NOT INTERN_BUILD_MOBILE)
  替换为：if(FALSE)
  

  1. caffe2/CMakeLists.txt

  将语句：target_link_libraries(${test_name}_${CPU_CAPABILITY} c10 sleef gtest_main)
  替换为：target_link_libraries(${test_name}_${CPU_CAPABILITY} c10 gtest_main)
  

  1. test/cpp/api/CMakeLists.txt

  在语句下：add_executable(test_api ${TORCH_API_TEST_SOURCES})
  添加：target_compile_options(test_api PUBLIC -Wno-nonnull)
  

  环境变量配置

  # 直接在终端中输入即可，重启需要重新输入
  export USE_CUDA=0
  export USE_DISTRIBUTED=0
  export USE_MKLDNN=0
  export MAX_JOBS=16
  

  ---

  编译

  python3 setup.py develop --cmake
  

  编译及引用过程可能会遇到的问题

  • Could not find any of CMakeLists.txt, Makefile, setup.py, LICENSE, LICENSE.md, LICENSE.txt in /root/xxx/pytorch/third_party/pthreadpool

    问题来源：编译过程

    问题分析：由于网络的问题，clone仓库时有部分包未成功下载，导致文件夹为空

    解决方法：重新下载对应包

    1. 进入third_party目录
    2. 在终端执行以下指令

    rm -rf pthreadpool
    # 执行下列指令前回退到pytorch目录
    git submodule update --init --recursive
    

    ---

    • /usr/bin/ld: /root/xxx/pytorch/build/lib/libtorch_cpu.so: undefined reference to `__atomic_exchange_1’

      collect2: error: ld returned 1 exit status

      问题来源：编译过程

      问题分析：对__atomic_exchange_1的未定义引用

      解决方法：使用patchelf添加需要的动态库

      # path为存放libtorch_cpu.so的路径
      patchelf --add-needed libatomic.so.1 /path/libtorch_cpu.so
      # 若提示无patchelf命令，则执行下列语句
      apt install patchelf
      

      ---

      • Error in cpuinfo: processor architecture is not supported in cpuinfo

        问题来源：编译完成后，使用python时“import torch”报错

        问题分析：git clone时下载的cpuinfo不支持Risc-V架构

        解决方法：删除当前存在的cpuinfo并重新下载最新支持Risc-V架构的cpuinfo

        1. cpuinfo路径为pytorch/third_party/cpuinfo，因此先进入pytorch/third_party目录
        2. 在终端执行以下指令

        rm -rf cpuinfo
        git clone https://github.com/sophgo/cpuinfo.git
        # clone完成后需要重新编译
        python3 setup.py develop --cmake
        

        ---

        深度学习模型实例

        本节提供了一个简单的全连接神经网络模型的实例，可用于测试环境是否能正常运行并输出损失值

        运行前置：

        1. 在pytorch目录下创建一个文件：touch sample.py
        2. 使用vim打开sample.py并将以下代码复制进文件中并保存

        import torch
        import torch.nn as nn
        import torch.optim as optim
        import os
        os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
        N,D_in,H,D_out = 64, 1000, 100, 10 # N: batch size, D_in:input size, H:hidden size, D_out: output size
        x = torch.randn(N,D_in) # x = np.random.randn(N,D_in)
        y = torch.randn(N,D_out) # y = np.random.randn(N,D_out)
        w1 = torch.randn(D_in,H) # w1 = np.random.randn(D_in,H)
        w2 = torch.randn(H,D_out) # w2 = np.random.randn(H,D_out)
        learning_rate = 1e-6
        for it in range(200):
            # forward pass
            h = x.mm(w1) # N * H      h = x.dot(w1)
            h_relu = h.clamp(min=0) # N * H     np.maximum(h,0)
            y_pred = h_relu.mm(w2) # N * D_out     h_relu.dot(w2)  
            # compute loss
            loss = (y_pred - y).pow(2).sum() # np.square(y_pred-y).sum()
            print(it,loss.item()) #  print(it,loss)    
            # BP - compute the gradient
            grad_y_pred = 2.0 * (y_pred-y)
            grad_w2 = h_relu.t().mm(grad_y_pred) # h_relu.T.dot(grad_y_pred)
            grad_h_relu = grad_y_pred.mm(w2.t())  # grad_y_pred.dot(w2.T)
            grad_h = grad_h_relu.clone() # grad_h_relu.copy()
            grad_h[h