关于Spark 集群中调度GPU的一些实验

自己毕设做了一些Spark 调用GPU 相关的实验,自己也在网上找到了一些资料,也写下来分享一些自己的做法。

目前Spark(2.3) 还不支持直接调用GPU , 需要自己通过JNI的方式实现调用GPU来做一些加速计算。通常是自己定义好接口,在用NVCC生成动态链接库,然后在Spark中调用。

阅读更多