所有产品

黄金城娱乐第二代NumPy?阿里开源超大规模矩阵计

  Mars 是由阿里云高级软件工程师秦续业等人开发的一个基于张量的大规模数据计算的统一框架,目前它已在 GitHub 上开源。该工具能用于多个工作站,而且即使在单块 CPU 的情况下,它的矩阵运算速度也比 NumPy(MKL)快。

  Mars 是由阿里云高级软件工程师秦续业等人开发的一个基于张量的大规模数据计算的统一框架,目前它已在 GitHub 上开源。该工具能用于多个工作站,而且即使在单块 CPU 的情况下,它的矩阵运算速度也比 NumPy(MKL)快。

  如下图所示,开发者给出了简单的性能对比。对 36 亿的数据的每个元素加一乘以二,测试随工作站数量增加的计算时间变化。红色的叉代表单机 NumPy。Mars 在单机上就能利用多核来加速,多机接近理想值。目前,在张量/矩阵这块,开发者尚未给出标准的 benchmark。

  然而,Mars 没有实现整个 Numpy 接口,时间限制还是主要障碍。下面列出了未实现的主要功能:

  Mars 为张量的分布式执行提供了一个库。分布式应用程序使用 mars.actors 提供的 actor 模型构建,由三部分组成:调度器、工作站和 Web 服务。

  用户使用张量构建的图形提交任务。Web 服务接收张量图并将它们发送到调度器,其中图形被编译成操作数(operand)图,在提交给工作站之前进行分析和分区。然后,调度器创建并分散操作数 actor,这些操作数 actor 在给定一致哈希的情况下控制其他调度器上的工作站任务执行,然后激活操作数并以拓扑顺序执行。当执行与终止张量相关的所有操作数时,图形将被标记为已完成,客户端可以从调度器代理的工作站中提取结果。整个过程如下图所示。

  当张量图提交到 Mars 调度器时,给定在数据源中传递的块(chunks)参数时将生成由操作数和块构成的图。

  在将张量图平铺到块图之后,我们将组合相邻节点以减小图形尺寸以及利用加速库(例如 numexpr)。目前,Mars 仅合并形成没有分支的单个链的操作数。黄金城娱乐例如,执行代码时:

  当正在执行操作数图时,正确选择执行顺序将减少存储在集群中的数据总量,从而降低块被溢出到磁盘中的可能性。正确选择工作站还可以减少执行中转移所需的数据量。

  正确的执行顺序可以显着减少集群中存储的对象数量。我们在下图中显示树缩减的示例,其中椭圆表示操作数,矩形表示块。红色表示正在执行操作数,蓝色表示操作数已准备好执行。绿色表示存储块,而灰色表示释放块或操作数。假设我们有 2 个工作站,所有操作数的工作负载是相同的。两个图都显示了在 5 个时间单位后执行的一个操作数选择策略。左图显示了以层次结构顺序执行节点的场景,而右图显示了以深度优先顺序执行图表的场景。左图的策略将 6 个块存储在集群中,而右图仅存储 2 个。

  鉴于我们的目标是在执行期间减少存储在集群中的数据量,我们在准备执行时为操作数设置优先级:

  Mars 中的每个操作数都由 OperandActor 独立调度。执行被设计为状态转换过程。我们为每个状态分配一个状态处理函数来控制执行过程。最初初始化 actor 时,每个操作数都处于 UNSCHEDULED 状态。当满足某些条件时,操作数切换到另一个状态并执行相应的操作。如果从 KV 存储中恢复操作数,则将加载调度器崩溃时的状态并恢复状态。状态转换图如下所示:

  当一个操作数在工作站中执行时,它将首先分配内存。然后加载来自其他工作站或已经溢出到磁盘的文件的数据。之后,所需的所有数据都在内存中,并且可以开始计算。计算完成后,工作站会将结果放入共享内存缓存中。这四种状态可以在下图中看到。

  Mars 可以向内扩展到单机,也可以向外扩展到有数千台计算机的集群。本地和分布式版本都共享相同的代码,因此随着数据增加从单机迁移到集群是很简单的。

  在单机上运行包括基于线程的调度,以及捆绑整个分布式组件的本地集群调度。Mars 也很容易通过启动集群中不同机器上的 mars 分布式运行时的不同组件来扩展到一个集群。

  用户可以从单机上的分布式运行时启动本地集群,本地集群模式需要 mars 分布式版本。

  在集群中每个节点都安装了分布式版本之后,一个节点可以被选为调度器,另一个节点作为 web 服务,剩下其它节点作为工作站。调度器可以通过以下命令启动: