- 搜索
日期：2025/04/01 17:02来源：未知 人气：55
Google在资料分析服务Dataflow加入全新基础架构Runner v2，现在全面提供多语言支持，让开发团队能够共享以各自喜好语言开发的组件，并且组织成为一高性能分布式处理工作管线。Google正通过多语言工作管线框架，使得更多的Java转换可以用在Beam Python上。
过去Dataflow执行程序在运行Apache Beam工作管线时，仅使用特定语言的工作程序，Google提到，在资料工作管线开发时，当开发团队成员使用不同语言SDK进行开发工作，或是主要使用的开发语言，没有某种特别的功能时，团队总会面临抉择，不知道应该要选择创建解决方案来桥接各种语言，或是重新开发需要的功能，而无论是哪一种方法，都相当耗费资源。
最新的Dataflow中，Google提供了解决这个问题更好的办法，将Dataflow执行程序逐渐转变成为以服务为基础的架构，提高整体的可缩放性、通用性和效率。现在Dataflow加入了多语言工作管线Runner v2，是一个以C++开发的高性能可移植框架，基于资料处理工作管线开发模型Apache Beam开发而成，与用来进行批次作业的Dataflow Shuffle，以及用来处理流媒体任务的Streaming Engine打包在一起。
现在Dataflow Runner v2已经能够用于Python流媒体工作管线中，Google建议，用户可以先在现有的工作负载测试，之后再于新的工作管线默认激活Runner v2。Runner v2加入了许多前一版本没有支持的功能，除了多语言工作管线之外，Runner v2还原生支持Apache Beam数据源框架Splittable DoFn，并且可以在Dataflow中使用自定义的容器，另外，Dataflow Runner v2也激活Python流媒体工作管线的新功能，包括计时器、状态、窗口以及触发扩展支持。
Google提到，因为Apache Beam的多语言功能，因此用户可以使用单一语言开发特定功能，并且借由Runner v2，简单地在多个Beam SDK提供相同的新功能，像是Google在Apache Beam 2.23时，就已经让Apache Beam Java SDK中的Apache Kafka连接器以及SQL转换功能，可以用于Python工作管线中。
要在新支持的Dataflow Runner v2使用Python转换工作管线，只要计算机已安装Apache Beam提供的最新Java开发组件（JDK），便能够在Dataflow Python工作管线中使用Python转换。
在后台，Google为了使Java转换可以用于Dataflow Python工作管线中，Apache Beam Python SDK在用户的计算机上，启动了本地端Java服务，在Python工作管线中，创建Java工作管线片段，接着SDK会下载需要的Java相依项目来执行这些转换。在执行时，Dataflow Workers平行执行Python和Java程序代码，以运行用户的工作管线。
