微软发布 .NET for Apache Spark 性能碾压Python、Scala和Java
最新回答
深蓝菇凉
2024-04-13 01:39:00
上图显示了针对Apache Spark与Python和Scala的.NET的每个查询性能。.NET for Apache Spark在Python和Scala上运行良好。此外，在UDF性能至关重要的情况下，例如查询1，其中在JVM和CLR .NET之间传递3B行非字符串数据，Apache Spark比Python快2倍。
同样重要的是要说这是我们为Apache Spark首次推出的.NET，我们的目标是进一步投资改进和基准性能（例如Arrow优化）。您可以按照我们的说明在我们的GitHub仓库上对此进行基准测试。
.NET for Apache Spark是将.NET打造成构建大数据应用程序的重要技术堆栈的第一步。近期规划路线
开源地址：https://github.com/dotnet/spark
热门标签
