分享
Scan me 分享到微信

Clojure程序处理数据量大 可代替Scala程序

Clojure的代码形式非常接近Scala代码,很多函数都相同——Clojure是一种更强大的Scala——它对一些辅助函数进行的重构,使其变的更加模块化和可维护。

  早在2009年11月,我们就开始使用Scala语言了。我们有一个需要运行很长时间的操作,把大量的数据变更信息从会员信息数据库中取出,以XML打包文件的形式发送到自定义搜索引擎里。把一大堆的数据表从数据库中映射到XML规则文件里是一个相当复杂的操作。在过去,公司尝试了各种方法,有的好用,有的不好用。我向公司推荐使用Scala语言,原因是他的高效、并行性、类型安全,以及方便适用(特别是XML在Scala语言里有一种相对应的基本数据类型)。

  我们使用Scala编程作为产品的后台发布程序已经有差不多两年了。大多时候,它运行的非常好,但在压力大的时候,它会出现内存溢出的现象,经过大量的观察和测试,我们慢慢的确认,(至少部分原因)是Scala语言本身的实现导致了这个问题。Scala正准备要收编Akka程序库,我们一直在考虑把程序迁移到Akka上…

  因为今年我们开始使用Clojure语言(大概是去年5月我们就开始尝试这种语言),我们认为应该集中兵力开发出一个Clojure版本的Scala程序,看看它运行起来表现如何。

  这个Clojure版的后台发布程序的开发耗费了我们大概15个小时,并通过了所有测试。今天我们进行了一次“疲劳测试”,让它一次处理将近30万个会员的信息。如果是Scala程序,当一次处理的数据量达到5万份时(有时会更少),它就会报内存溢出错误。而Clojure程序却一气呵成,十分顺利——于是,我们就决定在下一次产品发布里用它把Scala程序给替换下来了。

  另外一个有趣的方面是,Scala版的程序长度总共大约有1000行(大概有3.1万个字符)。而Clojure版的只有260行(大约1.15万个字符)。就连注释也简单了(这并不是我想炫耀的,只是想说这种比较没有偏向)。我们的比较还没有把单元测试代码计算入内,因为Clojure版写的很仓促。Clojure的代码形式非常的接近Scala代码,很多函数都相同——Clojure是一种更强大的Scala——它对一些辅助函数进行的重构,使其变的更加模块化和可维护。

  结果是很显然,我将在产品里采用Clojure版的发布程序,完全放弃Scala。

  这是Rich Hickey(Clojure语言的发明人)和Clojure/core开发团队的功劳,他们创造了这样一种精彩适用的编程语言,帮人们解决了大问题——谢谢你们!(groups.google )

参与评论

【登录后才能评论哦!点击

  • {{item.username}}

    {{item.content}}

    {{item.created_at}}
    {{item.support}}
    回复{{item.replynum}}
    {{child.username}} 回复 {{child.to_username}}:{{child.content}}

更多精选文章推荐

泰伯APP
感受不一样的阅读体验
立即打开