有没有Java版类似SQLite的开源库？

　　能嵌入JAVA代码被调用，又能进行数据计算的开源库，数据库类的有HSQLDB/Derby/H2等。这几个和SQLite的毛病一样，入库过程非常繁琐，要检查表名是否重复、建表结构、读文件、解析字段、插入记录、建索引等，而且没法处理不规则的文本和特殊数据源；至于近年来计算库逐渐被重视的功能－－JSON计算，虽然内嵌数据库也是赶鸭子上架，但这几个还不如内嵌数据库。DataFrame类的计算库有Tablesaw/ Joinery/ Morpheus等，在多层JSON（半结构化数据）的读取和计算上，它们比数据库要方便多了，但二维结构化数据的计算又远不如数据库。

　　二维结构化数据和多层JSON的计算都足够强，又支持多种数据源，可处理不规则文本的嵌入式JAVA开源库，集算器SPL是个更好的选择。

　　JAVA调用SPL只需JDBC接口，基本看一遍就会。比如把tab分隔的文本文件Orders.txt按Client列顺序排序，按Amount列逆序排序：

　　
…Class.forName("com.esproc.jdbc.InternalDriver");Connection connection =DriverManager.getConnection("jdbc:esproc:local://");Statement statement = connection.createStatement();Stringstr="=T(\"D:/Orders.txt\").sort(Client,- Amount)";ResultSet result = statement.executeQuery(str);…

　　一个T函数就相当于内嵌数据库入库那一整套过程，比那些内嵌的数据库方案要方便多了。

　　为了数据库程序员的方便，SPL也支持SQL语句，比如上面的排序可改写为：

　　
str="$select* fromd:/Orders.txt orderbyClient, Amount desc"

　　再讲讲刚才的sort函数，这样的基本计算函数SPL有上百个，可以直接完成大多数常规计算。下面试举一些：

　　
//条件查询str="=T(\"D:/Orders.txt\").select(Amount>1000 && Amount<=3000 && like(Client,\"*S*\"))";//分组汇总str ="=T(\"D:/Orders.txt\").groups(year(OrderDate);sum(Amount))";//关联str ="=join(T (\"D:/Orders.txt\"):O,SellerId; T(\"D:/data/Employees.txt\"):E,EId).new(O.OrderID,O.Client,O.SellerId,O.Amount,O.OrderDate, E.Name,E.Gender,E.Dept)";

　　处理过的数据还可以持久化为btx集文件，不仅计算性能高，而且体积更小。比如将两个同构的文本文件写在一个btx里，并去掉两者重复的行:

　　
A B 1 =[T("d:/orders1.csv"), T("d:/orders2.csv")].merge@u() /对记录做并集 2 file("d:/fast.btx").export@b(A1) /写入集文件

　　之后就可以像普通文件那样使用：

　　
str="=T(\"D:/fast.btx\").sort(Client,- Amount)"str="$select * from d:/fast.btx order by Client, Amount desc"

　　btx还可以预先进行有序化处理，从而获得更高计算性能，比如进行二分查找，详情参考官网。

　　为了降低耦合性，SPL算法可外置于JAVA代码。比如，找出销售额累计占到一半的前n个大客户，并按销售额从大到小排列。先将SPL脚本存为文件bigCustomer.dfx：

　　
AB1 = T("D:/data/sales.csv").sort(amount:-1) 取数并逆序排序 2 =A1.cumulate(amount) 计算累计序列 3 =A2.m(-1)/2 最后的累计值即是总和 4 =A2.pselect(~>=A3) 超过一半的位置 5 =A1(to(A4)) 按位置取值

　　再在JAVA代码中以存储过程的方式调用脚本文件：

　　
…Class.forName("com.esproc.jdbc.InternalDriver");Connection connection =DriverManager.getConnection("jdbc:esproc:local://");Statement statement = connection.createStatement();ResultSet result = statement.executeQuery("call bigCustomer ()");...

　　有些运算较复杂，比如涉及分组后计算、有序计算、集合计算，即使用存储过程也难以解决，更别说连存储过程都不支持的内嵌数据库了。 SPL提供了强大的语法和丰富的库函数，可以大幅简化复杂运算逻辑。 比如： 计算某支股票最长的连续上涨天数，SPL只需两行：

　　
A B 1 =T("d:/AAPL.xlsx") 读Excel文件，首行为列名 2 =a=0,A1.max(a=if(price>price[-1],a+1,0)) 求最长连续上涨天数

　　有些运算代码较长，或有分支和循环，SPL提供了专用的IDE，可以方便地跟踪调试，观察每一步的计算结果：

　　对于不规则的文本， SPL同样可以处理。简单的比如以双竖线||为分隔符，可用如下SPL语句读取：

　　
= file("D:/Orders.txt").import@t(;,"||")

　　复杂些的不规则的文本，参考 《未结构化文本的读写和解析处理》（底部原文中查看链接）

　　SPL支持多种数据源，除了文本文件，还有Excel、数据库、各类NoSQL、webService、restful等。比如：restful返回多层JSON，用来描述多个员工和员工的多个订单，需要查询出所有价格在500-2000，且客户名包含bro字样的订单。SPL代码如下：

　　
A 1 =json(httpfile("http://127.0.0.1:6868/api/getEmpOrders").read()) 2 =A1.conj(Orders) 3 =A2.select(Amount>500 && Amount<=2000 && like@c(Client,"*bro*"))

　　集算器SPL是优秀的JAVA嵌入式开源计算库，在结构化计算方面比数据库更强，在多层数据的计算方面比Dataframe更方便，在多数据源支持方面更是全面超过两者。