重量级|京东云区块链数据服务（BDS）正式开源

今天，“区块链+京东云大有可为”战略合作媒体沟通会在北京国家会议中心举行。 会上，京东云与京东数科宣布在区块链技术服务领域展开深度合作，发布智真链“云”建设计划，同步推出“区块链防伪溯源”和“区块链数字存储”。 “证”两个“京东自营”京东云市场SaaS应用。 同时，京东云还推出了国内首款区块链数据在线分析服务产品——BDS服务。

区块链由许多按时间顺序串联的区块组成，每个区块中都存储着交易、账户等相关信息。 每个区块就像一个纸质账本，记录着很多人每天的账目。 如果我们要查看去年发生了多少大笔支出，就需要把去年所有的账本都搬出来，从头到尾一一翻看，找到对应的记录。 也可以说每一块都像一本纸质书。 如果我们想从一堆纸质书籍中通过某些关键词进行搜索，除了从头到尾浏览之外别无他法。 区块链上的数据都是离散化的数据，需要更有效的数据组织方式来进行进一步的查询和分析。

随着区块链技术的火爆，整个行业都充满了争夺。 有大家耳熟能详的BTC、ETH、XRP等公链项目，也有Fabric、Enterprise Ethereum Alliance、Corda R3等知名联盟链项目。 当然，也有一些私有区块链项目。 连锁项目。 无论是公有链、联盟链还是私有链下载btc区块数据，每条链都是一个独立的信息孤岛。 它们有各自的技术特点，在底层数据模型上也有很多相似之处。 每个区块链项目就像一个移动应用程序。 我们可以统计分析每个项目的用户总数、日活、月活、留存、使用率、用户余额、平均交易金额等通用指标。

如何打通多个区块链项目的信息孤岛，将无序、离散的区块数据整合为有序、易查询的关系数据，将链上透明、共识、可信的数据和信息聚合在一起，提供分析和建模服务，为开发赋能产业互联网化是区块链技术产业价值的重要体现，也是京东云BDS产品的目标。

京东云区块链数据服务正在打造行业标准的区块链BI+数据搜索服务，但区块链项目的底层区块存储结构不同，需要对不同项目的数据进行分析整理。 深知我们自身的实力不足以对接行业内的各种项目，我们开源了区块链数据服务（BDS），让更多的开发者和社区参与进来，接入更多的公链和联盟链、私有链和其他区块链项目。 区块链数据服务将以区块链数据搜索引擎的形式聚合所有区块链相关内容，最大化区块链上可信数据的价值，方便社区在BDS上进行区块链数据的一站式查询。

现在，京东云区块链数据服务（BDS）正式开源！

产品演示地址可接入北斗服务。

架构图

开源计划

目前在开源项目组织中，京东云BDS团队开源了Blochain Node和Splitter两个服务模块。 Blochain节点模块已优先开源BTC节点代码。 之后，我们将继续开源其他全节点服务。 预计2019年Q3季度将陆续开源ETH、XRP、ETC、LTC等20+条主流公链。 欢迎开发者定期关注京东云区块链团队的开源项目。

当然，除了开源Blochain Node和Splitter这两个服务模块，京东云BDS团队还将陆续开源其他服务模块。

有人会问，如果只开源Blochain Node和Splitter这两个服务模块下载btc区块数据，是不是就无法搭建出类似于京东云的区块链数据服务的效果。 当然可以。

从上面的系统架构图可以发现，Blochain Node和Splitter是整套服务的核心模块，其他模块都是基于这两个模块设计的，所以这两个核心模块是开源的，区块链数据库服务 基本的架子已经有了，剩下的就是锦上添花。

具体如何构建，请参见本文“本地构建”的介绍。

成为贡献者

开发者可以申请成为京东云区块链产品部开源的Blochain Node和Splitter两项服务的Contributor。

如果您想在bds-btc项目的基础上修复bug或添加一些新功能，请向我们的项目提交issue，以确保我们知道您要这样做，避免其他开发人员重复开发。 之后你只需要在项目的基础上新建一个分支，在这个分支上编辑代码即可。 同时请确保文档和测试用例完整，完成后提交PR。 项目的贡献者将进行代码审查。 代码合并。

如果你想对接新的区块链项目到BDS平台，比如：Grin、Libra。 请先给我们发邮件，邮箱地址：jdcloud-bds@jd.com:，确保我们知道您要这样做，避免其他开发者重复开发。 之后，我们将在项目组织下创建一个新的项目仓库。 你只需要在新建的项目仓库的基础上新建一个分支，并在这个分支的基础上编辑代码即可。 同时请确保文档和测试用例完整，完成后提交PR。 ，项目的Contributor会进行代码审查，审查通过后会合并代码。

贡献详细文档可以单独参考

如果您是开发者并且有兴趣参与，欢迎为区块链开源社区做出贡献。

本地构建

接下来我们一起来看看，如果在本地搭建一个简单的环境，就可以实现类似京东云的区块链数据服务的效果。

部署方式

安装 confluent 和 kafka

Confluent是一个代理服务，为外部调用提供restful接口，并将结果写入Kafka

安装卡夫卡

参考kafka官网文档搭建。 运行kafka服务时，需要修改其配置文件：

/config/server.properties 添加以下内容项

安装汇合

参考confluent官网文档搭建，下载压缩包文件并解压即可运行Confluent REST Proxy服务，但运行前需要修改其配置文件：

/etc/kafka-rest/kafka-rest.properties 添加以下项目

运行数据库服务

其实数据库不需要在本地建。 其实可以直接使用云数据库服务。 这里推荐使用京东云数据库RDS服务。 购买地址请点击：JCS For PostgreSQL。

数据库服务运行后，需要手动创建库名，后面运行BDS（Splitter）服务时会用到。

安装BTC全节点

BTC运行环境初始化，见build-unix

环境初始化完成后，开始编译运行源码

编译源代码

1  ./autogen.sh
2  ./configure
3  make
4  make install

运行 BTC 全节点

消息队列这里使用的是Kafka

1 ./usr/local/bin/bitcoind -kafka -kafkaproxyhost=[kafka 代理的ip地址] -kafkaproxyport=[kafka 代理的访问端口，默认是 8082] -kafkatopic=btc -datadir=[数据目录]

在运行BTC全节点时，可以发现在Kafka服务中收到了一些数据，这是区块链全节点的新区块数据。

安装北斗（分离器）服务

BDS(Splitter)运行环境初始化，需要安装go运行环境，见go install

环境初始化完成后，开始编译运行源码

运行 BDS（Splitter）服务

设置项目路径$GOPATH/src/github.com/jdcloud-bds/bds/；

执行go build -v github.com/jdcloud-bds/bds/cmd/bds-splitter编译项目；

根据

/config/splitter_example.conf

配置模板新建配置文件splitter.conf，修改splitter.conf的内容，根据提示设置相应的配置内容项，包括但不限于btc全节点信息、kafka相关信息等；

执行./bds-splitter -c splitter.conf 运行BDS（Splitter）服务；

当BDS（Splitter）运行时，你会发现在你的PostgreSQL数据库服务之前，一些表已经以新建库的名字创建了。 一段时间后，你会发现这些表都有不同程度的新数据插入。 这些数据是BDS（Splitter）服务从消息队列Kafka中消费全节点的新区块数据，解析后插入。

这样就完成了非结构化区块链数据到结构化数据的转换。 只需要整套服务一直运行，然后PostgreSQL数据库服务实时存储BTC全节点的所有数据信息。

安装 Garafna

如果要查询PostgreSQL数据库中的数据，必须先登录数据库服务，然后执行SQL命令才能查询，不够直观。

所有推荐安装Garafna服务即可，安装教程参考Garafna官网文档搭建。

通过Garafna服务，您可以预先设置查询PostgreSQL的SQL语句，实时查看您需要的数据结果，并以图表的形式展示，更加生动直观。

总结

一个新的区块链项目接入区块链数据服务开发只需两步：

修改对应的全节点服务，将区块数据写入消息队列。

从消息队列中取出相应的数据写入数据仓库。

点击“阅读原文”查看京东云区块链数据服务（BDS）项目介绍，欢迎访问：https://github.com/jdcloud-bds/点个星~