CL LAB

HOME > Blog > lee > Neo4j Stream, [RDB/NoSQL]Kafka Connector CDC(Change Data Captuer)の紹介 #neo4j

Neo4j Stream, [RDB/NoSQL]Kafka Connector CDC(Change Data Captuer)の紹介 #neo4j

 ★ 89

Neo4j社は2019年10月1日、Neo4j Streamを発表しました。Neo4j Streamは、Neo4j Pluginとして簡単にインストールできるもので、Apache Kafkaと連携し、Neo4j Streams Kafka Producer(Publish)とConsumer(Subscribe)が実装できます。それで、Cypherに変換できるよう規定のルールに従って書いたJSON形式のメッセージをKafka Brokerに投入すると、そのイベントをトリガにし、Neo4jの内部的にはJSON形式のメッセージをCypherに変換して実行することで、自動的にNeo4jのグラフが更新できるようになります。

さらに、Apache Kakfaが提供する[RDB or NoSQL] Kafka Connector CDC(Change Data Capture )と疎結合し、RDB又はNoSQLの差分データをKafka経由でNeo4jに反映することもできます。従来のNEO4J-ETLは、全件をマイグレーションするには有効でしたが、RDB又はNoSQLから継続的に差分データを抽出しNeo4jに反映することはできませんでした。

データ統合において、RDB又はNoSQLからの差分データの捕獲は「肝になる重要な機能」ですが、専用のETLツールはとても高いことが導入の妨げになっていました。なお、この機能をスクラッチで実装することは技術的に容易ではありません。今回の発表で、Neo4jのデータ統合において新たな可能性が広がりました。

今回のスライドでは、Neo4j Streamと[RDB or NoSQL] Apache Kafka Connetor CDCについて、簡略に解説しています。

目次

  • はじめに

  • Neo4j Stream(October 1, 2019)

  • Stream Processとは

  • Neo4j Streamのインストール

  • Neo4j Streams Cypher Procedure #Neo4jがサポート

  • Neo4j Streams Producer(Publish, CDC) #Neo4jがサポート

  • Neo4j Streams Consumer(Subscribe) #Neo4jがサポート

  • [RDB/NoSQL]Kafka CDC Connector #Confluentがサポート  

  • [RDB/NoSQL]Kafka CDC ConnectorとNeo4j Streamの疎結合

  • まとめ

Author

データベースが大好きなサーバサイドのエンジニア。現代的なデータ基盤のソリューションアーキテクトとして活動しています。

[著書]
グラフデータベースNeo4jの他
https://www.amazon.co.jp/李昌桓/e/B004LWEKOU

leeの記事一覧

CL LAB Mail Magazine

CL LABの情報を逃さずチェックしよう!

メールアドレスを登録すると記事が投稿されるとメールで通知します。

メールアドレス: 登録

※登録後メールに記載しているリンクをクリックして認証してください。

Related post

Neo4j[ホワイトペーパー]CCPA