オンライン(Zoom)

38回目のMeetupでは、Apache Kafkaワークショップを開催しました。

Confluent は、Apache Kafkaに先進的な機能を追加したもので、Apache Kafkaの元々の開発者が開発したData in Motionのためのエンタープライズプラットフォームです。このような基盤技術はマイクロサービスやIoTでも注目を集めています。大量データを短時間で処理する事が必要な時代には必須です。

次に話題にするのは、Apache Hop (Incubating) です。データ統合プラットフォームで Pentaho でも使われている Kettle Pentaho Data Integration ( ETL )からフォークされたものです。1.0.0が今月リリースされたばかりですがNeo4jでどう使うのかを見ていきたいと思います。

参加者の皆様へ（当日の注意）

ZoomのURLは参加者には確認できるようになっています。

会場のご案内

Zoomで開催します。

1. Neo4j Streamsで学ぶSchema Registry (Lang:Japanese)

概要

Neo4j Streams & Kafka Connect enable you to make stream processing applications with Kafka and Neo4j. Additionally, combining Schema Registry ensures schema compatibility and makes your stream application more robust. In this session, we will explore the fundamentals of the Schema Registry and how to use it based on Neo4j Streams & Kafka Connect.

Neo4j StreamsやKafka Connectを活用することで、KafkaとNeo4jを組み合わせたストリーム処理が実現できます。さらにSchema Registryを組み合わせることで連携されるメッセージのスキーマ互換性を担保したより堅牢なストリーム処理が可能となります。本セッションではそんなSchema Registryに着目をし、Neo4j Streams/Kafka ConnectをベースにSchema Registryの基礎からその利用方法について発表します。

発表者 (Speaker)

須田 桂伍 (Suda Keigo), Senior Solutions Architect
Confluent

2. TeX Live databases in Neo4j (Lang:Japanese)

概要

TeX Live is the most widely used TeX distribution, supporting Windows, Mac, and all kind of Unixes. About 11 years ago, we added internet distribution to the one DVD per year system used till then, shipping about 4Gb of programs, macros, fonts, documentation with daily updates to our users.
To make this amount of software accessible, we have employed a three layered system of packages, collections, and schemes, allowing users to install related packages easily.
We represent packages and dependencies in a graph database, explore the relationships and properties, and use graph algorithms to test for consisteny of our packaging scheme.
This talk will first introduce TeX Live, then show how to represent one TeX Live Database on Neo4j, and finally we will discuss how to represent 10 years of TeX Live databases in Neo4j.

TeX Liveは、最も広く使用されているTeXディストリビューションであり、Windows、Mac、およびあらゆる種類のUnixをサポートしています。 約11年前、私たちは1年に1枚のDVDシステムにインターネット配信機能を追加し、約4Gbのプログラム、マクロ、フォント、ドキュメントをユーザーに毎日更新しています。
この量のソフトウェアにアクセスできるようにするために、パッケージ、コレクション、およびスキームの3層システムを採用し、ユーザーが関連パッケージを簡単にインストールできるようにしました。
グラフデータベースでパッケージと依存関係を表現し、関係とプロパティを調査し、グラフアルゴリズムを使用して、パッケージ化の整合性をテストします。
この講演は最初にTeX Liveの紹介し、そして、Neo4jに一つのTeX Live Databaseを表示してから、１０年間のデータベースを時系列としてNeo4jに表示しすることを紹介します。

発表者 (Speaker)

Norbert Preining
富士通研究所
数学者、論理学者、コンピューターサイエンティスト、TeX (Live) メンテナー、Debianデベロッパー、プロの登山ガイド
Mathematician, Logician, Computer Scientist, TeX (Live) Maintainer, Debian Developer, Professional Mountain Guide

3. Apache Hop and Neo4j (Lang:Japanese)

概要

Apache Hop (Incubating), short for Hop Orchestration Platform, is a data orchestration and data engineering platform that is easy to use, fast, and flexible. 1.0.0 was released on October 5, 2021. For those who are considering an open source ETL tool (Extract/Transform/Load), this presentation will explain how it can be used to automate data integration.

Hop Orchestration Platform, Apache Hop (Incubating)は、使いやすく、高速で、柔軟性のある、全く新しいオープンソースのデータ統合プラットフォームです。2021年10月5日に1.0.0がリリースされました。データ統合を自動化するにはどう使えるかなど、ETLツール(Extract/Transform/Load)のオープンソースを検討している人への入門編です。

発表者 (Speaker)

案浦浩二 (Koji Annoura)
日本Apache Hop Incubatingユーザーグループ

書籍の告知 (Books)

amazonで販売中のユーザーグループの書籍です。
『グラフ型データベース入門 Neo4jを使う』
AMAZONサイトへ