サブストリームを利用したサブグラフによるインデックス作成性能の向上
The Graph
The Graphの各コンテンツをフォローしてご参加ください！
このブログの元となるポッドキャストはこちらでお聴きになれます。
ダイナミックなWeb3の世界において、「Substreams（以下サブストリーム）」と 「Substreams-powered subgraphs」の登場は変革的な変化を意味します。この革新的なテクノロジーはブロックチェーン・データ・インデックスのあり方を再定義し、グラフネットワーク上で比類のないコンポーザビリティと効率性を提供します。
サブストリームは、ブロックチェーン・データの保存と処理に高度なデータ変換技術を採用した独自のストリーミング・ファースト・システムで、さまざまなデータ・ストアやリアルタイムシステムの利用を簡易化します。サブストリームを利用したサブグラフは、インデックス作成のパフォーマンスを向上させまする。
サブストリームを動力とするサブグラフの公開： データ・インデックスの新たなパラダイム
StreamingFastのコア開発者によって開発されたサブストリームは、ブロックチェーン・データのリッチなストリームを消費できる非常に強力な処理エンジンとして機能します。サブストリームを使用することで、エンドユーザー アプリケーションがブロックチェーン データを高速かつシームレスに消化できるように、ブロックチェーン データを抽出することができます。具体的には、サブストリームはブロックチェーンにとらわれない、並列化されたストリーミングファーストエンジンとして、ブロックチェーンデータ変換レイヤーの役割を果たします。Firehose（StreamingFastによるファイルベースのデータストリーミング製品）を搭載しているため、開発者は独自のRustモジュールを作成したり、既存のコミュニティモジュールをベースにしたり、超高性能なインデックスを提供したり、データをどこにでもシンクしたりすることが可能になっています。
「Substreams-powered subgraphs（以下サブストリームを利用したサブグラフ）」は、サブストリームのパワーとサブグラフのクエリ機能を組み合わせたものです。このリリースによって、開発者はデータクエリのためのサブグラフ機能と組み合わせて、同期速度を向上させるために簡単にサブストリームを利用できるようになります。サブストリームを利用したサブグラフはグラフネットワーク上で提供されて、ブロックチェーンデータの保存と処理に高度な並列化技術を活用します。
サブストリームを利用したサブグラフを構築する開発者は、同期にかかる時間を 100 倍以上短縮できるほか、全体的なパフォーマンスも向上し、新しく新鮮なデータ俊敏性を提供することが可能です。インデクサーにとっては、Firehoseの実行とサブストリームの提供によって、水平方向のスケーリングと効率の向上、処理時間の短縮、待機時間の短縮が実現されることで、時間とリソースを節約することができます。
StreamingFastによるドキュメントでその方法をご覧ください。
サブストリームとサブストリームを利用したサブグラフの利点
サブストリームを利用したサブグラフがネットワークに統合されたことで、開発者とユーザーには無数の利点がもたらされます。The Graph CouncilがGIP-0053を承認した後、サブストリームを動力とするサブグラフに対してインデックス報酬が有効化されました（現在、イーサリアムメインネットでのみ有効）。コミュニティが限界に挑戦し続けることで、これらの利点はブロックチェーン・データへのアクセスに革命をもたらすことが期待されます。
サブストリームとサブストリームを利用したサブグラフは、分散型アプリケーション（dapps）領域におけるデータの扱い方を一変させるものとなります。サブストリームはサブグラフを含む様々な種類のデータソースにデータをロードすることが可能で、サブストリームの利点とサブグラフの利点を組み合わせることで、The Graphにより優れたコンポーザビリティと高性能なインデックスをもたらします。これによって、PostgreSQL、MongoDB、Kafka などの異なるシンクに出力するためのサブストリーム・モジュールを再利用できるようになり、The Graphエコシステム全体で多くの新しいユースケースが導入されることが期待されます。
サブストリームを利用したサブグラフの登場によって、グラフネットワークに以下の利点がもたらされます：
- 高性能なインデックス作成： サブストリームは、大規模な並列処理クラスタ（BigQueryをイメージしてください）により、インデックス作成パフォーマンスを桁違いに高速化します。
- コンポーザビリティ：サブストリームを使用したサブグラフでは、サブストリームモジュールをレゴブロックのように積み重ねることができ、コミュニティ・モジュールをベースにして公開データをさらに洗練させることができます。
- どこにでもシンク可能： PostgreSQL、MongoDB、Kafka、サブグラフ、フラットファイル、Google Sheetsなどデータを好きな場所にシンクできます。
- プログラマブル： コードを使用して抽出をカスタマイズし、変換時に集約を行い、複数のシンク用に出力をモデル化します。
- Firehoseの利点を享受：サブストリームを利用したサブグラフを使用すると、Firehoseの全ての利点（レイテンシーが低く、ポーリングが不要、可用性が高い、最適なデータモデル、フラットファイルなど）を利用できます。
サブストリームを利用したサブグラフの実行
このソリューションによる利点は、実際のアプリケーションですでに実証されています。最も顕著な例の1つは、同期時間の劇的な改善です。Uniswap-v3のサブグラフは、従来同期に2ヶ月かかっていましたが、このプロセスがわずか20時間で完了するようになりました。これは72倍という驚異的なスピードの向上で、同期にかかる時間は1,440時間からわずか20時間に短縮されたことを示しています。この効率化は、グラフネットワーク上でのユーザーデータ操作に革命をもたらすものとなるでしょう。(グラフノードのインデックス作成性能も最近大幅に改善されています。)
サブストリームを利用したサブグラフの例
サブストリームの開発が進むにつれて、変革の可能性は継続的な成長と進化を続けています。暗号市場の洞察を提供する大手プロバイダーMessariは、既にこれらのソリューションを活用して、サービスを強化しています。結果的に、Messariはよりタイムリーで正確な市場データを提供することができ、ユーザはペースの速い暗号取引の世界で十分な情報に基づいた意思決定を行うことが可能になりました。
Messariのオンチェーン・データ担当エンジニアリング・マネージャーVincent Wen氏は次のように述べています。
「サブストリームのおかげで、開発速度が格段に速くなり、反復サイクルが短縮されました。また、このソリューションでは、使い慣れたGraphQL APIを通じてサブストリームのデータを公開するため、両方の長所を兼ね備えています。私たちのチームにとってサブストリームは、サブグラフのインデックス作成速度とコンポーザビリティを根本的に改善する画期的なものでした。おかげで、開発速度が大幅に向上し、反復サイクルが短縮されています。」
例えばUniswap v3は、サブストリームの可能性を示す代表的な例として挙げられます。Uniswapコミュニティメンバーによって作成されたUniswap v3のサブストリームを利用したサブグラフは、多目的なリキッドステーキング・ソリューションであるLidoでも使用されています。このソリューションによって、Lidoは常に最新ですぐに利用可能なデータによって、最適化された合理的な体験をユーザーに提供することが可能になっています。
ブロックチェーンデータを分析・可視化するプラットフォームであるDappLookerは、サブストリームを利用したサブグラフを使用してリアルタイム分析とノーコード・ダッシュボードを実現し、ユーザーに即時かつ正確な情報を提供してWeb3分析を強化しています。
ソリューションの革新性を実際に体験したいのであれば、実際に試してみる以外に方法はありません。Uniswap V3を使用することで、サブストリームを利用したサブグラフの効率性を体験することができます。まもなく「ERC-20 Substreams-powered subgraph」を含む、多くのオプションから選択できるようになります。
もしあなたがインスピレーションを感じて、独自のサブストリームを利用したサブグラフの構築したい場合は、The Graph Foundationに助成金を申請するか、提案書を提出してください！
サポートが必要な場合は、support@thegraph.com までご連絡ください。
それぞれの実際のユースケースは、Uniswap V3で実証されたように、新しい革新的なアプリケーションへの扉を開く鍵となります。
今後の展望
イーサリアムのメインネットでサブストリームを利用したサブグラフを実現することは、分散型ネットワークを拡張し、従来のサブグラフを超えた新しいタイプのデータサービスを提供するための最初のマイルストーンとなります。この最初のステップによって、The Graphエコシステムはサブストリームの利点を、すぐに、柔軟に活用することが可能です。次に、コア開発チームは、追加チェーン、サブストリーム、Firehose、そして多くの新しいサービスをサポートするために、ネットワークのサービス提供を拡大することに焦点を当てています。
現在、ネットワークを通じてクエリできるのはサブグラフのみです。インデクサーはすでにサブストリームをサポートするためにインデクシングノードをセットアップし、コア開発者はグラフネットワークがサブストリームをサポートできるように取り組んでいます。この飛躍には、サブストリームのようなストリーミングファーストのシステムをサポートするインフラを整備すること、継続的なストリーミングの支払いを処理する能力、データ処理需要の増加、既存のシステムやサービスとのシームレスな統合を保証する能力などが含まれます。
分散型ネットワークがより多くのデータサービスに対応できるようになれば、インデクサーは最高のサブストリームとFirehoseサービスを提供するために競争する機会を得ることになるでしょう。当然ながら、インデクサーは、利用可能なコンピュート・リソースや、どのデータタイプのサポートに最も興味があるかによって、過去の処理に重点を置くもの、リアルタイムのデータに重点を置くものなど、提供するデータのタイプは異なるものになることが想定されます。しかし、この競争環境はweb3全体のイノベーションを促進するとともに、The Graph Networkをすべてのweb3データタイプのマーケットプレイスとして確固たるものにするでしょう。
最後に
この取り組みは間違いなく、グラフネットワークの進化における重要なマイルストーンとなるものです。この革新的なテクノロジーは、未来への大胆な一歩であり、開発者とweb3ユーザーに新しい道を開くことになるでしょう。同期時間の劇的な改善から、分散型世界におけるデータサービス環境の再定義に至るまで、The Graphが世界の公共データをより多く整理する軌道にあることは明らかです。
サブストリームの統合は、プロバイダー間のキャッシュ共有という斬新な経済を生み出すことが想定されます。つまり、処理済みのフラットファイルのバンドルとCPU時間を交換したい人は、誰にでもそのチャンスがあるということです。リソース共有へのこの革新的なアプローチは、The Graph Networkの効率性と柔軟性をさらに高めるものとなります。
開発者は「Awesome Substreams」を探索したり、オンラインで試してみることが推奨されます。また、サブストリームを利用したサブグラフのクイックスタートや、スタンドアロンのサブストリームのクイックスタート、ドキュメントもご覧ください！
より効率的でダイナミック、そしてパワフルな分散型ネットワークへの旅が始まりました。ソリューションとブロックチェーン・データインデックスの新たな未来を受け入れて、グラフネットワークにおけるデータのインデックス作成とクエリの次の進化に参加しましょう！
StreamingFast について
StreamingFastは、ブロックチェーンデータの処理とインデックス作成における世界有数のエキスパート集団です。そのコア技術であるFirehoseとSubstreamsは、ファイルベースかつストリーミングファーストのアプローチであり、高スループットのチェーン上で高性能なインデックス作成を可能にします。
2018年にローンチして、トップクラスの投資家によって支援されていたStreamingFastの極めて重要な変革は、2021年6月のThe Graphからのコア開発者助成金によって可能になりました。
The Graphのコア開発組織として、StreamingFastはFirehoseとSubstreams製品をThe Graphスタックに統合し、高性能なインデクシングを可能にし、エキサイティングな新しいデータユースケースに幅広く対応するプロトコルをオープンにし続けています。
TwitterとDiscordでStreamingFastをフォローしてください。
パフォーマンスの向上は、サブグラフが新しいテクノロジーに完全に移植された後のサブストリーム・モジュールの複雑さなど、いくつかの要因によって異なります。この比較は、従来のサブグラフと同等のデータを生成するように記述されたサブストリームを利用したサブグラフに基づいています。
