サブストリームの一般提供開始
The Graphの各コンテンツをフォローしてご参加ください!
The Graph Networkのために開発されたエンジンである『サブストリーム(Substreams)』が一般公開されました!StreamingFastはこのエンジンを正式にサポートします!
StreamingFastがホストするソフトウェアとサービスの両方が正式にサポートされます。サポートネットワークはイーサリアムとポリゴンから開始します。
サブストリームは、The Graph Networkのために開発された強力なブロックチェーンインデキシング技術です。開発者がコミュニティと一緒にデータストリームを構成するRustモジュールを書くことを可能にして、並列化による非常に高性能なインデックス作成を提供します。
サブストリームは、ブロックチェーンデータの低コストなキャッシングやアーカイブ、高スループット処理、カーソルベースのリオルグ処理など、StreamingFast Firehoseの利点を全て実装しています。
StreamingFastは、この技術がThe Graphの分散型ネットワークで利用可能になるまで、サブストリームのエンドポイントを無料で提供していく方針です。
サブストリームは昨年6月の発表以来開発が続けられ、強力な並列化機能を実装して、システムをBigQueryのような本格的な分散処理システムに変貌させました。SQLの代わりにWASMコードを渡すことで、チェーンの履歴やライブ受信ブロックのデータを変換・集約することが可能です。
このリリースには、モジュールの出力を検査するための新しいターミナルベースのGUIと、パラメータ化可能な新しいモジュール入力が付属されていて、最新リリースでは「プロダクション・モード」が追加されました。これは、開発が完了した時点で、プロダクション用に設計された高速パラレル・フォワード・プロセッシング・モードで機能することを意味します。対照的に、開発モードでは、詳細なログ、ストアの出力やストアのスナップショットを含むすべてのモジュールの出力が表示されます。Rustクレートも成熟を続け、様々なユースケースに対応できるように増加する予定です。
最も顕著なのは、複数のチームの努力によって、データシンク(またはデータローダー)の数が増えたことです:
- Pinax Networkがリリース: Pinax Networkは、Prometheus、Winston、CSV 、Google Sheetsによるシンクをリリースしました。
- Parquetファイルシンクのリリース:MessariはParquetファイルシンクをリリースしようとしており、他のファイルオプションと共にBigQuery、Clickhouse、Redshiftや他の大規模MPPエンジンへのインジェストを提供します。
- Edge & Nodeのリリース間近:サブストリームに基づくサブグラフのグラフ・ノード統合
- StreamingFastによるリリース: Postgres、Key/value store、MongoDB、CSV & JSONの各ファイル
ツールのエコシステムに貢献し、フィードバックを提供し、ソフトウェアをベータテストしてくださった全ての方々に感謝します:
- Pinax Networks:複数のシンクの提供、Substreams ランタイムの最初のホスト、Antelope の Firehose インテグレーションの所有とメンテナンスを実施しました。
- Messari:Substreams の開発と開発者エクスペリエンスの向上に時間を割き、適切なデータ設計に関する考えを共有してくれました。
- Edge&Node、GraphOps、Sebastian Lorenz:Substreamsの開発に参加して、その経験についてフィードバックを提供してくれました。
また今年は、Firehoseに対応した(サブストリームに対応した)プロトコルの統合が、様々なチームによって最も多く行われた年でもあります:
- Polygon, BNB, NEAR and Solana (by StreamingFast),
- Cosmos Hub, Osmosis and Juno (by Figment),
- Arweave (by ChainSafe),
- Antelope (by Pinax).
- Aptos (by Aptos)
- StarkNet (by zkLend)
そして、ErigonクライアントがFirehoseに対応するための作業が完了しました(ChainSafeによる)
私たちは、この技術が世界中の開発者にもたらす展望と、この技術がもたらす将来の機会に興奮しています!
皆さんのご意見、ご質問をお聞かせください。私たちのDiscordサーバーに参加して、直接チャットしませんか?