ファーストマイルの可観測性の台頭: Calyptia により、企業はあらゆるものをログに記録できるようになります

ますます多くのアプリケーションが、ますます多くのマイクロサービスとバックエンドを備え、ますます多くのクラウド上にデプロイされ、 ますます多くのログが生成される -- 開発者はこれに毎日対処しなければならず、可観測性が困難になります。 そしてさらに難しい。

この設定でアプリケーションを監視したりデバッグしたりするのは難しいと思われるのは、その通りです。 しかし、当然のことながら、 監視ではない可観測性、 しかし 誰もが同意することが重要だ.

まだ混乱していますか？

可観測性の定義はたくさんあります。 あ 単純なもの 「システムが生成するログ、メトリクス、トレースなどのデータに基づいてシステムの現在の状態を測定する機能」です。

流暢な そして 流暢なビット の後援の下で広く使用されているオープンソース プロジェクトです。 CNCF方程式の対数部分に焦点を当てます。 これらは連携して動作し、アプリケーション ログとサービス ログに保存されている情報をそれぞれ収集および処理します。

Fluentd と Fluent Bit を合わせると、GitHub スターの数は 30,000 人を超え、1 日あたり 200 万件のデプロイメントが行われ、1,300 人のアクティブな寄稿者がいます。 これらは 10 億回以上導入されており、Kubernetes や Red Hat OpenShift などの業界標準テクノロジーに組み込まれています。

本日、Fluentd と Fluent Bit のメンテナーである Eduardo Silva と元プロダクト マネージャーの Anurag Gupta が、 カリプティア、Fluent Bit を商業化するために設立された会社、および、によって主導された 500 万ドルのシードラウンド シエラベンチャーズ そして カーバイド・ベンチャーズ.

私たちは Gupta 氏と Silva 氏に会い、Calyptia の提供内容と可観測性環境におけるその位置付けについて話し合いました。

ログのコンテキスト化

『Distributed Systems Observability』の著者である Cindy Sridharan 氏は次のように述べています。 ノート: ログ、メトリクス、トレースは、可観測性の 3 つの柱としてよく知られています。 明らかにログ、メトリクス、トレースにアクセスできるからといって、必ずしもシステムのパフォーマンスが向上するわけではありません。 これらは目に見えるものですが、よく理解すれば、より良いものを構築する能力を解放できる強力なツールです。 システム。

Fluentd は、統合ログ層用のオープンソース データ コレクターであり、ユーザーがデータの収集と消費を統合してデータをより適切に使用し、理解できるようにします。 Fluent Bit は、オープンソースのロギングおよびメトリクスのプロセッサおよびフォワーダーであり、Calyptia の製品はこれを中心に構築されています。

Silva が言うように、Fluentd と Fluent Bit は、次のようなプロジェクトの「いとこ」です。 イェーガー そして ジップキン、痕跡に焦点を当てています。 Silva 氏は、ログはアプリケーションの動作を何らかの形で可視化できるよく知られたメカニズムであると付け加えました。

アプリケーションの動作を分析するときは、最初にアプリケーション ログを確認します。 しかし、Kubernetes などの分散システム設定では、それは簡単ではありません。

「いくつかのアプリケーションがあり、データ分析を実行してアプリケーションがどのように動作しているかを確認したいと考えています。 ログを確認したいと考えていますが、それを解決するには、各アプリケーション、すべてのファイルにアクセスして、このアプリケーションが何を行っているかを確認することはできません。 専用のツールが必要です」とシルバ氏は言います。

「つまり、Fluentd と Fluent Bit は、このログ情報を収集し、処理し、分析のために 1 つまたは複数のエンドポイントに集中させることができる特殊なツールです」と Silva 氏は付け加えました。

このコンボの威力は、ログに保存されたデータを収集して転送するだけでなく、変換と解析ロジックも適用するという事実から来ているとグプタ氏は説明しました。 これは、Lua スクリプトなどを使用したり、Kubernetes スペースに特定のキーと値のペアを追加したりすることで実行できます。

Fluent Bit と Fluentd がそれぞれ過去 10 年間と 5 年間取り組んできたことは、Kubernetes 内の API と通信してすべてのデータにアクセスする機能を追加することです。 これにより、ログ内のデータがコンテキスト化され、より意味のあるものになるため、診断とデバッグがより迅速かつ簡単になります。

Fluentd と Fluent Bit を使用する主な利点は、複数のバックエンドを使用できることだと Gupta 氏は述べています。 このツールはバックエンドに関してベンダーに依存しないため、データの種類や数に関係なく、データを必要な場所にルーティングできます。

バックエンドが急増しているにもかかわらず、Fluentd と Fluent Bit は今後も追いつくだろうと Gupta 氏は付け加えます。

ファーストマイルの可観測性

Gupta 氏と Silva 氏は、ソフトウェア システム エンジニアリングで長年の経験があり、それぞれ Microsoft と Oracle で勤務しており、2017 年に会いました。 彼らは Fluentd で緊密に協力し、時間が経つにつれてその力関係を見て、2020 年にそれを中心とした商用サービスを提供するために Calyptia を設立することにしました。

Calyptia Cloud は Calyptia Enterprise 製品の重要な部分であり、管理層と監視層、開発者ツールの 2 つが含まれています。 開発者ツールは、オープン ソース レイヤーを使用したいだけの人を対象としており、ツールは次のような場合に役立ちます。 彼らは、正規表現や物事が適切に機能しているかどうかなどの重要な側面を把握します、と Gupta 氏は言います。 と言う。

管理および監視サービスは、Fluentd と Fluent Bit がエッジ層で持つすべての情報を集約し、コンテキスト化して視覚化します。 これは、「データはどこにルーティングされるのか?」などの質問に答えるのに役立ちます。 どのくらいの量のデータがどの IP にルーティングされますか? データが特定のパスを選択したのはなぜですか? なぜこの量のデータが送信されたのでしょうか?

目標は、予測分析もできるようにすることです。 この場合、Gupta 氏が言うように、データがバックエンドに到達して料金が請求される前に、そのような洞察を表面化できることを意味します。 Calyptia Cloud 独自のバックエンドに関しても、このサービスは不可知論的であり、New Relic や Splunk から Amazon や Google のオブジェクト ストレージ、PostgreSQL まで、あらゆるもので動作できます。

Gupta 氏によれば、可観測性は旅とみなすことができます。 ユーザーは単純な監視から始めて、その後進化し、さらに多くのデータ ソースを追加し始めることができます。 この旅は、データが作成される場所から始まり、デバッグ、診断、洞察の取得が行われる場所に向かって続きます。

Calyptia では、データが生成され、コンテキスト化され、処理され、ルーティングされる場所が、その旅の最初の 1 マイルであると考えられています。 Gupta 氏によると、これが Fluentd と Fluent Bit が活動してきた場所であり、Calyptia が目指しているところでもあります。

Silva 氏は、Calyptia がスペクトルのデータ収集と前処理、および次のようなツールに対処することで、可観測性を連続体として説明します。 グラファナ、視覚化の終わりに取り組みます。 Calyptia は並行して動作し、それらすべてと統合できると彼は付け加えました。

それはそうかもしれないが、少なくともある程度の重複は存在するように見える。

Gupta 氏と Silva 氏は、AWS、Google Cloud などの担当者との通話に多くの時間を費やしました。 Microsoft と、大規模な可観測性の解決とオープンソース プロジェクトを検討している企業 貢献者。 これは、製品の形を整えるのに役立ちました。 Fluentd と Fluent Bit は Fidelity や Neiman Marcus などの場所で使用されており、Calyptia もその分野に参入する可能性は低くありません。

Calyptia Cloud に加えて、Calyptia Enteprise もあらゆる環境でセルフホストできます。 Calyptia は、サブスクリプション モデルに加え、コンサルティング サービスとサポートも提供します。 同社はこの資金を利用して現在の従業員数 16 人を増やし、ソフトウェアの継続的な開発に投資することを目指しています。