Yoshi Yamaguchi

OpenTelemetry APIのパフォーマンスベンチマーク

この記事は英語の原文を日本語に翻訳したものです。原文: https://opentelemetry.io/docs/specs/otel/performance-benchmark/

翻訳元: open-telemetry/opentelemetry-specification v1.60.0（コミット 29ae8c7）

この文書は、OpenTelemetry SDKの性能を測定・報告する方法に関する、共通のパフォーマンスベンチマークガイドラインを説明します。

このベンチマークの目標は、対象のプラットフォーム上で、与えられたイベントのスループットに対するOpenTelemetry SDKの基本的な性能オーバーヘッドを得るためのツールを提供することです。

ベンチマークの設定

Spanの設定

  • 親Spanまたは親SpanContextを持たない。
  • デフォルトのSpanKindとStatus。
  • service.name、service.versionという属性と、各属性に10文字の文字列値を持ち、さらに一意なUUIDを持つservice.instance.idという属性を伴うリソースに関連付けられる。詳細はServiceを参照。
  • 符号付き64ビット整数値を持つ属性を1つ持つ。
  • 属性を持たないイベントを1つ持つ。
  • AlwaysOnサンプラーを有効にすべきである。
  • 各Spanは作成された直後に終了する。

測定の設定

JITコンパイルなど起動コストのある言語では、測定の前にウォームアップフェーズを設けることが推奨されます。このウォームアップフェーズは、同じSpanの設定の下で実行します。

スループットの測定

Spanの作成

OTLPエクスポーターを通じて1秒間に作成・エクスポートできるSpanの数を、論理コア当たりおよびすべての論理コアにわたる平均で測定します。各Spanは10個の属性を持ち、各属性は属性名と値としてそれぞれ20文字の文字列を2つ持ちます。

計装のコスト

CPU使用率の測定

ユーザーが指定したSpanのスループット数（ユーザーが数値を入力しない場合はデフォルトで1秒当たり10,000Span）に対して、デフォルト設定のシンプルなSpan ProcessorとバッチSpan Processorの両方について、OTLPエクスポーターと組み合わせたSDKのCPU使用率を測定・報告します。ベンチマークは、エクスポート先でリッスンするプロセス外のOTLPレシーバーを作成するか、既にプロセス外で動作している既存のOTLPエクスポーターを利用し、即座に成功ステータスを返してデータを破棄するようにします。Collectorは、測定に大きなCPUオーバーヘッドを加えるべきではありません。ベンチマークにはユーザーの処理ロジックが含まれないため、ベンチマークプログラム全体のCPU消費量は、SDKのCPU消費量の近似値と見なせます。

1回のテスト実行における合計実行時間は、少なくとも15秒であることが推奨されます。平均CPU使用率とピークCPU使用率を報告すべきです。

メモリ使用量の測定

上記のCPU使用率の測定と同じシナリオで、15秒間のヒープなどの動的メモリ消費量を測定します。

報告

報告フォーマット

上記のすべての数値は、複数回（少なくとも10回を推奨）測定し、報告すべきです。