Heliodor Linux ベンチマーク

Heliodor は Celox の大規模な外部 Veryl ワークロードです。固定した Linux イメージを 起動し、同じ設計リビジョンと入力を使って Celox のネイティブバックエンドと同期実行の veryl-cc を比較します。Cranelift の Linux 起動時間はこの比較の有効な尺度を大幅に 超えるため、計測・公開しません。

測定するもの

次の 2 つを分けて計測します。

1. Celox が設計をコンパイルする時間。
2. 生成されたシミュレータがワークロード全体を実行する時間。

生成コードの速度比較に使うのは 2 つ目だけです。途中までの起動、完了時間の推定、 コンパイルだけの結果は、実行成功として扱いません。

有効な結果

次の条件をすべて満たす実行だけを採用します。

• 固定した Heliodor とワークロードのリビジョンを使う。
• 設定された Linux 完了マーカーまで到達する。
• コンパイル時間と実行時間を分けて記録する。
• 意図した Celox / Veryl リビジョンからランナーをビルドする。
• タイムアウトや意味上の不一致を調査できるログを残す。

完了マーカーを固定することで、高速に失敗した実行や未完了の起動を性能向上として 誤って報告することを防ぎます。

ローカル実行

bash scripts/run-heliodor-bench.sh run

初回は固定した Heliodor checkout の取得にネットワークアクセスが必要です。スクリプトは 使用リビジョン、ビルド構成、完了状態、計測時間を表示します。変更前後の比較には同じ マシンと構成を使ってください。

公開結果はベンチマークダッシュボードの Heliodor Linux に掲載します。