Ox Alpha evals：ベンチマーク、セットアップ、安全対策

Ox Alpha evals という言葉は、2026年8月に OpenRouter と OpenCode を通じて公開された匿名AIモデルを評価するために行われた初期テスト全般を指します。これらの評価には、小規模なユーザー比較、コーディングエージェントの利用、バグ修正タスク、インターフェース構築、スクリーンショット分析、長いコンテキストを使った実験などが含まれます。

Ox Alpha は、コーディング、継続的なエージェント作業、本番ワークロード向けの推論モデルとして紹介されています。テキスト、画像、動画を入力でき、記載されたコンテキストウィンドウは 1,048,576トークン、最大出力は 131,072トークンです。これらの仕様は、大規模なリポジトリや長大な文書を扱ううえで興味深いものですが、容量が大きいことだけで、すべてのトークンを効果的に活用できるとは限りません。

動画のハイライト：

• Ox Alpha は OpenRouter と OpenCode を通じて、匿名の「ステルス」モデルとして公開されました。
• このモデルはテキスト、画像、動画の入力に対応しています。
• 初期の報告では、コーディング、エージェント、ベンチマーク、提供元の正体に関する可能性が主な焦点となっています。
• 無料プレビュー期間は、2026年8月のおよそ1週間と説明されていました。

最も重要な区別は、モデル仕様、コミュニティによる観察、再現可能な評価の間にあります。仕様は提供者が主張する内容を示します。コミュニティによる観察は、選択されたタスクでモデルがどのように動作したかを示します。再現可能な評価には、固定されたプロンプト、一貫したツール、複数回の試行、透明性のある採点が必要です。

初期の比較では、Ox Alpha は GPT-5.6 Sol や Claude Fable を含む複数の最先端モデルと、特定のコーディングタスクで近い性能を示しています。しかし、最も頻繁に取り上げられた結果は、ユーザーが実施したわずか 10タスクのセットに基づくものでした。特にタスクの選定が特定のモデルに有利になり得る場合、このサンプル数では広範なランキングを確立するには不十分です。

利用可能な資料で参照されている、より大規模なエンジニアリングベンチマークには、5つのプログラミング言語と 91の稼働中のオープンソースリポジトリにまたがる 113件の長期タスクが含まれています。この違いは重要です。手作業で選んだ10個のタスクから有用な挙動を見いだすことはできますが、広範で管理されたベンチマークの代わりにはなりません。

報告された利用規模にも意味はあります。公開直後、コーディングエージェントや開発者向けハーネスが数十億トークンを処理したとされており、その中には Claude Code と Hermes Agent の利用で合計 180億トークンに達したという数字も含まれています。利用量が多いことは、開発者がこのモデルを繰り返し試す価値があると判断したことを示唆しますが、それだけで信頼性や優位性が証明されるわけではありません。

コミュニティからの反応は分かれています。

• 一部のテスターは、Ox Alpha が他の監査ツールでは見つからなかった実際のPythonバグを特定したと報告しています。
• フロントエンド利用者は、スクリーンショットをもとにしたインターフェース作業や、基本的なバックエンド修正に有用だったと述べています。
• 複数の報告では、大規模なコーディングタスクの計画力と、比較的効率的なトークン利用が評価されています。
• 一方で、行動に移さないまま数分間推論を続けるという報告もあります。
• 複雑なバックエンドプロジェクトや、ゼロから構築する作業では、結果に一貫性がないとされています。
• 文章品質は機械的だと評されることが多く、日常的な文章作成では他のモデルを好むテスターもいます。

実用上の結論は明快です。Ox Alpha は、公開時の盛り上がりではなく、タスク完了度によって評価してください。

有用な評価は、実際に行う作業に近いものであるべきです。「何かすごいものを作って」といった曖昧なプロンプトは避けましょう。その代わりに、範囲が明確で、測定可能な要件と、明確な完了条件を備えたタスクを定義します。

コーディングタスクでは、Ox Alpha に計画を簡潔に説明させ、変更を行い、関連するテストを実行し、未解決の問題があれば報告させます。これにより、モデルが推論から実行へ移行できるかどうかを確認できます。

マルチモーダルタスクでは、明確な質問を添えてスクリーンショットや短い動画クリップを使用します。たとえば、目に見えるレイアウト上の問題を特定し、実行可能な変更を列挙し、観察結果と推測を区別するよう求めます。画像が「よく見えるか」と尋ねるよりも、はるかに有益な評価になります。

Ox Alpha は、長いコンテキストと複数段階の推論が役立つタスクで、特に有望に見えます。規模の大きなプロジェクトを調査したい開発者、機能を計画したい開発者、スクリーンショットをもとに作業したい開発者、有料モデルにすぐに移行せずエージェント型ワークフローを試したい開発者にとって、有用な選択肢となる可能性があります。

最適なワークフローは、Ox Alpha をレビューの代替として無条件に信頼するのではなく、候補となるアシスタントとして使うことです。計画の下書き、証拠の調査、変更案の提案を任せましょう。一方で、コードのマージ、事実に関する主張の承認、セキュリティ上の影響の確認、エッジケースの検証は、人間が責任を持って行ってください。

匿名での公開には、独特のトレードオフもあります。無料アクセスによって実験は容易になりますが、提供者の正体や長期的な運用条件は確認されていません。プレビュー期間中に良好な性能を示したモデルでも、その後にルーティング、レート制限、提供状況、データポリシーが変更される可能性があります。

Ox Alpha は、OpenRouter のモデルページ、OpenRouter互換API、または OpenCode を通じて試すことができます。報告されているプレビューでは、期間限定で入力・出力トークンが無料でしたが、終了日は確認されておらず、提供状況は変わる可能性があります。

利用可能な資料では、注意深く確認すべきポリシー上の違いが説明されています。OpenCode はデータを一切保持しないことを掲げていた一方、OpenRouter の掲載情報では、匿名の提供者がプロンプトと完了結果を保持するものの、トレーニングには使用しないと記載されていました。アクセス経路によって適用されるポリシーが変わる可能性があるため、機密情報を送信する前に現在の規約を確認してください。

プレビューが無料だからといって、専有ソースコードを貼り付けないでください。また、「トレーニングに使用されない」ことを「保存されない」ことと同一視しないようにしましょう。保持期間、アクセス制御、提供者の正体、運用上の安全対策は、それぞれ別の問題です。

比較を正確に行うため、次の情報を記録しておきましょう。

• 使用した日付とアクセス経路。
• タスクの説明と初期コンテキスト。
• 画像、動画、ツール、リポジトリアクセスを有効にしたかどうか。
• 再試行回数と完了までの合計時間。
• テストの合格、失敗、スキップの状況。
• モデルの処理完了後に必要だった手動編集。
• 発生したプライバシーまたは信頼性に関する懸念。

Ox Alphaモデル概要では、利用可能な仕様、アクセス方法、コミュニティから報告された挙動、現在のモデル識別に関する仮説が紹介されています。開発者がシステムを公に特定するまでは、これらの仮説を未確認の情報として扱ってください。