Skip to content

test_external_ai_run の codex の成功ケースが CI でだけまれに落ちる #1735

Open

Description

@takemi-ohama

現象

plugins/ndf/scripts/tests/test_external_ai_run.py::test_success_returns_file[codex] が CI でだけまれに落ちる。手元の全体テストでは再現していない。

影響

cross-review が CI の失敗を「コード関連」として中断し、final=error を返す。指摘が 0 でも検査の結果が error になり、conductor が理由を追う手間が出る。

手がかり

PR 1732 で、失敗時に結果 JSON を assert のメッセージへ出すようにした(test_external_ai_run.py:96)。次の再発で out の summary から原因(ポーリングの 1 秒・タイムアウト・codex の偽 CLI の書き出しの順序など)を追える。

受け入れ条件

  • 失敗の原因を特定し、CI で 20 回続けて通る

発生の記録

観測(追記)

Activity

  1. takemi-ohama commented on Oct 25, 2026

    @takemi-ohama
    ContributorAuthor

    再発(kiro の stdout の代替)

    同じテストファイルの別のケースが、ドキュメントだけの PR #2141 の CI で落ちた。

    • テスト: test_external_ai_run.py::test_stdout_fallback_writes_output[kiro](151 行目 assert code == 0 → assert 1 == 0)
    • run: https://github.com/devbasex/ai-plugins/actions/runs/40172899058 の pytest (0/2)
    • PR の差分は docs/ と issues/ だけで、このテストの対象に触れていない。落ちたジョブを再実行した

    このケースの assert は結果 JSON をメッセージへ出さないため、summary は残っていない。codex の成功ケースに限らず、同じ待ち方(ポーリング・偽 CLI の書き出しの順序)を使うケースに共通する原因の可能性がある。

  2. takemi-ohama commented on Oct 31, 2026

    @takemi-ohama
    ContributorAuthor

    同じ事象を PR #2247 の作業中に確認した。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions