2026 03 05

2026-03-05

OpenAI Harness

참고: https://openai.com/index/harness-engineering/

• 개요
  • OpenAI에서 Codex를 통해 로직, 테스트, CI, 문서, 접근성, 인터널 툴링까지 다 작성

• 방법론
  • 빈 레포에서 AGENTS.md 부터 Codex가 씀
  • Codex가 유용한 작업을 수행할 수 있도록 지원하는 것이 목표
  • 큰 목표를 작은 블락으로 breakdown
    • 에이전트가 이런 작은 블록을 만들수 있도록 돕고 (디자인/코드/리뷰/테스트 등)
    • 뭔가 망가지면, 더 열심히 하라고 얘기하는게 아니라, 어떻게 하면 에이전트가 이를 이해하고 실행할 수 있도록 도울지 검토
  • PR 검토할 수 있지만, 요구되진 않았음.

• legibility(이해도) 향상하기
  • 에이전트가 UI, log, app 메트릭까지 본인이 수집하도록 했음
    • git worktree로 app을 bootable 하도록
    • Chrome DevTools 로 DOM snapshot/screenshot/navigation
    • logs, metrics, traces를 모두 Codex에게 오픈해서 맥락 제공

• Context 관리

  • Codex에게 map을 줘라. 1000 페이지짜리 매뉴얼은 무쓸모

    • 큰 AGENTS.md 파일을 줬지만...
      • Context는 부족한 리소스이고, 너무 많은 가이드는 없는 가이드이고, 금방 썩고, verify 어려움
      • 목차 (table of contents) 처럼 진행

        AGENTS.md
        ARCHITECTURE.md
        docs/
        ├── design-docs/
        │   ├── index.md
        │   ├── core-beliefs.md
        │   └── ...
        ├── exec-plans/
        │   ├── active/
        │   ├── completed/
        │   └── tech-debt-tracker.md
        ├── generated/
        │   └── db-schema.md
        ├── product-specs/
        │   ├── index.md
        │   ├── new-user-onboarding.md
        │   └── ...
        ├── references/
        │   ├── design-system-reference-llms.txt
        │   ├── nixpacks-llms.txt
        │   ├── uv-llms.txt
        │   └── ...
        ├── DESIGN.md
        ├── FRONTEND.md
        ├── PLANS.md
        ├── PRODUCT_SENSE.md
        ├── QUALITY_SCORE.md
        ├── RELIABILITY.md
        └── SECURITY.md
        

    • 신입사원을 교육하는 것과 마찬가지로, 에이전트에게 제품 원칙/엔지니어링 표준/팀 문화 등 정보를 제공해 정렬된 결과 얻자
    • 좋은 설계는 여전히 중요하다. 헷갈리지 않도록, 일관성을 유지하도록

• 자동화 단계
  • 규칙 명시가 중요하다.
    1. utility packages << hand-rolled helpers
    2. "YOLO-style" probe x

• 결론
  • 소프트웨어의 코드일관성, 추상화, 피드백 루프 중요성은 점점 커짐
  • 에이전트가 목표 달성하도록 돕는 환경, 피드백 루프, 제어 시스템 설계에 집중