다음 실험의 사전등록
표기 정정 2026-10-15: 역할·운영 표현만 바꾸었고 설계·수치는 원문 그대로입니다.
고정된 비교 설계와 실행 전 남은 정의
- A는 AI 제안만, B는 같은 종류의 제안에 이유를 함께 보여 주는 조건입니다.
- 주요 결과값은 AI 제안 수용률이며, 어떤 제안과 분석 단위를 분모로 셀지는 더 정의해야 합니다.
- 두 조건의 결과 데이터는 아직 없습니다.
SUMMARY S5 · PREREGISTERED DESIGN
실행 전 설계한 두 조건
아직 측정값이 없습니다. NOT RUN을 0%나 효과 없음으로 읽지 마세요.
출처: 사전등록 · Anchor Experiment 설계
해석 주의. NOT RUN은 효과가 0이라는 뜻이 아니라 아직 측정하지 않았다는 뜻입니다. 아래 그림에는 결과 막대나 추정값이 없습니다.
고정 사전등록 원문을 읽기 전에
상태 확인일: 2026-09-18. Rationale A/B는 미실행(NOT RUN)이다. 아래 원문은 그대로 보존한다. 이 안내는 연구 설계를 소급해서 완성하는 변경 등록이 아니라, 공개된 결정과 아직 정의되지 않은 항목을 구분하는 해설이다.
원문 버전과 시점
사이트 저장소에서 확인한 최초 파일 커밋은 5671d14 (2026-09-16 02:49:30 +09:00), 마지막 변경 커밋은 68643b8 (2026-09-17 00:51:38 +09:00)이다. 이 시각은 git 기록이며 실제 최초 공개 게시 시각이나 A/B 결과를 보기 전 고정했다는 독립 증명과 같지 않다. 최초 등록·공개 시점의 추가 근거는 미확인이다.
원 저장소 보존본(2026-09-17 기준)의 SHA-256은 08009848cc8c18d3c406786858af6daa6a9face4b7ba250509ee0c670cbb6ab7이다. 원문의 “데이터를 보기 전에”는 미실행 Rationale A/B의 결과와 관련된 선언으로 읽어야 한다. 기존 시스템 평가나 사람 관찰 자료를 전혀 보지 않았다는 뜻으로 확대할 근거는 없다.
연구 질문과 용어
- RQ1: 사람이 AI 제안을 받고 직접 작성 대신 수용한 비율을 묻는다.
- RQ2: 제안에 이유가 있는 조건과 없는 조건의 수용률 차이를 묻는다.
- RQ3: 개입 전략과 이후 이해·부작용 인지의 관계를 묻는다.
Δ Understanding Score는 이해도 점수 변화, Side-effect Recognition은 부작용 인지, Custom Rule Selection은 규칙 직접 작성 선택, Cause-chain Question Hit Rate는 인과 사슬 관련 질문 적중률이라는 측정 이름이다. 이름의 번역이 점수 산식이나 타당한 척도를 확정하지는 않는다.
공개된 설계의 미정 항목
원문에 고정된 것은 연구 질문, 이유 없음/있음이라는 조건, 결과 지표의 이름, 필수 로그 종류, 시스템 통제의 기대 방향과 해석 원칙이다. 다음 실행·분석 세부사항은 공개 원문에서 확인되지 않는다. 아래 목록을 이미 정한 규칙으로 읽지 않는다.
- 목표 표본과 표본 크기 근거.
N = 24는 보고 예시이며 모집 목표가 아니다. - 참가자 또는 세션 중 무작위 배정 단위, 실제 배정 구현, 모집 방식, 제외·이탈 처리와 중단 규칙.
- 실험에 고정할 모델·프롬프트·채점기·UI 등 기구 버전, 동시에 시행되는 변경, 이유 제시 이외 두 조건에서 동일하게 유지할 항목.
- 주 결과가 원숭이손 제안 수락률인지 전체 적용 규칙 중 AI 계열 출처 비율인지, 사람·세션·제안 중 분석 단위, 같은 사람·판의 반복 선택 처리, 무응답의 분모 포함 여부.
- 이해도 변화·부작용 인지·질문 적중의 채점 방식, 측정 시점, 분모와 분석 절차, 불확실성 보고 계획.
기존 관찰의 14/20(적용 규칙 출처)과 6/9(원숭이손 제안 수락)를 이 A/B의 결과 정의로 임의 대입하지 않는다. 시행 전 필요한 결정을 별도 등록에서 명시해야 한다.
시스템 통제와 향후 사람 A/B의 차이
supported / contradicted / unknown은 각각 “기록이 뒷받침함 / 기록과 모순 / 기록만으로 판단 불가”를 뜻한다. 극성 쌍은 같은 사건을 반대 방향으로 묻는 한 쌍이다. 한쪽 실패는 이 통제 기준을 충족하지 못한 결과다. 질문 표면 의존은 가능한 해석이며 그 결과만으로 모델 내부 원인을 단정하지 않는다.
이 문서의 PCA는 원문 식으로 정의한 통제 일치율이다. 별도 영문 풀네임을 추정하지 않는다. PC/SPC 문항 수와 반복 횟수에 따른 분모는 Exp 1의 평가 조건을 따른다. 2026-09-09 코퍼스 사용은 시스템 평가 기록이며 Rationale A/B 실행을 뜻하지 않는다. 시스템 통과가 사람의 신뢰·이해도 척도 타당성까지 보증하지 않는다.
결과 예시와 선택적 파일럿
“We did not observe meaningful evidence…”는 결과 보고 문구 예시이며 현재 결과가 아니다. A/B는 아직 미실행이다. 향후 증거가 부족하거나 유의하지 않은 결과도 효과가 없다는 증명으로 바꾸지 않는다.
“Synthetic agents were used…”는 선택적 파일럿의 보고 문구 예시로 읽는다. 이 페이지에는 해당 파일럿 수행을 확인할 결과 링크가 없으며 Exp 1의 self-play 시스템 점검을 사람 A/B의 합성 파일럿 완료로 대체하지 않는다. 합성·사람 비교는 탐색 목적이다. 비교 변수, 조건 차이의 부호, 0 또는 불확실한 결과의 처리 등 “방향성 보존”을 판정할 규칙은 아직 공개되지 않았다.
향후 변경 기록 원칙
미정 항목을 결정하거나 설계를 바꾸면 이 보존본을 덮어쓰지 않고 날짜·시간대·변경 이유· 이전 버전 링크·변경 내용을 갖춘 별도 등록을 남긴다. 해당 결정 전 어떤 데이터를 보았는지도 구분해야 한다. 결과를 본 뒤 새로 정한 성공 기준을 기존 사전등록으로 부르지 않는다.
이 페이지는 데이터를 보기 전에 실험 설계를 고정해 공개하는 기록이다. 이후 결과가 어떻게 나오든 이 설계를 바꾸지 않으며 바뀌면 새 실험으로 등록한다. 게시일 기준으로 본 실험은 미실행(NOT RUN) 상태다.
Research Questions
RQ1 — Human Approval
When humans receive AI-generated intervention suggestions after failure, how often do they accept the suggestions rather than create their own?
RQ2 — Explanation Effect (Anchor Experiment)
Does providing an explanation for an AI suggestion change the probability that humans accept it?
RQ3 — Decision Quality
How are different intervention strategies associated with subsequent understanding and side-effect recognition?
Anchor Experiment 설계
Independent Variable
Rationale
A = absent (AI suggestion only)
B = present (AI suggestion + rationale)
Primary Outcome
AI suggestion acceptance rate
Secondary Outcomes
Δ Understanding Score
Side-effect Recognition
Custom Rule Selection
Cause-chain Question Hit Rate
배정
Participants
│
Random Assignment
│
┌───┴───┐
│ │
A B
│ │
No With
Reason Reason
│ │
└───┬───┘
↓
Acceptance Rate
표본이 작으면 억지로 유의성을 주장하지 않는다. 예: N = 24, exploratory result.
필수 로그
monkey_paw_offer · intervention_options · answer_scored
intervention_question · rule_applied · session_end
사전등록 통제 (advisor_answer 의미 축)
기대 방향을 실험 전에 고정해 둔 통제 문항으로 기계 채점한다. 특히 극성 쌍(PC3·PC4, SPC1·SPC2)은 반드시 함께 판정한다. 한쪽만 통과하면 모델이 기록이 아니라 질문 표면을 읽고 있다는 뜻이다.
| 통제 | 기대 | 성격 |
|---|---|---|
| PC1·PC2·PC5 | supported | 기록에 있는 사실 |
| PC3 / PC4 | contradicted / supported | 극성 쌍: 같은 사건, 반대 질문 |
| PC6·PC7·PC8 | unknown | 기록에 없는 것: 모른다고 답해야 함 |
| SPC1 / SPC2 | supported / contradicted | 합성 극성 쌍: 기록을 뒤집은 fixture |
PCA = 기대 방향과 일치한 통제 수 / 통제 문항 수
이 통제 세트는 Exp 1의 시스템 평가에서 이미 사용·검증되었다 (2026-09-09 코퍼스).
해석 원칙 (미리 고정)
- 인과 표현 금지: 랜덤 배정된 Rationale 축 외에는 전부 연관성으로 서술한다.
- 폴백은 성공으로 집계하지 않는다.
- 효과가 관찰되지 않으면 그대로 쓴다. “We did not observe meaningful evidence that rationale presentation increased acceptance in our sample.” 이것도 결과다.
Synthetic → Human (P1, 선택)
가능하다면 사람 실험 전에 LLM 플레이어로 in-silico pilot을 돌려 가설 후보를 생성한다.
Synthetic agents were used for hypothesis generation and system stress-testing, not as validated substitutes for human participants.
비교 대상은 수치의 일치가 아니라 방향성(directional regularity)의 보존이다.