自動実験哲学（Automated Experimental Philosophy）

プロジェクト概要

本プロジェクトは、実験哲学の研究計画をAIによって生成・評価し、その後のオンライン実験の実施までを支援するための基盤です。プロジェクトは、次の二つの段階から構成されています。

第1段階：実験デザインの生成・評価【完了】

OpenRouter APIを通じて、以下の5つの大規模言語モデルを利用します。

• Anthropic Claude Opus 4.6
• OpenAI GPT-5.2 Pro
• Google Gemini 3.1 Pro Preview
• DeepSeek V3.2
• xAI Grok 4

各モデルに実験哲学の研究デザインを生成させ、11項目・100点満点の評価基準に基づいて相互評価を行いました。その後、高得点のデザインを再評価し、最終候補を選出しました。

この段階はすでに完了しています。最終的に選ばれた最高得点の研究デザインは、再評価の平均 91.9 / 100点 を獲得しました。詳細は results/top1_design.md に保存されています。

第2段階：選出デザインの文献レビュー・検証【完了、書誌対照の軽微な残作業あり】

最高得点の実験デザインを直ちに実施するのではなく、質問票作成とデータ収集に先立って、対象となる哲学的論点・既存の実験哲学研究・利用可能な測定方法を文献レビューで検証しました。レビューでは、元の提案が道徳的変化、心理的連続性、刑罰の寛大さに関する先行研究と大きく重なることが確認されました。そのため、質問票の開発へ直行するのではなく、大幅な、証拠に基づく改善を行った上で進める必要があります。

将来の発表可能な貢献としては、道徳的性格、自伝的記憶、目標・プロジェクトに関する連続性が、明確に定義された遡及的な非難または応報の判断に及ぼす影響を、構成概念の妥当性を確認した上で比較することが考えられます。このレビューは、人格同一性に関する形而上学的理論の真偽を検証するものではありません。

第3段階：実験デザインの実施【基礎フレームワークのみ完成】

選出された研究デザインをもとに、次の処理を行うための基礎コードを src/downstream/ に作成しました。

1. 研究デザインからオンライン質問票の草案を生成する
2. 研究者が質問票を確認・修正する
3. QualtricsやProlificなどの調査プラットフォームへ出力する
4. 確定した質問票からAIによる実験効果予測を生成・凍結する
5. 実際の参加者を募集し、回収した回答データをCSVなどから読み込む
6. 事前登録済みの人間参加者分析を実行し、観測結果と凍結済みAI予測を比較する
7. 分析結果から論文草稿を生成する

AI予測層は、実際の募集前に材料を検証し、予測を事前に固定するための補助工程です。人間の哲学的判断に関する証拠をAIシミュレーションで置き換えるものではありません。

ただし、第3段階はまだ実際には実行されていません。現在のコードは、質問票生成、データ読み込み、基本的な統計分析、論文草稿生成のためのローカルな基礎フレームワークです。実際の倫理審査、質問票の最終確認、AI予測の生成・凍結、調査プラットフォームとの接続、参加者の募集、データ収集は今後の作業です。

demo/auto_xphil_demo.html は、プロジェクト全体の将来的な完成イメージを示す展示用ページです。実際のAPI、調査プラットフォーム、データベースには接続していません。

現在の状態

• 実験デザインの生成：完了
• AIによるデザイン評価：完了
• 最高得点デザインの選出：完了
• 選出デザインの文献レビュー・検証：完了（20件中17件を確認済み。3件の軽微な書誌情報の整合は残作業）
• 質問票生成の基礎コード：完成（未運用）
• 確定質問票からのAI予測・凍結、および人間結果との比較：未実装
• 調査プラットフォームとの接続：未実装
• 実際の参加者募集・データ収集：未実施
• 統計分析パイプライン：基礎部分のみ完成
• 論文自動生成：基礎部分のみ完成

詳細な状態は docs/project_status_ja.md、処理の全体像は docs/architecture_ja.md を参照してください。examples/sample_responses.csv はローカル動作確認用の合成データです。

---

Automated Experimental Philosophy

An OpenRouter-based pipeline for generating, evaluating, and ranking experimental-philosophy research designs.

Research status: AI-assisted design development and evidence review are complete; no human-participant data have been collected. The historical top-ranked design is undergoing substantial, evidence-informed refinement before questionnaire development. See the English project status page.

Pipeline

1. Five models generate ten designs each in two rounds.
2. All generated designs are evaluated by the same five models using an 11-criterion, 100-point rubric.
3. The top ten designs are re-evaluated by all five models.
4. The final ranking selects the highest-scoring design.

Literature Review Stage

The selected design has completed a focused, independently audited literature-review stage. The review identified substantial overlap between the original proposal and prior work on moral change, psychological connectedness, and penal leniency. It therefore concludes that the original design should proceed only after substantial redesign, rather than move directly to questionnaire development.

The potentially publishable contribution is a construct-validated comparison of moral-character, autobiographical-memory, and goals/projects connectedness on a clearly defined retrospective blame or desert outcome. The review does not claim to test the truth of a metaphysical theory of personal identity.

• Literature review
• Independent audit and duplication assessment
• Revised publication-oriented design specification
• Search protocol
• Evidence table
• Source-verification table

The audit verified 17 of 20 records and identified three minor bibliographic corrections still to be reconciled. No source was found to be fabricated or materially incorrect. The review is a focused, design-oriented evidence synthesis, not a systematic review or meta-analysis.

Models

• Anthropic Claude Opus 4.6
• OpenAI GPT-5.2 Pro
• Google Gemini 3.1 Pro Preview
• DeepSeek V3.2
• xAI Grok 4

Repository layout

• src/xphi_pipeline.py — the complete generation, evaluation, finalist-selection, and re-evaluation pipeline
• results/pipeline_summary__20260413T081740.csv — scores for all generated designs
• results/pipeline_detail__20260413T081740.csv — all designs, full text, scores, and rationales
• results/finalist_summary__20260413T081740.csv — second-round scores for the finalists
• results/finalist_detail__20260413T081740.csv — finalist texts and detailed evaluator rationales
• results/top1_design.md — the highest-scoring final design
• results/pipeline_state.json — completion metadata for the recorded run
• requirements.txt — Python dependencies
• CITATION.cff — citation metadata for this repository
• LICENSE — MIT license
• docs/project_status.md — English research-status and interpretation boundaries
• docs/ai_prediction_layer.md — protocol and audit requirements for the planned AI forecast layer
• docs/architecture_ja.md — システム構成図
• docs/project_status_ja.md — プロジェクトの実装状態と未実装項目
• examples/sample_responses.csv — ローカル分析用の合成回答データ
• tests/test_downstream.py — downstream機能の自動テスト

The original checkpoints, project brief, first-round notes, and ZIP archives are kept separately in the sibling Automated_Experimental_Philosophy_archive directory. They are not needed for normal use or for understanding the final results.

Planned downstream workflow

The current generation and evaluation pipeline ends with a selected research design. Before a questionnaire is drafted or a study is run, that design should undergo a literature review to establish the relevant philosophical debate, empirical gap, novelty, and appropriate measures. The separate src/downstream/ framework provides the next-stage foundation:

1. Review the selected design against the relevant philosophical and empirical literature, then revise it if needed.
2. Convert the reviewed design into a questionnaire specification.
3. Review and approve the questionnaire manually.
4. Export the specification to a survey-platform adapter.
5. Generate and freeze AI-based predictions from the confirmed questionnaire before recruitment.
6. Recruit participants and import the collected response CSV.
7. Run the preregistered human-participant analysis and compare observed effects with the frozen AI forecasts.
8. Generate a manuscript draft.

The downstream framework is deliberately local and platform-neutral. It does not submit studies or collect real participants yet. The planned AI prediction layer is a prospective material-screening and forecasting step; it does not replace human-participant evidence for claims about human judgments.

Run the local downstream workflow with:

python src/run_downstream_demo.py

This creates a questionnaire draft for manual review. After an approved survey has produced a CSV with condition and primary_outcome columns, analyze it with:

python src/run_downstream_demo.py --responses path/to/responses.csv

For a local test using synthetic data:

python src/run_downstream_demo.py --responses examples/sample_responses.csv
python -m unittest discover -s tests

Running

Set OPENROUTER_API_KEY in the environment before running the pipeline. Never commit API keys or other secrets.

The original run completed at timestamp 20260413T081740. The highest re-evaluation average was 91.9/100.