deploy v2 study (40-runs baselines) at /v2/: dual-study backend + static/v2 rater UI; v1 study untouched

static/v2/admin.html

@@ -111,7 +111,6 @@ const ADMIN_PW_KEY = "user_study_admin_pw_v1";
 const DIMENSIONS = [
   { key: "instruction_following", label: "Instruction following",
     questions: [
-      ["controllability",       "Controllability"],
       ["prompt_adherence",      "Prompt adherence"],
       ["no_irrelevant_frames",  "No irrelevant frames"],
     ] },

static/v2/index.html

@@ -440,7 +440,7 @@
 })();
 
 /* =========================================================================
- *  Rubric — 4 dimensions × 13 sub-questions
+ *  Rubric — 3 dimensions × 8 sub-questions
  * ========================================================================= */
 const DIMENSIONS = [
   {
@@ -448,9 +448,6 @@ const DIMENSIONS = [
     name: "Instruction following",
     hint: "Re-read the prompt — especially the red-highlighted phrases — before scoring.",
     questions: [
-      { key: "controllability",
-        name: "Controllability",
-        desc: "Does the video respond to control signals (BGM, subtitle etc)?" },
       { key: "prompt_adherence",
         name: "Prompt adherence",
         desc: "Does the content match what the prompt described (subjects, actions, setting, time, and story arc)? Focus primarily on the prompt's text content." },
@@ -593,7 +590,7 @@ const STRINGS = {
     "instructions_intro": "For each case, watch all videos side by side, then rate <strong>each video independently</strong> on every sub-question. The rating table groups sub-questions by dimension; videos appear as columns.",
     "scale_legend": "Likert scale (1 = worst, 5 = best)",
     "dimensions_header": "Dimensions",
-    "dim_inst_short": "<strong>Instruction following</strong> — controllability, prompt adherence, no irrelevant frames.",
+    "dim_inst_short": "<strong>Instruction following</strong> — prompt adherence, no irrelevant frames.",
     "dim_temporal_short": "<strong>Temporal consistency</strong> — person / object / environment stability (incl. anti-flicker).",
     "dim_motion_short": "<strong>Realism</strong> — realism (visual + physical), motion logic, camera motion.",
     "tips_header": "Tips",
@@ -720,7 +717,7 @@ const STRINGS = {
     "instructions_intro": "请并排观看所有视频,然后<strong>独立</strong>对每个视频的每个子问题打分。评分表按维度分组;视频以列方式呈现。",
     "scale_legend": "李克特量表（1 = 最差, 5 = 最佳)",
     "dimensions_header": "评估维度",
-    "dim_inst_short": "<strong>指令遵循</strong> — 可控性、提示一致性、无无关画面。",
+    "dim_inst_short": "<strong>指令遵循</strong> — 提示一致性、无无关画面。",
     "dim_temporal_short": "<strong>时间一致性</strong> — 人物 / 物体 / 环境稳定性(含防闪烁)。",
     "dim_motion_short": "<strong>真实感</strong> — 真实感、物理规律、运动逻辑、相机运动。",
     "tips_header": "操作提示",
@@ -847,7 +844,7 @@ const STRINGS = {
     "instructions_intro": "За всеки случай гледайте всички видеа едно до друго и оценявайте <strong>всяко видео самостоятелно</strong> по всеки под-въпрос. Таблицата групира под-въпросите по измерения; видеата са колоните.",
     "scale_legend": "Ликертова скала (1 = най-лошо, 5 = най-добро)",
     "dimensions_header": "Измерения",
-    "dim_inst_short": "<strong>Следване на инструкции</strong> — контролируемост, съответствие с подканата, без неуместни кадри.",
+    "dim_inst_short": "<strong>Следване на инструкции</strong> — съответствие с подканата, без неуместни кадри.",
     "dim_temporal_short": "<strong>Времева съгласуваност</strong> — стабилност на хора / обекти / среда (вкл. анти-трептене).",
     "dim_motion_short": "<strong>Реализъм</strong> — реализъм, физика, логика на движението, движение на камерата.",
     "tips_header": "Съвети",
@@ -921,8 +918,6 @@ const RUBRIC_I18N = {
     instruction_following: { name: "指令遵循", hint: "请先看清提示词,尤其是标红的部分,再作答。" },
     temporal_consistency:  { name: "时间一致性", hint: "请关注人物、物品和环境在帧间的变化。" },
     motion_realism:        { name: "真实感", hint: "请留意视频中不和谐或有明显问题的地方。" },
-    controllability:       { name: "可控性",
-      desc: "视频是否响应控制信号(BGM、字幕等)?" },
     prompt_adherence:      { name: "提示一致性",
       desc: "内容是否与提示的描述一致(主体、动作、场景、时间、故事走向)?以提示词的文本内容为主要依据。" },
     no_irrelevant_frames:  { name: "无无关画面",
@@ -949,8 +944,6 @@ const RUBRIC_I18N = {
       hint: "Съсредоточете се върху промените на хора, предмети и среда между кадрите." },
     motion_realism:        { name: "Реализъм",
       hint: "Забележете очевидни проблеми или неестествени моменти във видеото." },
-    controllability:       { name: "Контролируемост",
-      desc: "Реагира ли видеото на контролни сигнали (BGM, субтитри и т.н.)?" },
     prompt_adherence:      { name: "Съответствие с подканата",
       desc: "Съответства ли съдържанието на описаното в подканата (обекти, действия, обстановка, време и развитие на историята)? Фокусирайте се основно върху текстовото съдържание на подканата." },
     no_irrelevant_frames:  { name: "Без неуместни кадри",

static/v2/mobile.html

@@ -414,8 +414,6 @@
 const DIMENSIONS = [
   { key: "instruction_following", name: "Instruction following",
     hint: "Re-read the prompt — especially the red-highlighted phrases — before scoring.", questions: [
-    { key: "controllability", name: "Controllability",
-      desc: "Does the video respond to control signals (BGM, subtitle etc)?" },
     { key: "prompt_adherence", name: "Prompt adherence",
       desc: "Does the content match what the prompt described (subjects, actions, setting, time, and story arc)? Focus primarily on the prompt's text content." },
     { key: "no_irrelevant_frames", name: "No irrelevant frames",
@@ -472,7 +470,7 @@ const STRINGS = {
     reg_continue:"Continue →",
     help_title:"How to rate",
     help_dismiss:"Got it",
-    help_body_html:"<p>For each case watch all videos via the <b>A / B / C</b> tabs at the top, then rate each one on every sub-question below. Slot order is shuffled per rater but stable within a case.</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>Likert (1 = worst, 5 = best)</h4><p>1 Very poor · 2 Poor · 3 Fair · 4 Good · 5 Excellent</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>3 dimensions × 9 sub-questions</h4><ul style='padding-left:18px;margin:6px 0'><li><b>Instruction following</b> — re-read the prompt, especially the red-highlighted phrases.</li><li><b>Temporal consistency</b> — focus on how characters, objects, and environment change across frames.</li><li><b>Realism</b> — notice obvious out-of-place / unnatural moments.</li></ul><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>Tips</h4><ul style='padding-left:18px;margin:6px 0'><li><b>Click 💾 to save progress at any time.</b> Click <b>Submit study</b> once everything is rated — otherwise your scores don't count.</li><li>For BGM / subtitle / sound questions, unmute the video first.</li><li>Score motion logic / camera low if the video has little to no movement.</li></ul>",
+    help_body_html:"<p>For each case watch all videos via the <b>A / B / C</b> tabs at the top, then rate each one on every sub-question below. Slot order is shuffled per rater but stable within a case.</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>Likert (1 = worst, 5 = best)</h4><p>1 Very poor · 2 Poor · 3 Fair · 4 Good · 5 Excellent</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>3 dimensions × 8 sub-questions</h4><ul style='padding-left:18px;margin:6px 0'><li><b>Instruction following</b> — re-read the prompt, especially the red-highlighted phrases.</li><li><b>Temporal consistency</b> — focus on how characters, objects, and environment change across frames.</li><li><b>Realism</b> — notice obvious out-of-place / unnatural moments.</li></ul><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>Tips</h4><ul style='padding-left:18px;margin:6px 0'><li><b>Click 💾 to save progress at any time.</b> Click <b>Submit study</b> once everything is rated — otherwise your scores don't count.</li><li>For BGM / subtitle / sound questions, unmute the video first.</li><li>Score motion logic / camera low if the video has little to no movement.</li></ul>",
     reg_foot:"Submissions are written to the <code>dehezhang2/Frameworker_User_Study</code> dataset on Hugging Face.",
     reg_err_name:"Please enter your name.",
     reg_err_email:"Please enter a valid email address.",
@@ -514,7 +512,7 @@ const STRINGS = {
     reg_continue:"继续 →",
     help_title:"评分说明",
     help_dismiss:"知道了",
-    help_body_html:"<p>每个案例,先在顶部的 <b>A / B / C</b> 视频标签切换观看每个视频,然后在下方对每个视频的每个子问题打分。视频顺序按评分人随机分配,但同一案例内保持一致。</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>李克特量表(1 = 最差,5 = 最佳)</h4><p>1 很差 · 2 差 · 3 一般 · 4 好 · 5 极佳</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>3 个维度 × 9 个子问题</h4><ul style='padding-left:18px;margin:6px 0'><li><b>指令遵循</b> — 请先看清提示词,尤其是标红的部分。</li><li><b>时间一致性</b> — 关注人物、物品和环境在帧间的变化。</li><li><b>真实感</b> — 留意视频中不和谐或有明显问题的地方。</li></ul><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>操作提示</h4><ul style='padding-left:18px;margin:6px 0'><li><b>随时点击 💾 保存进度;</b>全部完成后必须点击「提交研究」,否则评分不会被计入。</li><li>BGM / 字幕 / 配乐 等问题请先打开视频声音聆听。</li><li>运动逻辑 / 相机运动 若几乎没有运动,请打低分。</li></ul>",
+    help_body_html:"<p>每个案例,先在顶部的 <b>A / B / C</b> 视频标签切换观看每个视频,然后在下方对每个视频的每个子问题打分。视频顺序按评分人随机分配,但同一案例内保持一致。</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>李克特量表(1 = 最差,5 = 最佳)</h4><p>1 很差 · 2 差 · 3 一般 · 4 好 · 5 极佳</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>3 个维度 × 8 个子问题</h4><ul style='padding-left:18px;margin:6px 0'><li><b>指令遵循</b> — 请先看清提示词,尤其是标红的部分。</li><li><b>时间一致性</b> — 关注人物、物品和环境在帧间的变化。</li><li><b>真实感</b> — 留意视频中不和谐或有明显问题的地方。</li></ul><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>操作提示</h4><ul style='padding-left:18px;margin:6px 0'><li><b>随时点击 💾 保存进度;</b>全部完成后必须点击「提交研究」,否则评分不会被计入。</li><li>BGM / 字幕 / 配乐 等问题请先打开视频声音聆听。</li><li>运动逻辑 / 相机运动 若几乎没有运动,请打低分。</li></ul>",
     reg_foot:"提交将写入 Hugging Face 上的 <code>dehezhang2/Frameworker_User_Study</code> 数据集。",
     reg_err_name:"请输入您的姓名。",
     reg_err_email:"请输入有效的邮箱地址。",
@@ -556,7 +554,7 @@ const STRINGS = {
     reg_continue:"Продължи →",
     help_title:"Как се оценява",
     help_dismiss:"Разбрах",
-    help_body_html:"<p>За всеки случай гледайте всички видеа чрез табовете <b>A / B / C</b> отгоре, след това оценете всяко по всеки под-въпрос отдолу.</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>Ликерт (1 = най-лошо, 5 = най-добро)</h4><p>1 Много слабо · 2 Слабо · 3 Средно · 4 Добро · 5 Отлично</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>3 измерения × 9 под-въпроса</h4><ul style='padding-left:18px;margin:6px 0'><li><b>Следване на инструкции</b> — прочетете подканата, особено маркираните в червено фрази.</li><li><b>Времева съгласуваност</b> — съсредоточете се върху промените на хора, обекти и среда между кадрите.</li><li><b>Реализъм</b> — забележете неестествени моменти.</li></ul><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>Съвети</h4><ul style='padding-left:18px;margin:6px 0'><li><b>Щракнете 💾, за да запазите прогрес по всяко време;</b> щракнете <b>Изпрати проучването</b> накрая — иначе оценките не се броят.</li><li>За въпроси относно BGM / субтитри / звук включете звука първо.</li><li>Дайте нисък резултат за логика на движението / камера, ако има малко движение.</li></ul>",
+    help_body_html:"<p>За всеки случай гледайте всички видеа чрез табовете <b>A / B / C</b> отгоре, след това оценете всяко по всеки под-въпрос отдолу.</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>Ликерт (1 = най-лошо, 5 = най-добро)</h4><p>1 Много слабо · 2 Слабо · 3 Средно · 4 Добро · 5 Отлично</p><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>3 измерения × 8 под-въпроса</h4><ul style='padding-left:18px;margin:6px 0'><li><b>Следване на инструкции</b> — прочетете подканата, особено маркираните в червено фрази.</li><li><b>Времева съгласуваност</b> — съсредоточете се върху промените на хора, обекти и среда между кадрите.</li><li><b>Реализъм</b> — забележете неестествени моменти.</li></ul><h4 style='color:var(--accent);margin-top:14px;font-size:13px'>Съвети</h4><ul style='padding-left:18px;margin:6px 0'><li><b>Щракнете 💾, за да запазите прогрес по всяко време;</b> щракнете <b>Изпрати проучването</b> накрая — иначе оценките не се броят.</li><li>За въпроси относно BGM / субтитри / звук включете звука първо.</li><li>Дайте нисък резултат за логика на движението / камера, ако има малко движение.</li></ul>",
     reg_foot:"Изпращанията се записват в <code>dehezhang2/Frameworker_User_Study</code> на Hugging Face.",
     reg_err_name:"Моля, въведете името си.",
     reg_err_email:"Моля, въведете валиден имейл адрес.",
@@ -585,7 +583,6 @@ const RUBRIC_I18N = {
     instruction_following:{name:"指令遵循",hint:"请先看清提示词,尤其是标红的部分,再���答。"},
     temporal_consistency:{name:"时间一致性",hint:"请关注人物、物品和环境在帧间的变化。"},
     motion_realism:{name:"真实感",hint:"请留意视频中不和谐或有明显问题的地方。"},
-    controllability:{name:"可控性",desc:"视频是否响应控制信号(BGM、字幕等)?"},
     prompt_adherence:{name:"提示一致性",desc:"内容是否与提示的描述一致(主体、动作、场景、时间、故事走向)?以提示词的文本内容为主要依据。"},
     no_irrelevant_frames:{name:"无无关画面",desc:"视频是否仅呈现提示中要求的内容?分数越高 = 越少出现与提示无关的帧或内容。"},
     realism:{name:"静态真实感",desc:"单帧的照片级真实感或风格忠实度。若提示词指定了风格,视频应符合该风格。无诡异感或失真伪影。"},
@@ -599,7 +596,6 @@ const RUBRIC_I18N = {
     instruction_following:{name:"Следване на инструкции",hint:"Прочетете внимателно подканата — особено маркираните в червено фрази — преди да оцените."},
     temporal_consistency:{name:"Времева съгласуваност",hint:"Съсредоточете се върху промените на хора, предмети и среда между кадрите."},
     motion_realism:{name:"Реализъм",hint:"Забележете очевидни проблеми или неестествени моменти във видеото."},
-    controllability:{name:"Контролируемост",desc:"Реагира ли видеото на контролни сигнали (BGM, субтитри и т.н.)?"},
     prompt_adherence:{name:"Съответствие с подканата",desc:"Съответства ли съдържанието на описаното в подканата (обекти, действия, обстановка, време и развитие на историята)? Фокусирайте се основно върху текстовото съдържание на подканата."},
     no_irrelevant_frames:{name:"Без неуместни кадри",desc:"Остава ли видеото в рамките на подканата? По-висок = по-малко / без кадри или съдържание, които не са поискани."},
     realism:{name:"Статичен реализъм",desc:"Фотореалистичност или стилова достоверност на отделен кадър. Ако подканата задава стил, видеото трябва да следва този стил. Без странни или счупени артефакти."},

static/v2/stats.html

@@ -59,7 +59,7 @@
   </section>
 </main>
 
-<script id="data" type="application/json">{"n_raters": 1, "n_payloads": 1, "models": ["ours", "anim_director", "movieagent"], "per_question": [{"dim_label": "Instruction following", "q_label": "Controllability", "q_key": "controllability", "scores": {"ours": [], "anim_director": [], "movieagent": []}}, {"dim_label": "Instruction following", "q_label": "Prompt adherence", "q_key": "prompt_adherence", "scores": {"ours": [2], "anim_director": [], "movieagent": []}}, {"dim_label": "Instruction following", "q_label": "No irrelevant frames", "q_key": "no_irrelevant_frames", "scores": {"ours": [], "anim_director": [], "movieagent": []}}, {"dim_label": "Temporal consistency", "q_label": "Person stability", "q_key": "person_stability", "scores": {"ours": [], "anim_director": [], "movieagent": []}}, {"dim_label": "Temporal consistency", "q_label": "Object stability", "q_key": "object_stability", "scores": {"ours": [], "anim_director": [], "movieagent": [2]}}, {"dim_label": "Temporal consistency", "q_label": "Environment stability", "q_key": "environment_stability", "scores": {"ours": [], "anim_director": [3], "movieagent": []}}, {"dim_label": "Realism", "q_label": "Realism", "q_key": "realism", "scores": {"ours": [4], "anim_director": [], "movieagent": []}}, {"dim_label": "Realism", "q_label": "Motion logic", "q_key": "motion_logic", "scores": {"ours": [], "anim_director": [], "movieagent": []}}, {"dim_label": "Realism", "q_label": "Camera", "q_key": "camera", "scores": {"ours": [], "anim_director": [], "movieagent": []}}], "per_dim": [{"dim_label": "Instruction following", "scores": {"ours": [2], "anim_director": [], "movieagent": []}}, {"dim_label": "Temporal consistency", "scores": {"ours": [], "anim_director": [3], "movieagent": [2]}}, {"dim_label": "Realism", "scores": {"ours": [4], "anim_director": [], "movieagent": []}}], "generated_at_utc": "2026-07-03T13:29:31Z"}</script>
+<script id="data" type="application/json">{"n_raters": 1, "n_payloads": 1, "models": ["ours", "anim_director", "movieagent"], "per_question": [{"dim_label": "Instruction following", "q_label": "Prompt adherence", "q_key": "prompt_adherence", "scores": {"ours": [2], "anim_director": [], "movieagent": []}}, {"dim_label": "Instruction following", "q_label": "No irrelevant frames", "q_key": "no_irrelevant_frames", "scores": {"ours": [], "anim_director": [], "movieagent": []}}, {"dim_label": "Temporal consistency", "q_label": "Person stability", "q_key": "person_stability", "scores": {"ours": [], "anim_director": [], "movieagent": []}}, {"dim_label": "Temporal consistency", "q_label": "Object stability", "q_key": "object_stability", "scores": {"ours": [], "anim_director": [], "movieagent": [2]}}, {"dim_label": "Temporal consistency", "q_label": "Environment stability", "q_key": "environment_stability", "scores": {"ours": [], "anim_director": [3], "movieagent": []}}, {"dim_label": "Realism", "q_label": "Realism", "q_key": "realism", "scores": {"ours": [4], "anim_director": [], "movieagent": []}}, {"dim_label": "Realism", "q_label": "Motion logic", "q_key": "motion_logic", "scores": {"ours": [], "anim_director": [], "movieagent": []}}, {"dim_label": "Realism", "q_label": "Camera", "q_key": "camera", "scores": {"ours": [], "anim_director": [], "movieagent": []}}], "per_dim": [{"dim_label": "Instruction following", "scores": {"ours": [2], "anim_director": [], "movieagent": []}}, {"dim_label": "Temporal consistency", "scores": {"ours": [], "anim_director": [3], "movieagent": [2]}}, {"dim_label": "Realism", "scores": {"ours": [4], "anim_director": [], "movieagent": []}}], "generated_at_utc": "2026-07-03T13:48:54Z"}</script>
 <script>
 const DATA = JSON.parse(document.getElementById("data").textContent);
 const COLORS = ["#6aa9ff","#ff9f43","#28c76f","#ea5455","#b46aff"];