SSSS RESEARCH

Papers

LMS/VLMを共通評価器として使い、評価結果をDBへ蓄積し、MLによる改善へ接続できるか。

papers25 papers · JSON + 1 paper 1 page
loopIntent → Method Selection → Generate → Evaluate → Select → Next Generation
Contents

Papers25 papers

01

PAPER 01-09

  1. P01VeMo: Zero-Shot Text-to-Motion Evaluation using Video Language Models
  2. P02EvalCrafter: Benchmarking and Evaluating Large Video Generation Models
  3. P03VideoScore: Building Automatic Metrics to Simulate Fine-grained Human Feedback for Video Generation
  4. P04VisualPrompter
  5. P053D Human Animation Quality Assessment: Subjective and Objective Evaluation
  6. P06DreamFusion: Text-to-3D using 2D Diffusion
  7. P07Point-E: A System for Generating 3D Point Clouds from Textual Descriptions
  8. P08Magic3D: High-Resolution Text-to-3D Content Creation
  9. P09What matters when building vision-language models? (Idefics2)

PAPER 10-18

  1. P10CLIP: Learning Transferable Visual Models From Natural Language Supervision
  2. P11Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation
  3. P12ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation
  4. P13Human Preference Score v2: A Solid Benchmark for Evaluating Human Preferences of Text-to-Image Synthesis
  5. P14Training language models to follow instructions with human feedback (InstructGPT / RLHF)
  6. P15Direct Preference Optimization: Your Language Model is Secretly a Reward Model
  7. P16Active Learning for Large Language Model-based Chatbots
  8. P17Model Context Protocol (MCP)
  9. P18Agent2Agent Protocol (A2A)

PAPER 19-25

  1. P19Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
  2. P20Llama 3.2: Revolutionizing edge AI and vision with open, Customizable Models
  3. P21The False Dawn: Reevaluating Performance Gains of Small Language Models
  4. P22A Watermark for Large Language Models
  5. P23VQualA 2025 Challenge on Visual Quality Comparison for Large Multimodal Models
  6. P24UniAPO: Unified Multimodal Automated Prompt Optimization
  7. P25B-CODER: Value-Based Deep Reinforcement Learning for Program Synthesis
TOP

Synthesis論文から得られた設計原則 (5 本柱)

02
  1. 01動画・画像評価は 多軸化し、軽量モデル（CLIP, PickScore, ImageReward, HPSv2）で近似可能。
  2. 02VLM は se mantic/perceptual evaluator として利用するが、CPU 制約では CLIP-small 等の軽量版を使う。
  3. 03人間の嗜好はペア ワイズ比較で効率的に収集し、Bradley-Terry や DPO で学習する。
  4. 04MCP でツール 層を標準化し、A2A でエージェント連携を標準化することでモジュール性と差し替え性を確保する。
  5. 05評価結果を生成改 善の Feedback source として扱い、構造化データとして蓄積する。
  6. 06人間フィードバッ クは有限・高価なので、アクティブラーニングで高情報量サンプルを選び、コストを抑える。
  7. 07SLM（Phi- 3, Llama 3.2 等）を使い、CPU 16GB 内で回転ループを回し続ける。
  8. 08蓄積履歴から M L で ranking、prediction、repair strategy を改善する。
PAPER 01

VeMo: Zero-Shot Text-to-Motion Evaluation using Video Language ModelsText-to-motion と生成動画の意味一致を VLM で評価

ICML 2026 / 2026 02
01Summary

Text-to-motion と生成動画の意味的一致を Video Language Model で評価する研究。Animation Intent → Render → VLM 評価の主要参考。

Relevance to theme

評価 Ontology 設計、VLM 評価器の構成の参考。

evaluationvlm
EvalCrafter: Benchmarking and Evaluating Large Vid
PAPER 02

EvalCrafter: Benchmarking and Evaluating Large Video Generation Models動画生成モデルを多軸で評価するベンチマーク

CVPR 2024 / 2024 03
01Summary

Visual Quality、Motion、Text-Video Alignment、Temporal Consistency など複数軸で動画生成を評価する。評価 Ontology 設計の主要参考。

Relevance to theme

多軸評価軸の設計（semantic / motion / temporal / composition）。

evaluationbenchmark
VeMo: Zero-Shot Text-to-Motion Evaluation using Vi VideoScore: Building Automatic Metrics to Simulate
PAPER 03

VideoScore: Building Automatic Metrics to Simulate Fine-grained Human Feedback for Video Generation細粒度な人間評価を自動評価へ変換

EMNLP 2024 / 2024 04
01Summary

細粒度な人間評価を自動評価へ変換する研究。評価器を生成改善への Feedback source として扱う設計に対応。

Relevance to theme

VLM 評価を生成改善のフィードバックへ接続する設計の根拠。

evaluationfeedback
EvalCrafter: Benchmarking and Evaluating Large Vid VisualPrompter
PAPER 04

VisualPrompter視覚的評価から不足概念を発見・プロンプト改善へ接続

ICLR 2026 / 2026 05
01Summary

視覚的評価から不足概念を発見し、プロンプト改善へ接続する方向の研究。VLM 出力を failure / repair instruction として保存する設計に対応。

Relevance to theme

failure 記述 → repair instruction の変換設計。

evaluationprompt-improvement
VideoScore: Building Automatic Metrics to Simulate 3D Human Animation Quality Assessment: Subjective
PAPER 05

3D Human Animation Quality Assessment: Subjective and Objective Evaluation3D アニメーションの主観・客観評価と品質予測

IEEE TVCG 2026 / 2026 06
01Summary

3D アニメーションの主観・客観評価と品質予測を扱う。VLM、Python 測定、人間検証を分離する設計の参考。

Relevance to theme

3D 生成物評価の主観・客観・自動測定の分離設計。

evaluation3dquality-assessment
VisualPrompter DreamFusion: Text-to-3D using 2D Diffusion
PAPER 06

DreamFusion: Text-to-3D using 2D DiffusionScore Distillation Sampling でテキストから 3D 造型を最適化

ICCV 2023 / 2023 07
01Summary

Text-to-3D の金字塔。Score Distillation Sampling でテキストから 3D 造型を最適化。テーマ 2 の「テキスト → bpy」生成の先例。

Relevance to theme

テキスト → 3D 生成パイプラインの先例。

3dgeneration
3D Human Animation Quality Assessment: Subjective Point-E: A System for Generating 3D Point Clouds f
PAPER 07

Point-E: A System for Generating 3D Point Clouds from Textual DescriptionsText-to-3D の高速生成パイプライン

CVPR 2023 / 2023 08
01Summary

Text-to-3D の高速生成パイプライン。生成→評価ループの高速化の先例。

Relevance to theme

生成→評価ループの高速化先例。

3dgenerationfast
DreamFusion: Text-to-3D using 2D Diffusion Magic3D: High-Resolution Text-to-3D Content Creati
PAPER 08

Magic3D: High-Resolution Text-to-3D Content Creation多段階生成→upscale で高解像度化

CVPR 2024 / 2024 09
01Summary

Text-to-3D の高解像度化。多段階生成→upscale の設計。

Relevance to theme

多段階生成設計の参考。

3dgenerationhigh-resolution
Point-E: A System for Generating 3D Point Clouds f What matters when building vision-language models?
PAPER 09

What matters when building vision-language models? (Idefics2)VLM 設計の決定要因を実験的に明らかに

arXiv 2024 / 2024 10
01Summary

VLM 設計の決定要因を実験的に明らかに。評価器選び（サイズ・データ）の指針。Idefics2 は 8B で大規模モデルに匹敵。

Relevance to theme

評価器（ローカル VLM）のサイズ・選択指針。

vlmfoundation
Magic3D: High-Resolution Text-to-3D Content Creati CLIP: Learning Transferable Visual Models From Nat
PAPER 10

CLIP: Learning Transferable Visual Models From Natural Language Supervision画像とテキストを共通空間に埋め込むゼロショット評価の基盤

ICML 2021 / 2021 11
01Summary

画像とテキストを共通の埋め込み空間にマッピングし、ゼロショットで分類・検索・評価が可能。CPU でも動作する軽量版（ViT-B/32, RN50 など）が広く利用可能。

Relevance to theme

CPU 16GB 制約下での軽量自動評価器の基盤。テーマ適合度・類似度計算に活用。

vlmevaluationcpu-friendly
What matters when building vision-language models? Pick-a-Pic: An Open Dataset of User Preferences fo
PAPER 11

Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generationテキスト画像生成のための大規模嗜好データセット

NeurIPS 2023 / 2023 12
01Summary

Text-to-image モデルの出力に対する人間の偏好データセット。PickScore はこのデータで学習された軽量な画像評価モデル。

Relevance to theme

人間嗜好を予測する軽量スコアリングモデルの先例。相対評価データの重要性。

preference-learningevaluationimage-generation
CLIP: Learning Transferable Visual Models From Nat ImageReward: Learning and Evaluating Human Prefere
PAPER 12

ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation人間の嗜好を学習したテキスト画像評価モデル

NeurIPS 2023 / 2023 13
01Summary

Text-to-image 生成物に対する人間の詳細な嗜好を学習した報酬モデル。人間フィードバックを自動評価に変換する設計の参考。

Relevance to theme

自動評価器が人間の嗜好をどう近似するかの参考。

preference-learningevaluationimage-generation
Pick-a-Pic: An Open Dataset of User Preferences fo Human Preference Score v2: A Solid Benchmark for E
PAPER 13

Human Preference Score v2: A Solid Benchmark for Evaluating Human Preferences of Text-to-Image Synthesisテキスト画像生成の人間嗜好ベンチマーク

arXiv 2023 / 2023 14
01Summary

HPSv2 は text-to-image モデルの人間嗜好を予測するためのベンチマークとスコアリングモデル。

Relevance to theme

自動評価器の信頼性確認と、人間嗜好予測の設計参考。

preference-learningevaluationbenchmark
ImageReward: Learning and Evaluating Human Prefere Training language models to follow instructions wi
PAPER 14

Training language models to follow instructions with human feedback (InstructGPT / RLHF)人間フィードバックからの強化学習による指示追従

NeurIPS 2022 / 2022 15
01Summary

人間の偏好データを使って報酬モデルを学習し、PPO で言語モデルを最適化。人間の意図をモデル化する基本フレームワーク。

Relevance to theme

インテント推定 → 報酬モデル → 生成改善の流れの理論基盤。

preference-learningrlhffeedback
Human Preference Score v2: A Solid Benchmark for E Direct Preference Optimization: Your Language Mode
PAPER 15

Direct Preference Optimization: Your Language Model is Secretly a Reward Model報酬モデルなしで嗜好データから直接最適化

NeurIPS 2024 / 2024 16
01Summary

RLHF の報酬モデル学習を省略し、ペアワイズ嗜好データから直接言語モデルを最適化する DPO。データ効率が良い。

Relevance to theme

少ない人間嗜好データからの学習手法。回転ループ内での効率的な改善に活用可能。

preference-learningdpoefficiency
Training language models to follow instructions wi Active Learning for Large Language Model-based Cha
PAPER 16

Active Learning for Large Language Model-based ChatbotsLLM チャットボットのためのアクティブラーニング

EMNLP 2023 / 2023 17
01Summary

人間アノテーションコストを抑えつつ、効率的に学習データを選ぶアクティブラーニング手法。不確実性サンプリングなど。

Relevance to theme

人間評価データ取得コストを抑え、高情報量サンプルを選ぶ戦略。

active-learningcosthuman-feedback
Direct Preference Optimization: Your Language Mode Model Context Protocol (MCP)
PAPER 17

Model Context Protocol (MCP)LLM と外部ツール・データソースを標準接続するプロトコル

Anthropic Technical Specification / 2024 18
01Summary

Anthropic 提唱のオープンプロトコル。LLM アプリケーションが外部ツール、データソース、リソースに安全に接続するための標準。server/client モデル。

Relevance to theme

本プロジェクトのツール層（Blender, DB, Evaluator）を標準化する基盤。

mcpagentprotocol
Active Learning for Large Language Model-based Cha Agent2Agent Protocol (A2A)
PAPER 18

Agent2Agent Protocol (A2A)エージェント間の相互運用プロトコル

Google Technical Specification / 2025 19
01Summary

Google 提唱のエージェント間通信プロトコル。異なるフレームワーク・プラットフォームで動作するエージェントが協調できる標準。

Relevance to theme

Generator / Evaluator / Intent Estimator などの専門エージェント連携の基盤。

a2aagentprotocol
Model Context Protocol (MCP) Phi-3 Technical Report: A Highly Capable Language
PAPER 19

Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone小規模・高品質な言語モデル

arXiv 2024 / 2024 20
01Summary

Microsoft の Phi-3 シリーズ。3.8B パラメータで大規模モデルに匹敵する性能。量子化により CPU でも実用的な推論が可能。

Relevance to theme

CPU 16GB 制約下での軽量 LLM 選定の指針。

slmlocal-modelefficiency
Agent2Agent Protocol (A2A) Llama 3.2: Revolutionizing edge AI and vision with
PAPER 20

Llama 3.2: Revolutionizing edge AI and vision with open, Customizable Modelsエッジデバイス向け軽量マルチモーダルモデル

Meta Technical Report / 2024 21
01Summary

Meta の Llama 3.2。1B / 3B のテキストモデルと、11B / 90B のビジョンモデル。軽量版は CPU/エッジで動作可能。

Relevance to theme

ローカル CPU で動かせる LLM / VLM の選択肢。

slmvlmlocal-model
Phi-3 Technical Report: A Highly Capable Language The False Dawn: Reevaluating Performance Gains of
PAPER 21

The False Dawn: Reevaluating Performance Gains of Small Language Models小規模言語モデルの実用上の限界と可能性

arXiv 2024 / 2024 22
01Summary

SLM の性能とコストのトレードオフを実験的に検証。タスク難易度によっては小モデルで十分、というケースと限界を示す。

Relevance to theme

CPU 16GB 制約下でどのタスクを SLM に任せ、どこを人間に残すべきかの指針。

slmcostefficiency
Llama 3.2: Revolutionizing edge AI and vision with A Watermark for Large Language Models
PAPER 22

A Watermark for Large Language ModelsLLM 出力の追跡可能な透かし

ICML 2023 / 2023 23
01Summary

LLM 生成テキストに透かしを埋め込み、出典追跡や品質管理を行う手法。生成物の信頼性・再現性管理の参考。

Relevance to theme

回転ループで生成されたプロンプト・bpy コード・評価の出典管理・信頼性担保。

trustprovenance
The False Dawn: Reevaluating Performance Gains of To Contents
PAPER 23

VQualA 2025 Challenge on Visual Quality Comparison for Large Multimodal Modelsマルチモーダルモデルによる視覚品質比較・ペアワイズ評価

arXiv 2025 / 2025 24
01Summary

LMM に単画像・画像ペア・複数画像の視覚品質比較を行わせ、2AFC や MCQ で評価するチャレンジ。候補 A/B の比較、選好、理由、信頼度を評価ループへ取り込む際の重要な参考。

Relevance to theme

VLM 評価を単一スコアだけでなく、pairwise preference と confidence を含む評価器として設計する。

vlmevaluationpairwiseconfidence
A Watermark for Large Language ModelsUniAPO: Unified Multimodal Automated Prompt Optimization
PAPER 24

UniAPO: Unified Multimodal Automated Prompt Optimizationマルチモーダル出力を評価し、履歴とフィードバックからプロンプトを自動改善

arXiv 2025 / 2025 25
01Summary

マルチモーダルなタスクに対して、生成・評価・フィードバック・プロンプト改変を閉ループ化する研究。短期・長期メモリを使い、過去の試行を次のプロンプト改善へ利用する。

Relevance to theme

Prompt → Generate → Evaluate → Feedback → Mutation → Prompt の履歴型最適化を研究ループへ導入する。

prompt-optimizationmultimodalfeedbackmemory
VQualA 2025B-CODER: Value-Based Deep Reinforcement Learning for Program Synthesis
PAPER 25

B-CODER: Value-Based Deep Reinforcement Learning for Program Synthesisコードを実行可能な候補として評価し、価値モデルで探索する

ICLR 2024 / 2024 26
01Summary

プログラム合成において、生成コードを実行・検証可能な候補として扱い、過去のプログラム履歴から Value Model を学習して探索を改善する。bpy コードを genome として扱う研究設計に直結する。

Relevance to theme

Code → Execute / Render → Verifiable Reward → Value Model → Selection という探索ループの根拠。

program-synthesisreinforcement-learningcode-as-genomeselection
UniAPOTo Contents