https://ohtaman.github.io/slides/Machine Learning EngineerHugo -- gohugo.ioja-JPohtamans@gmail.com (ohtaman)ohtamans@gmail.com (ohtaman)Mon, 02 Nov 2026 08:01:59 +0000https://ohtaman.github.io/slides/paper_reading/20250128/Tue, 28 Jan 2025 00:00:00 +0000ohtamans@gmail.com (ohtaman)https://ohtaman.github.io/slides/paper_reading/20250128/<h1 id="scaling-llm-test-time-compute-optimally-can-be-more-effective-than-scaling-model-parameters">Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters</h1> <ul> <li><strong>著者</strong>: Charlie Snell, Jaehoon Lee, Kelvin Xu, Aviral Kumar</li> <li><strong>機関</strong>: UC Berkeley, Google DeepMind</li> <li><strong>研究テーマ</strong>: テスト時計算の最適スケーリング</li> </ul> <hr> <h1 id="1-introduction">1. Introduction</h1> <h2 id="主題">主題</h2> <ul> <li>大規模言語モデル（LLMs）のテスト時計算を増やすことで、性能をどの程度向上できるのか？</li> <li>事前学習とテスト時計算のトレードオフはどうあるべきか？</li> </ul> <h2 id="背景">背景</h2> <ul> <li>LLMs は事前学習（Pretraining）に大量の計算リソースを要する。</li> <li>テスト時の計算量（Test-time compute）を最適化すれば、小規模モデルでも大規模モデル並みの性能を達成できる可能性がある。</li> </ul> <hr> <h1 id="本研究の貢献">本研究の貢献</h1> <ul> <li>テスト時計算のスケール方法を分析： <ol> <li>逐次修正（Sequential Revisions）: 回答を修正しながら精度を向上。</li> <li>並列探索（Parallel Sampling with Verifiers）: 多様な回答を生成し、最適なものを選択。</li> </ol> </li> <li>Compute-Optimal 戦略の提案： <ul> <li>問題の難易度ごとに推論時の計算を最適に割り当てる。</li> </ul> </li> <li>事前学習 vs テスト時計算の比較： <ul> <li>一定の条件下では、小規模モデル＋テスト時計算が大規模モデルを上回る可能性を示す。</li> </ul> </li> </ul> <hr> <p><img src="imgs/20250128/fig1.png" alt="bg contain"></p> <hr> <h1 id="2-a-unified-perspective-on-test-time-computation">2. A Unified Perspective on Test-Time Computation</h1> <ul> <li>テスト時計算の2つの主要手法 <ul> <li>提案分布の修正（Proposal Distribution Modification） <ul> <li>モデルの出力分布を変更し、逐次的に修正することで精度を向上。</li> <li>例: 逐次修正（Sequential Revisions）。</li> </ul> </li> <li>検証器（Verifier）による探索（Search with Verifiers） <ul> <li>PRM（Process Reward Model）や ORM（Outcome Reward Model）を活用し、最適な回答を選択。</li> <li>例: 並列探索（Parallel Sampling with Verifiers）。</li> </ul> </li> </ul> </li> </ul> <hr> <p><img src="imgs/20250128/fig5.png" alt="bg contain"></p>https://ohtaman.github.io/slides/data_gateway_talk_20200116/about_me_public/Mon, 01 Jan 0001 00:00:00 +0000ohtamans@gmail.com (ohtaman)https://ohtaman.github.io/slides/data_gateway_talk_20200116/about_me_public/<link rel="stylesheet" href="https://use.fontawesome.com/releases/v5.5.0/css/all.css" integrity="sha384-B4dIYHKNBt8Bc12p+WXckhzcICo0wtJAoU8YZTY5qE0Id1GSseTk6S+L3BlXeVIU" crossorigin="anonymous"> <h1 id="データ分析とベンチャーと上場とキャリアの話">データ分析とベンチャーと上場とキャリアの話</h1> <hr> <h1 id="あなただれよ">あなただれよ？</h1> <ul> <li>BrainPad <ul> <li><font size="5px">Chief Data Technology Officer</font></li> </ul> </li> <li>Google Developers Expert (ML)</li> <li>JDLA試験委員</li> <li>コミュニティーのオーガナイザ <ul> <li>TensorFlow User Group</li> <li>Optimization Night</li> </ul> </li> <li><i class="fab fa-twitter"></i>@ohtaman</li> </ul> <p><img src="https://ai.brainpad.co.jp/wp-content/themes/brainpad/images/people/list/thumb17.jpg" alt="bg right contain"></p> <hr> <h1 id="略歴">略歴</h1> <p>Java開発、機械学習、研究開発、マネージメント、諸々を経験</p> <ul> <li>2010年 BrainPad に新卒入社（開発エンジニア）</li> <li>2012年 自然言語処理チームリーダー</li> <li>2014年 技術戦略部 部長</li> <li>2017年 AS本部副本部長</li> <li>2019年 CDTO (Chief Data Technology Officer)</li> </ul> <hr> <h1 id="brainpadの沿革">BrainPadの沿革</h1> <p>「データ活用の促進を通じて持続可能な未来を作る」</p> <ul> <li>2004年 創業 受託分析サービスの提供開始</li> <li>2006年 DMP「Rtoaster」を提供開始</li> <li>2011年 東証マザーズ上場</li> <li>2013年 東証一部上場</li> </ul> <p><img src="img/logo.webp" alt="bg right contain"></p> <hr> <h1 id="従業員数">従業員数</h1> <p>従業員数は入社時の5倍になった</p> <ul> <li>2010年: 60名</li> <li>2019年: 306名 （グラフは2017年まで）</li> </ul> <p><img src="img/n_people.svg" alt="bg right contain"></p> <hr> <h1 id="売上推移">売上推移</h1> <p>売上は入社時の7倍になった</p> <ul> <li>2010年: 約8億</li> <li>2019年: 約56.7億 （グラフは2017年まで）</li> </ul> <p><img src="img/sales.svg" alt="bg right contain"></p>https://ohtaman.github.io/slides/ml_15min/20211127/Mon, 01 Jan 0001 00:00:00 +0000ohtamans@gmail.com (ohtaman)https://ohtaman.github.io/slides/ml_15min/20211127/<style> section { background-color: white; } section.with_img { padding-right: 420px; } section.with_img img { position: absolute; left: 900px; } strong { color: red; } h1 { position: absolute; left: 72px; top: 100px; } section.title h1 { position: relative; top: 0px; left: 0px; } </style> <!-- _class: title --> <h1 id="はじめてのhpcによる深層学習スーパーコンピューターに触れてみる">はじめてのHPCによる深層学習<br>〜スーパーコンピューターに触れてみる〜</h1> <p><b>ohtaman</b> 第61回 Machine Learning 15minutes! V-expo (2021/11/27)</p> <hr> <!-- pagination: true --> <!-- _class: with_img --> <h1 id="自己紹介">自己紹介</h1> <h3 id="太田-満久-ohtaman">太田 満久 (ohtaman)</h3> <ul> <li>CDTO (Chief Data Technology Officer) at BrainPad Inc.</li> <li>Google Developers Expert (Machine Learning).</li> <li>An organizer of TensorFlow User Group Tokyo.</li> </ul> <img src="https://avatars2.githubusercontent.com/u/329750" style="height: 240px; border-radius: 50%;"> <hr> <p><img src="imgs/gpu_minicamp.png" alt=""> <a href="https://www.cc.u-tokyo.ac.jp/events/lectures/159/">https://www.cc.u-tokyo.ac.jp/events/lectures/159/</a></p>