お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。
料金・プラン等につきましては後日改めてご案内いたします。詳しくはこちらの お知らせをご覧ください。

お知らせ connpassをご利用いただく全ユーザーにおいて健全で円滑なイベントの開催や参加いただけるよう、イベント参加者向け・イベント管理者向けのガイドラインページを公開しました。内容をご理解の上、イベント内での違反行為に対応する参考としていただきますようお願いいたします。

このエントリーをはてなブックマークに追加

Dec

20

ML/LLMの分散学習 - W&B 東京ミートアップ #9

ML開発の大規模化とともに必須になりつつある分散学習手法を身につけろ!

Organizing : Weights & Biases Japan

ML/LLMの分散学習 - W&B 東京ミートアップ #9
Hashtag :#wandb
Registration info

抽選枠

Free

Standard (Lottery Finished)
45/60

先着枠

Free

FCFS
43/50

Attendees
haruki-sping
toshiya_mitsuhashi
Prgckwb
nnendoo
ONOLB
ほき
Ken-To
yamazaki80
Junhand
catoh
View Attendee List
Start Date
2023/12/20(Wed) 18:30 ~ 21:00
Registration Period

2023/11/28(Tue) 15:57 〜
2023/12/20(Wed) 21:00まで

Location

WeWork東京スクエアガーデン(京橋)

東京都中央区京橋3-1-1

View Map
参加者への情報
(参加者と発表者のみに公開されます)
出席登録
(イベント開始時間の2時間前から終了時間まで、参加者のみに公開されます)

Description

イベント概要

今回のWeights & Biasesミートアップは、ML/LLMの分散学習にフォーカスを当てます。特に大規模なLLMモデルの学習に顕著なように、複数のGPU、複数のマシンにまたがる分散学習の手法はこれから多くのMLエンジニア・リサーチャーにとって必須スキルになりつつあるものの、まだまだ実践的な経験・知識を持つ方は多くないのが現状です。

今回登壇してくださる藤井さんは、東京工業大学横田研究室の学生でありながら、Turingでのインターンシップにおいても、マルチモーダルなモデルの研究開発を行っている一環として分散学習に深く関わり、今年発表した「大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編」(パート1パート2)が注目されました。またPreferred Networksの三上さんはABCIの”第一回 大規模言語モデル構築支援プログラム”に採択されたPLaMo-13Bの開発手法を同社ブログ「PLaMo-13Bを公開しました」で発表しています。

スポンサーからのお願い

  • 講演開催中にお弁当形式の軽食と、懇親会でのお飲み物の提供を予定しておりますが、数には限りがありご参加者全員に行き渡らない場合もございます。

タイムテーブル

時間 内容 スピーカー
18:00 ~ 18:30 受付
18:30 ~ 18:40 オープニング:今回のミートアップの主旨 シバタアキラ
18:40 ~ 19:35 「大規模言語モデル開発を支える分散学習技術」 藤井 一喜さん
19:40 ~ 20:35 「sparseなDNNモデルに対する分散学習手法」 三上 裕明さん
20:40 ~ 懇親会 ご参加は任意で

スピーカー

藤井 一喜(@okoge_kaz) 東京工業大学 横田研究室/ Turing株式会社/ Kotoba Technologies

Fujii-san

2023年横田研究室 所属。現在は、 LLM-jp モデル構築チーム、Turing株式会社, Kotoba Technologiesにて大規模言語モデル開発や、特定用途へのファインチューニングを担当。

「大規模言語モデル開発を支える分散学習技術」

大規模言語モデル(LLM)を学習する過程において、分散学習は避けて通れない重要な技術の一つです。本講演では、分散学習の基本的な概念とそのメカニズムをわかりやすく解説します。さらに、実例やノウハウについてもご紹介します。

三上 裕明(@mhiroaki_) 株式会社Preferred Networks リサーチャー

Mikami-san

プロフィール文: 2017年東京大学大学院修士課程卒業。2019年より株式会社Preferred Networksに勤務。DNN学習の高速化を中心に、高速化や分散処理の研究開発に従事。

「sparseなDNNモデルに対する分散学習手法」

大規模言語モデル (LLM) をはじめとする巨大なDNNモデルでは、計算量の削減のためsparseなアーキテクチャが使われることがあります。本講演では、このようなsparseなDNNモデルに対する分散学習の手法について解説します。

会場

WeWork 東京スクエアガーデン

住所: 104-0031 東京都中央区京橋3-1-1 東京スクエアガーデン 14F

これまでのイベントの様子 (以前のイベントの様子)

アクセス

  • 東京メトロ 銀座線 京橋駅(出口3)(駅直結)
  • 東京メトロ 有楽町線 銀座一丁目駅(出口7) 徒歩2分
  • 都営浅草線 宝町駅(A4出口) 徒歩2分

京橋駅直結のビル。3階にあがるとオフィスエントランスがございます。 3階からエレベーターで14階までお越しください。 会場へのアクセス方法の詳細はこちらに:http://wandb.me/tokyo-office

主催・運営

このイベントはWeights & Biases Japan によって運営されています。

WBLogo

本イベントの開催には、WeWork様に多大なご協力をいただいております。

このミートアップに登録することで、Weights & Biasesの製品、サービス、イベントに関するマーケティングコミュニケーションを受け取ることがあります。W&Bは、お客様の個人情報をプライバシーポリシーに従ってのみ使用し、これらのコミュニケーションはいつでも解除することができます。

このミートアップ中に写真や動画が撮影されます。これらはW&Bによってマーケティングや宣伝用に、出版物、ウェブサイト、ソーシャルメディアで使用されることがあります。何か懸念がある場合や、撮影や録画されたくない場合は、お問い合わせください。

発表者

Feed

シバタアキラ

シバタアキラさんが資料をアップしました。

01/31/2024 15:01

シバタアキラ

シバタアキラさんが資料をアップしました。

01/24/2024 17:24

シバタアキラ

シバタアキラさんが資料をアップしました。

12/26/2023 16:58

シバタアキラ

シバタアキラさんが資料をアップしました。

12/26/2023 11:18

シバタアキラ

シバタアキラ published ML/LLMの分散学習 - W&B 東京ミートアップ #9.

11/28/2023 15:57

ML/LLMの分散学習 - W&B 東京ミートアップ #9 を公開しました!

Group

Weights and Biases

Number of events 29

Members 1704

Ended

2023/12/20(Wed)

18:30
21:00

You cannot RSVP if you are already participating in another event at the same date.

Registration Period
2023/11/28(Tue) 15:57 〜
2023/12/20(Wed) 21:00

Location

WeWork東京スクエアガーデン(京橋)

東京都中央区京橋3-1-1

Attendees(88)

haruki-sping

haruki-sping

ML/LLMの分散学習 - W&B 東京ミートアップ #9 に参加を申し込みました!

toshiya_mitsuhashi

toshiya_mitsuhashi

I joined ML/LLMの分散学習 - W&B 東京ミートアップ #9!

Prgckwb

Prgckwb

ML/LLMの分散学習 - W&B 東京ミートアップ #9 に参加を申し込みました!

nnendoo

nnendoo

ML/LLMの分散学習 - W&B 東京ミートアップ #9 に参加を申し込みました!

ONOLB

ONOLB

ML/LLMの分散学習 - W&B 東京ミートアップ #9 に参加を申し込みました!

ほき

ほき

ML/LLMの分散学習 - W&B 東京ミートアップ #9 に参加を申し込みました!

Ken-To

Ken-To

ML/LLMの分散学習 - W&B 東京ミートアップ #9 に参加を申し込みました!

yamazaki80

yamazaki80

ML/LLMの分散学習 - W&B 東京ミートアップ #9 に参加を申し込みました!

Junhand

Junhand

ML/LLMの分散学習 - W&B 東京ミートアップ #9 に参加を申し込みました!

catoh

catoh

ML/LLMの分散学習 - W&B 東京ミートアップ #9 に参加を申し込みました!

Attendees (88)

Canceled (33)