お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。
2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。

お知らせ connpassをご利用いただく全ユーザーにおいて健全で円滑なイベントの開催や参加いただけるよう、イベント参加者向け・イベント管理者向けのガイドラインページを公開しました。内容をご理解の上、イベント内での違反行為に対応する参考としていただきますようお願いいたします。

このエントリーをはてなブックマークに追加

Aug

29

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7

基盤モデルをチューニングするための手法を基礎から応用までカバー。AWSとW&Bで

Organizing : Weights & Biases Japan

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7
Hashtag :#wandb
Registration info

抽選枠

Free

Standard (Lottery Finished)
76/55

Attendees
yossy
takakusu
tokota
Toshihisa-Okada
63556poiuytrewq
simplex0331
tsuyoshiinoue
8350x
esprit
Meng Lee
View Attendee List
Start Date
2023/08/29(Tue) 18:30 ~ 21:00
Registration Period

2023/08/04(Fri) 11:32 〜
2023/08/23(Wed) 12:00まで

Location

WeWork東京スクエアガーデン(京橋)

東京都中央区京橋3-1-1

View Map
参加者への情報
(参加者と発表者のみに公開されます)

Description

イベント概要

今回のW&Bミートアップでは、LLMの転移学習・ファインチューニングにフォーカスを当てます。オープンソースの基盤モデルの性能も上がりつつある一方で、特定の目的に特化した用途での性能を高めるためには、ファインチューニングが重要な手法だと考えられています。一方で、ファインチューニングで得られる精度は必ずしも高くないのでは、という研究結果も発表されています(参考 LLMファインチューニングは機能しない?)

今回は、先日日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦するという記事で、国産オープンソースモデルをファインチューニングすることでLLMにクイズ王に挑戦させ、高い精度を得ることを発表したAWSのソリューションアーキテクトの久保隆宏さんをゲストに迎え、W&Bの山本と共にLLMファインチューニングの動向、実装の基礎、活用すべきタイミング、実用的な手法などを紹介してもらいます。

スポンサーからのお願い

  • 講演開催中にお弁当形式の軽食と、懇親会でのお飲み物の提供を予定しておりますが、数には限りがありご参加者全員に行き渡らない場合もございます。

お知らせ

今回のW&Bミートアップは別途開催中の「ChatGPT+LangChain+自社データで作る、人工知能プログラミング実践入門講座」の第3回講座とのタイアップ企画となりますので、両イベントからのご参加社が参加されます。

タイムテーブル

時間 内容 スピーカー
18:00 ~ 18:30 受付
18:30 ~ 18:35 オープニング シバタアキラ
18:35 ~ 19:35 LLMファインチューニング基礎と最近の動向 山本祐也
19:40 ~ 20:40 大規模言語モデルを転移学習すべきタイミングとその方法 久保隆宏
20:45 ~ 懇親会 ご参加は任意で

スピーカー

久保隆宏 (@icoxfog417), アマゾン ウェブ サービス ジャパン合同会社, ソリューションアーキテクト/デベロッパーリレーション

2021 年より AWS の機械学習領域専門のデベロッパーリレーションに従事。 AWS が機械学習をはじめるのに最適なプラットフォームになるよう、戦略の立案、コンテンツの開発、フィードバックの収集に基づくサービス開発チームへの提案まで一気通貫で活動。近年特にプロダクト開発チーム向けの ML Enablement に注力して活動。

「大規模言語モデルを転移学習すべきタイミングとその方法」

大規模な事前学習を済ませたモデルは基盤モデルと呼ばれ、追加学習なしに高い精度で様々なタスクを解くことができます。基盤モデルを組み込んだ ChatGPT 等のアプリケーションは手軽に試しプロダクトに組み込むことができる一方、誰もが利用できるため差別化に繋げることが困難です。本講演では 1) いつ手軽な生成系 AI アプリケーションの利用から自社固有のデータによるカスタマイズを検討すべきなのか、 2) カスタマイズによりどのような効果が期待できるのか、 3) AWS を用いカスタマイズ( = 転移学習)を行う方法とメリットをお伝えします。3 については、 W&B と組み合わせることでより簡単に AWS のスケーラブルなリソースを扱える方法をご紹介します。

山本祐也 (@ nejumi_dqx), Weights & Biases, Success Machine Learning Engineer

東京大学大学院工学系研究科にて有機無機複合材料の研究で博士号を取得。学位取得後、大手化学メーカーにて液晶・タッチパネル関連先端化学材料の研究開発に従事。 その後、大手食品メーカーで機械学習を用いた食品パッケージに関する予測モデリングと最適化に取り組むなど、BtBとBtCいずれにも深い経験を有する。前職DataRobotでは製造顧客担当チームのリーダーとして国内数十社のAI導入を支援。国内で数十人程度のKaggle Grandmasterの一人。

「LLMファインチューニング基礎と最近の動向」

大規模言語モデルを活用するにあたってファインチューニングはコストと効果のバランスに優れた重要な技術の一つですが、この領域も基盤モデルの進歩と同様にハイスピードで進歩しています。本講演ではLLMのファインチューニングについての基礎と各種法についておさらいするとともに、最近のトピックについて実例を交えて紹介します。また、Weights & BiasesのLLMOpsによるファインチューニングの実験管理と可視化についても実際の製品デモでご紹介いたします。

会場

WeWork 東京スクエアガーデン

住所: 104-0031 東京都中央区京橋3-1-1 東京スクエアガーデン 14F

これまでのイベントの様子 (以前のイベントの様子)

アクセス

  • 東京メトロ 銀座線 京橋駅(出口3)(駅直結)
  • 東京メトロ 有楽町線 銀座一丁目駅(出口7) 徒歩2分
  • 都営浅草線 宝町駅(A4出口) 徒歩2分

京橋駅直結のビル。3階にあがるとオフィスエントランスがございます。 3階からエレベーターで14階までお越しください。 会場へのアクセス方法の詳細はこちらに:http://wandb.me/tokyo-office

主催・運営

このイベントはWeights & Biases Japan によって運営されています。

WBLogo

本イベントの開催には、WeWork様に多大なご協力をいただいております。

このミートアップに登録することで、Weights & Biasesの製品、サービス、イベントに関するマーケティングコミュニケーションを受け取ることがあります。W&Bは、お客様の個人情報をプライバシーポリシーに従ってのみ使用し、これらのコミュニケーションはいつでも解除することができます。

このミートアップ中に写真や動画が撮影されます。これらはW&Bによってマーケティングや宣伝用に、出版物、ウェブサイト、ソーシャルメディアで使用されることがあります。何か懸念がある場合や、撮影や録画されたくない場合は、お問い合わせください。

発表者

Feed

Yuya_YAMAMOTO

Yuya_YAMAMOTOさんが資料をアップしました。

08/30/2023 23:57

Takahiro Kubo

Takahiro Kuboさんが資料をアップしました。

08/30/2023 21:55

シバタアキラ

シバタアキラさんが資料をアップしました。

08/30/2023 10:51

シバタアキラ

シバタアキラ published LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7.

08/04/2023 11:53

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 を公開しました!

Ended

2023/08/29(Tue)

18:30
21:00

You cannot RSVP if you are already participating in another event at the same date.

Registration Period
2023/08/04(Fri) 11:32 〜
2023/08/23(Wed) 12:00

Location

WeWork東京スクエアガーデン(京橋)

東京都中央区京橋3-1-1

Attendees(55)

yossy

yossy

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

takakusu

takakusu

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

tokota

tokota

I joined LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7!

Toshihisa-Okada

Toshihisa-Okada

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

63556poiuytrewq

63556poiuytrewq

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

simplex0331

simplex0331

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

tsuyoshiinoue

tsuyoshiinoue

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

8350x

8350x

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

esprit

esprit

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

Meng Lee

Meng Lee

I joined LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7!

Attendees (55)

Waitlist (21)

Masahiro Nishimi

Masahiro Nishimi

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

Takuya Tsukisawa

Takuya Tsukisawa

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

shouta-matsumoto

shouta-matsumoto

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

ちゃまの助

ちゃまの助

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

村田憲彦

村田憲彦

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

dwarfplanet7634

dwarfplanet7634

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

Sakusakumura

Sakusakumura

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

mickmk

mickmk

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

hndr

hndr

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

Yamauchi Takuro

Yamauchi Takuro

LLMファインチューニング基礎と応用 - W&B 東京ミートアップ #7 に参加を申し込みました!

Waitlist (21)

Canceled (32)