【深層学習】GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み【ディープラーニングの世界vol.33】 скачать в хорошем качестве

【深層学習】GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み【ディープラーニングの世界vol.33】

超自然な文章を生成できることが話題になり、一時は公開が見送られていた言語モデルである GPT-2 の紹介です。 社会的なセンセーショナルさとは距離をおいて、どういうモデルで、どういうタスクを、どうやって解いたのか、何がすごいのかをお届けします！ ▼関連動画 Transformer の動画はこちら！    • 【深層学習】Transformer - Multi-Head Attentionを理...   忙しい人向け →    • 【深層学習】忙しい人のための Transformer と Multi-Head At...   GPT →    • 【深層学習】GPT - 伝説の始まり。事前学習とファインチューニングによるパラダイム...   Deep Learning の世界    • Deep Learning の世界   自然言語処理シリーズ    • 自然言語処理シリーズ   ▼参考文献 Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9. http://www.persagen.com/files/misc/ra... 原論文！ 世間では「巨大言語モデルを巨大データで学習して AI すげー！」って騒がれましたが、裏には考え抜かれた緻密な設計と努力があります。 AI を作る側の私達としては、一度読んでおくと、華々しい成果の裏に何があるのかが知れていいんじゃないかなーなんて思います。 He, Kaiming, et al. "Identity mappings in deep residual networks." European conference on computer vision. Springer, Cham, 2016. https://link.springer.com/chapter/10.... Residual Connection は勾配消失対策だけじゃなくて、恒等写像学習のアイテムでもあるのです。 その哲学で書かれている論文。私は好きです。 その哲学を解説した ResNet の動画はこちら →    • 【深層学習】 CNN 紹介 "ResNet" 言わずとしれた CNN の標準技術が登...   Reddy, Siva, Danqi Chen, and Christopher D. Manning. "Coqa: A conversational question answering challenge." Transactions of the Association for Computational Linguistics 7 (2019): 249-266. https://direct.mit.edu/tacl/article/d... タスクの1つ、CoQAのデータセットの論文です。TOEIC的な問題を集めているのですが、これが深層学習モデルに解けるのはすごい。 パラパラ眺めるだけでもイメージついていいと思います！ 【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14... いろいろこれを参考にして動画を作っています ▼終わりに ご視聴ありがとうございました！ 面白かったら高評価、チャンネル登録お願いします。 動画の質問、感想などは、コメント欄やTwitterにどうぞ！ お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。 AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-o... 動画生成：AIcia Solid (Twitter:   / aicia_solid   ) 動画編集：AIris Solid (妹) (Twitter:   / airis_solid   ) ======= Logo: TEICAさん (   / t_e_i_c_a   ) Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん (   / w01fa   )