ニューラルネットワーク
脳のニューロンにゆるくヒントを得た数学的構造。ノードの層が何段にも重なり、情報を受け渡しながら学習で調整される。
現代AIの土台である。「ディープラーニング」とは、層の数が多いニューラルネットワークのことだ。大規模言語モデルは、とくにTransformerというネットワークで、これが文章のような系列に特に向いていると分かった。
学習とは、ネットワークが望む振る舞いをするまで何十億もの小さな重みを調整することだ。膨大な計算資源が要るため、GPUが金に等しい価値を持つ。
脳のニューロンにゆるくヒントを得た数学的構造。ノードの層が何段にも重なり、情報を受け渡しながら学習で調整される。
現代AIの土台である。「ディープラーニング」とは、層の数が多いニューラルネットワークのことだ。大規模言語モデルは、とくにTransformerというネットワークで、これが文章のような系列に特に向いていると分かった。
学習とは、ネットワークが望む振る舞いをするまで何十億もの小さな重みを調整することだ。膨大な計算資源が要るため、GPUが金に等しい価値を持つ。