人工知能学会全国大会論文集
Online ISSN : 2758-7347
第37回 (2023)
セッションID: 3D5-GS-2-05
会議情報

対照学習を用いた知識蒸留によるニューラルトピックモデルの学習
*渡邉 耕平江口 浩二
著者情報
会議録・要旨集 フリー

詳細
抄録

トピックモデルはテキストデータ解析に用いられる手法の一つであり,データの背後にある潜在的なトピックの推定を目的とする.また,知識蒸留は深層学習の分野において,大規模な教師モデルの知識を小規模な生徒モデルに転移するための手段として注目されてきた.対照学習(contrastive learning)は自己教師あり表現学習において最近注目されており,その有効性が報告されている.以上のような背景のもと,本研究ではトピックモデルをニューラルネットワークで実現するニューラルトピックモデルの学習に対照学習の枠組みを利用した知識蒸留を用いることで,従来の知識蒸留では転移できなかった教師モデルの構造的な知識を生徒モデルに転移する問題に着目する.トピックの一貫性を測る評価実験では,対照損失を用いて教師モデルが生成した個々の文書表現における関係性を保持しつつ生徒モデルの潜在表現を学習する提案手法が,先行研究のニューラルトピックモデルの精度を改善することが確認できた.

著者関連情報
© 2023 人工知能学会
前の記事 次の記事
feedback
Top