はじめに
学習理論講座とは、ホーランド准教授が率いる教育研究組織の俗称です。
関西大学のビジネスデータサイエンス学部を拠点として「教育」と「研究」の両面を持ち、目まぐるしい進歩を見せる人工知能（AI）技術の波に流されることなく自立できる人材を育成し、独創的な機械学習アルゴリズムの研究開発に注力しています。特に、AI技術の利用者層が急速に拡大していくなか、それを駆動させる「学習過程」の理解を深め、より確実に、より透明なプロセスによって「期待通りのAIの働き」を実現すべく日々取り組んでいます。
基本情報
ホーランド准教授の研究業績（researchmap）
ホーランド准教授の個人ページ（英語版）
公開しているソフトウェアのリポジトリ（GitHub）
主な研究テーマ
研究内容をいくつか大きなカテゴリーに分けて、テーマ別の代表的な論文を紹介します。
様々な「リスク」を捉えるための指標とそれに対応できる学習法
機械学習アルゴリズムは逐次的にある種の「報酬」の最大化を求めるように設計されますが、従来法はほぼ例外なく「平均的な報酬の最大化」に帰着するため、想定している「平均的な状況」から逸脱した場合の性能保証が弱くなってしまいます。そこで、確率的な報酬の期待値ではなく、その分布の「裾」の重みを調節し、特に最悪時に備えるための「リスク」指標が数多く提案されており、それらを追い求める学習アルゴリズムの研究開発にも取り組んでいます。
論文：ICML 2024, JAIR 2023, AISTATS 2022, AISTATS 2021
報酬分布の集中度合いに基づく学習アルゴリズム
機械学習の基本的なアプローチは確率的な報酬の分布の「位置」を望ましい方向へと動かすように状態を更新していくのですが、この分布の広がり度合いによって種々の性能指標が影響されることは古くから知られています。とはいえ、報酬分布の集中を求めること自体は主目的ではなく、あくまで副次的な事柄とされてきました。そこで主従関係を反転させ、集中度合いに主眼を置くという一風変わったアルゴリズム設計法のメリットやトレードオフ関係を究明すべく、多角的な研究に取り組んでいます。
論文：NeurIPS 2024, AISTATS 2024, AISTATS 2023, Machine Learning (2022), AISTATS 2019 (b)
外れ値に対する学習アルゴリズムの頑健性
データが少なく、それに観測値がノイジーで外れ値が悪さをするかもしれないという至って現実的な状況では、従来の学習法だと良い性能を高い確率で保証することができません。そこで、統計的なロバスト性が担保される推定量を従来の学習法に組み込んだり、観測値を適切に処理したりすることによって、低コストで性能を向上させることが可能です。いくつか代表的な主著論文は下記の通りです。
論文：AAAI 2022, NeurIPS 2019, Machine Learning (2019), AISTATS 2019 (a), Machine Learning (2017)
主な研究プロジェクト
汎化指標デザインに基づく革新的学習アルゴリズムの探求と開発
（JSPS科研費、基盤B）学習過程における価値観の多様化と性能保証の両立
（JSTさきがけ「信頼されるAIの基盤技術」）柔軟な価値観を持つ機械学習のアルゴリズム開発と性能保証
（JST ACT-X「数理・情報のフロンティア」）識別マージンの強い分布的統制による頑健化と効率化の研究
（JSPS科研費、若手研究）識別マージンの強い分布的統制による頑健化と効率化の研究
（JSPS科研費、研究活動スタート支援）安全なAIこそ効率的：ロバスト学習による汎化性能向上の研究
（JST ACT-I「情報と未来」）ロス関数の自動選択アルゴリズムと時系列データへの拡張の解析
（JSPS特別研究員奨励費）
教育活動について
指導学生の論文テーマ
非結合回帰のための学習法
（T君、阪大、修論）
確率的なグラフのクラスタリング手法
（N君、阪大、修論）
図形の不変性に基づく事前学習法
（K君、阪大、修論）
データ劣化による分布シフトを想定した学習法の提案
（H君、阪大、卒論）
Conditional Neural Adaptive Processによる医用画像分類法
（P君、マヒドン大、修論）
Tilted ERMのデータ駆動的な自動調節法
（T君、阪大、卒論）
コンフォーマル推論における転移学習の効果検証
（N君、阪大、修論）
コンフォーマル推論に基づく学習アルゴリズムの信頼性評価法
（H君、阪大、修論）
学習済みCNNを用いた脳活動予測手法
（K君、阪大、卒論）
非凸学習問題における確度ブースティング法
（N君、阪大、修論）
顕著なクラス不均衡の下での差分プライバシーと予測性能の両立
（Y君、阪大、修論）
土砂災害危険度情報の予測手法
（N君、阪大、卒論）
非結合回帰のための学習法
（T君、阪大、修論）
確率的なグラフのクラスタリング手法
（N君、阪大、修論）
図形の不変性に基づく事前学習法
（K君、阪大、修論）
データ劣化による分布シフトを想定した学習法の提案
（H君、阪大、卒論）
Conditional Neural Adaptive Processによる医用画像分類法
（P君、マヒドン大、修論）
Tilted ERMのデータ駆動的な自動調節法
（T君、阪大、卒論）
コンフォーマル推論における転移学習の効果検証
（N君、阪大、修論）
コンフォーマル推論に基づく学習アルゴリズムの信頼性評価法
（H君、阪大、修論）
学習済みCNNを用いた脳活動予測手法
（K君、阪大、卒論）
非凸学習問題における確度ブースティング法
（N君、阪大、修論）
顕著なクラス不均衡の下での差分プライバシーと予測性能の両立
（Y君、阪大、修論）
土砂災害危険度情報の予測手法
（N君、阪大、卒論）