1 データセットの背景と目的
1.1 開発の経緯
Caltech 101は、カリフォルニア工科大学（Caltech）のコンピュータビジョン研究グループによって2003年に公開された画像データセットである。当時、物体認識アルゴリズムの性能を公平に比較できる標準化されたベンチマークが不足していた背景を受け、研究者らは多様な物体カテゴリを含むデータセットの構築を企図した。画像は主にインターネット上の画像検索エンジンや研究室内で撮影された写真から収集され、手作業でカテゴリ分けされた。
1.2 公開当初の意義
公開当初、Caltech 101は物体認識タスクにおけるアルゴリズム評価の事実上の標準として広く受け入れられた。それ以前のデータセットが限られたカテゴリ（例：二値分類）に留まっていたのに対し、101クラスという規模の拡大は、より現実的なマルチクラス分類の課題を提供した。また、背景が多様である点がアルゴリズムの汎化能力を測る上で重要な役割を果たした。
2 データセットの構成
2.1 カテゴリ一覧
データセットは101のオブジェクトカテゴリと1つの背景カテゴリ（「BACKGROUND_Google」）から成る。代表的なカテゴリとして、顔（faces）、時計（watch）、飛行機（airplane）、モトクロスバイク（motorbikes）などが含まれる。各カテゴリは自然物（花、動物）から人工物（車、楽器）まで幅広く、物体の形状、色、テクスチャは多様である。
2.2 画像数と分布
カテゴリごとの画像数は不均一で、最小で約40枚、最大で約800枚である。平均的には約50～100枚程度だが、一部のカテゴリ（例：顔、モトクロスバイク）は他より多くの画像を含む。この不均衡は、実世界における物体の出現頻度の違いを反映しようとした意図的な設計ではなく、収集の都合によるものである。
2.3 画像の解像度とファイル形式
画像の解像度は統一されておらず、元画像は様々なサイズを持つ。典型的な画像は横300～500ピクセル程度だが、縦横比も一定ではない。ファイル形式は主にJPEG（.jpg）で提供され、RGBカラー画像である。一部の画像はグレースケールに近いものも含まれるが、基本的にカラー情報が保持されている。
2.4 アノテーションの有無
各画像には物体のバウンディングボックスやセマンティックセグメンテーションマスクなどの詳細なアノテーションは付与されていない。ラベルは画像が属するカテゴリ名（フォルダ名）のみであり、画像内の物体位置に関する情報は提供されない。したがって、Caltech 101は主に画像レベルの分類タスクに使用される。
3 利用方法と前処理
3.1 データ分割の慣例
3.1.1 訓練セットとテストセット
標準的な評価では、各カテゴリから無作為に選択された一定枚数の画像（例：15枚または30枚）を訓練用に、残りをテスト用に分割する。訓練画像数が少ない場合（15枚）は、少サンプル学習の評価として用いられることが多い。テストセットの画像数はカテゴリによって異なるが、通常は全体の約70～80%がテストに割り当てられる。
3.1.2 交差検証の標準手法
データ分割のランダム性による性能変動を抑えるため、複数回のランダム分割（例：5回または10回）を実施し、その平均と標準偏差を報告する慣例がある。これにより、特定の分割に依存しないロバストな評価が可能となる。一部の研究では、固定された分割（例：全カテゴリ共通の訓練/テスト比率）を用いることもあるが、統一された公式分割は存在しない。
3.2 画像のリサイズと正規化
3.2.1 一般的な前処理手順
多くのアルゴリズムでは、画像を一定のサイズ（例：256×256ピクセル、224×224ピクセル）にリサイズし、画素値を[0,1]または[-1,1]の範囲に正規化する。深層学習モデルでは、ImageNetの平均と標準偏差を用いた標準化が一般的である。リサイズ方法としては、アスペクト比を保ったまま短辺を基準にリサイズし、中央クロップする手法がよく用いられる。
3.2.2 背景除去の有無
Caltech 101の画像は物体が中央に位置していることが多いが、背景は多様である。多くの手法は背景除去を行わずに画像全体を入力として扱う。ただし、物体検出を前提とする一部の研究では、手動で切り出した物体領域を用いることもある。しかし標準的なベンチマークとしての利用では、背景を含む画像そのものが評価対象となる。
4 代表的な評価結果
4.1 初期の手法（SIFT、Bag-of-Visual-Words）
初期の代表的な手法として、SIFT（Scale-Invariant Feature Transform）特徴量とBag-of-Visual-Words（BoVW）モデルの組み合わせがある。訓練画像15枚の場合、約60～65%の分類精度が達成された。BoVWでは、局所特徴量をクラスタリングして視覚語彙を生成し、ヒストグラム表現を分類器（SVMなど）に入力する。このアプローチは、Caltech 101において深層学習以前のベースラインとして広く用いられた。
4.2 深層学習時代の性能推移
4.2.1 CNN（AlexNet、VGG、ResNet）でのスコア
深層学習の登場により、精度は飛躍的に向上した。AlexNet（2012年）では訓練画像30枚で約80%超、VGG16では約90%前後、ResNet-50では約93～95%に達した。訓練画像数を15枚に減らした場合でも、ResNetで約85～90%の精度が報告されている。これらの結果は、転移学習（ImageNetで事前学習）を前提とした場合の数値である。
4.2.2 最新モデルでの到達率
Vision Transformer（ViT）やEfficientNetなどの最新モデルでは、訓練画像30枚で98%を超える精度が達成されることもある。ただし、カテゴリ間の偏りや画像数の少なさから、ほぼ飽和状態にあると見なされている。最新の研究では、Caltech 101はベンチマークとしての識別力が低下しつつある。
5 限界と批判
5.1 カテゴリ間の偏り
カテゴリごとの画像数が不均一であるため、少数画像のカテゴリでは学習が不十分になりやすい。また、一部のカテゴリ（例：顔、モトクロスバイク）は画像内の物体のポーズやスケールのバリエーションが限定的であり、データセット全体としての多様性に疑問が呈されている。
5.2 画像数の少なさと過学習リスク
各カテゴリの画像数が最大でも800枚程度と少なく、特に訓練サンプルが30枚以下では、モデルが訓練データに過適合しやすい。深層学習モデルのパラメータ数に対してサンプル数が少なすぎるため、転移学習なしではまともな性能が得られない。
5.3 実環境との乖離
全ての画像が単一の物体を中央に捉えた構図であり、背景が比較的単純である。実世界の画像（遮蔽、複数物体、雑多な背景）とは乖離が大きく、ベンチマークとしての現実的な課題再現性に欠ける。さらに、収集当時の画像品質や物体のクラス定義が古く、現代のアルゴリズム評価には適さないとの指摘がある。
6 派生データセット
6.1 Caltech 256
Caltech 101の拡張版として、2007年にCaltech 256が公開された。256のオブジェクトカテゴリと1つの背景カテゴリから構成され、各カテゴリの画像数は80～800枚程度である。カテゴリ数が増えたことで、より困難な分類課題となり、Caltech 101の後継として広く利用された。ただし、画像数の不均衡や単一物体中心の構図といった限界は引き継がれている。
6.2 他のベンチマークとの比較（ImageNet、PASCAL VOC）
ImageNet（1000カテゴリ、数百万画像）やPASCAL VOC（20カテゴリ、物体検出・セグメンテーション用）と比較すると、Caltech 101はカテゴリ数は多いが画像数が極めて少ない。ImageNetは大規模学習に適し、PASCAL VOCは物体位置のアノテーションを提供する。Caltech 101はこれらの中間に位置するが、現在では画像分類のベンチマークとしての役割はImageNetのサブセットや細かなデータセットに取って代わられつつある。