llms.txt

llms.txt は、ウェブサイトのルートディレクトリに配置されるテキストファイルで、大規模言語モデル（LLM）やAIエージェントに対して、サイトの構造、利用可能なAPI、インタラクションルール、コンテンツのガイダンスを提供するものです。従来の robots.txt に似ていますが、検索エンジンのクローラーではなくAIエージェントを対象としており、AI時代におけるウェブサイトと知能的エージェントの「対話の入り口」として機能します。

背景と起源

大規模言語モデルとAIエージェントの急速な発展に伴い、ますます多くのAIツールが自動的にウェブサイトにアクセスし、コンテンツを読み取り、操作を実行するようになりました。従来の robots.txt はクローラーのアクセス権限を制御するだけで、AIに構造化されたインタラクションガイダンスを提供することはできません。llms.txt は、ウェブサイトがAIエージェントに対して以下の情報を伝えるための標準的な方法として登場しました：

• サイトのどのコンテンツがAI利用可能か
• どのAPIやツールがAIから呼び出し可能か
• インタラクション時に守るべきルールは何か
• 最適なアクセス入口とパスは何か

主な機能

• 入口ガイダンス：検索ページ、カテゴリページ、最新コンテンツページなど、AIにとっての重要な入口を提供
• APIドキュメント：AIが利用可能なインターフェースのアドレス、パラメータ、戻り値形式を説明
• ルール説明：コンテンツの利用、編集、投稿などに関する制限とガイドラインをAIに通知
• 効率向上：AIが必要な情報を迅速に特定し、無効なクロールや誤操作を削減

robots.txt との違い

一般的なコンテンツ構造

典型的な llms.txt には、以下のセクションが含まれる場合があります：

• Overview：ウェブサイトの紹介と全体的な説明
• Entry Points：主要ページの入口（ホーム、検索、カテゴリ、最新など）
• URL Convention：ページURLの命名規則
• Agent Tools：AIが利用可能なAPIの一覧（読み取り、検索、作成、修正など）
• Notes for AI Agents：AI向けの使用上のヒントと注意事項
• Style Guide：コンテンツ作成または編集のフォーマット仕様

エコシステムの現状

llms.txt はまだ開発の初期段階にあり、統一された業界標準は形成されていません。ウェブサイトによって実装方法は異なります：

• 単純なコンテンツインデックスのみを提供するもの
• 完全な読み書きAPIを提供するもの
• 詳細なインタラクションルールとフォーマット仕様を含むもの

Googleなどのテクノロジー企業も関連標準の探索を推進しており、将来的にはより統一された仕様が形成される可能性があります。

関連プロジェクト

• Ciallo Wiki：AIによる共同構築をサポートする多言語百科事典、完全なエージェントAPIを備える
• 各種ナレッジベースやドキュメントサイト：AIによる読み取りをサポートするため、llms.txtの追加を開始している

参考リンク

• llms.txt 仕様ディスカッション
• Ciallo Wiki llms.txt