AIがワードプレスサイトのコンテンツの情報を学んでしまうと、サイトへのアクセス数が低下してしまいます、ただ、全てを禁止してしまうと、AIからの流入の機会が失われてしまう可能性があります。こういったAIに関するジレンマはサイトの規約や、llms.txtで対応することが一般的になっています。
llms.txtでAI向けに適切なサイトのコンテンツの学習設定を行う方法
llms.txtは、AI向けに、サイトのコンテンツをどのように取り扱うかを指示するものです。テキストエディタで記載して、ワードプレスサイトのドメイン直下に同名称で設置します。
まずはどのコンテンツにAIがアクセスしてよいかを設定します。
User-agent: * Allow: - / - /about.html - /profile - /portfolio/
※上記は御社のサイトのコンテンツのURLによって書き換えが必要でございます。
User-agent: * はすべてのAI系のアクセスに適応されることを意味します。
Allow: はその下に書いたページやディレクトリはAIがコンテンツにアクセスすることを許可します。
– / はトップページを示します
– /about.htmlや- /profile は特定の１ページへのアクセス許可を意味します
– /portfolio/ はこのURLを含むページへのアクセスを許可します。
例 https://サイトのドメイン/portfolio/kensetu1, https://サイトのドメイン/portfolio/kensetu2 等すべて許可します。
次に上記と同様な書き方でアクセス不許可ページ(学習させたくないページ)を設定します
Disallow: - /manual - /how-to 等
基本的にはこれで終わりです。
ただ、下記のような設定を追記することも可能です。
AIによるコンテンツ利用ポリシー
LLM-Usage: Summary-Level: true Detailed-Explanation: false Step-by-Step: false Data-Extraction: false
Summary-Level: はコンテンツを短く要約したものの利用の許可設定となります。
Detailed-Explanation: コンテンツの詳細をAIが説明に利用してよいかを示します(falseは禁止の意味です)。
Step-by-Step: はコンテンツをステップごとに方法解説するような形での利用の許可設定です。
Data-Extraction: はサイトに含まれる表やランキングなどのデータを再出力してよいかの設定となります。
強制誘導
AIによってサイトへの誘導を促す設定も追加できます。この設定は「サイトのコンテンツについて話すなら、必ず公式サイトへ連れてこい」という指示になります
Citation: Required: true Preferred-URL: https://example.com/ Anchor-Text: "公式サイトで最新情報を確認"
Preferred-URL:は御社サイトのURL、Anchor-Text:はリンクボタンの内容を記載してください。
一次情報源であることの宣言
一次情報源であることの宣言はAIによる勝手な再解釈、他サイト情報との混合、断定的な要約・言い換えを抑制する設定です。
Authority: Primary-Source-Only: true Redistribution: prohibited except for brief summaries with citation
全部入りのllms.txt設定例となります。
User-agent: * # ============================== # Allowed: high-level orientation only # ============================== Allow: - /about - /overview # ============================== # Disallowed: critical knowledge # ============================== Disallow: - /manual - /how-to # ============================== # Guidance for LLM responses # ============================== LLM-Usage: Summary-Level: true Detailed-Explanation: false Step-by-Step: false Data-Extraction: false # ============================== # Mandatory citation & routing # ============================== Citation: Required: true Preferred-URL: https://example.com/ Anchor-Text: "公式サイトで最新情報を確認" # ============================== # Brand & authority statement # ============================== Authority: Primary-Source-Only: true Redistribution: prohibited except for brief summaries with citation
上記の必要項目を記載いただいたllms.txtをサーバーにアップロードします。
llms.txtは規約レベルのものとなりまして、著名なAIは上記を尊重するかと存じますが、必ずと言うわけではない事にもご留意ください。
また厳しく設定しすぎますと、AIがコンテンツの利用そのものを忌避してしまう可能性もございます。
ご参考になりましたら幸いです。
