Colab Enterpriseで日本語版 Gemma 2 2B を動かして性能を確認してみた

{
  "architectures": [
    "Gemma2ForCausalLM"
  ],
  "attention_bias": false,
  "attention_dropout": 0.0,
  "attn_logit_softcapping": 50.0,
  "bos_token_id": 2,
  "cache_implementation": "hybrid",
  "dtype": "bfloat16",
  "eos_token_id": 1,
  "final_logit_softcapping": 30.0,
  "head_dim": 256,
  "hidden_activation": "gelu_pytorch_tanh",
  "hidden_size": 2304,
  "initializer_range": 0.02,
  "intermediate_size": 9216,
  "max_position_embeddings": 8192,
  "model_type": "gemma2",
  "num_attention_heads": 8,
  "num_hidden_layers": 26,
  "num_key_value_heads": 4,
  "pad_token_id": 0,
  "query_pre_attn_scalar": 224,
  "rms_norm_eps": 1e-06,
  "rope_theta": 10000.0,
  "sliding_window": 4096,
  "torch_dtype": "bfloat16",
  "transformers_version": "4.44.2",
  "use_cache": true,
  "vocab_size": 256000
}

!nvidia-smi

# Fri Oct 11 11:01:24 2024       
# +-----------------------------------------------------------------------------------------+
# | NVIDIA-SMI 550.90.07              Driver Version: 550.90.07      CUDA Version: 12.4     |
# |-----------------------------------------+------------------------+----------------------+
# | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
# | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
# |                                         |                        |               MIG M. |
# |=========================================+========================+======================|
# |   0  Tesla T4                       Off |   00000000:00:04.0 Off |                    0 |
# | N/A   59C    P0             27W /   70W |    5405MiB /  15360MiB |      0%      Default |
# |                                         |                        |                  N/A |
# +-----------------------------------------+------------------------+----------------------+
#                                                                                          
# +-----------------------------------------------------------------------------------------+
# | Processes:                                                                              |
# |  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
# |        ID   ID                                                               Usage      |
# |=========================================================================================|
# +-----------------------------------------------------------------------------------------+

!pip freeze | grep \
    -e "torch" -e "huggingface-hub" -e "transformers" -e "accelerate"

# accelerate==0.34.2
# huggingface-hub==0.24.7
# torch @ https://download.pytorch.org/whl/cu121_full/torch-2.4.1%2Bcu121-cp310-cp310-linux_x86_64.whl#sha256=f3ed9a2b7f8671b2b32a2f036d1b81055eb3ad9b18ba43b705aa34bae4289e1a
# torchaudio @ https://download.pytorch.org/whl/cu121_full/torchaudio-2.4.1%2Bcu121-cp310-cp310-linux_x86_64.whl#sha256=da8c87c80a1c1376a48dc33eef30b03bbdf1df25a05bd2b1c620b8811c7b19be
# torchsummary==1.5.1
# torchvision @ https://download.pytorch.org/whl/cu121_full/torchvision-0.19.1%2Bcu121-cp310-cp310-linux_x86_64.whl#sha256=b8cc4bf381b75522995b601e07a1b433b5fd925dc3e34a7fa6cd22f449d65379
# transformers==4.44.2

import os
os.environ["HF_TOKEN"] = "作成したHuggingFaceのトークン"

import torch
from transformers import pipeline

# パイプラインの準備
pipe = pipeline(
    "text-generation",
    model="google/gemma-2-2b-jpn-it",
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

# メッセージの準備
messages = [
    {"role": "user", "content": "マシーンラーニングについての詩を書いてください。"},
]

# 推論の実行
outputs = pipe(messages, return_full_text=False, max_new_tokens=1024)
assistant_response = outputs[0]["generated_text"].strip()
print(assistant_response)

# ## マシーンラーニングの詩
# 
# **1.** 
# データの海、深淵の広がり、
# 複雑なパターン、隠された知識。
# 機械学習、その力強さ、
# 未来を予測、その道を開く。
# 
# **2.** 
# ニューラルネットワーク、複雑な枝、
# 学習の旅、その過程は静か。
# データから学び、進化する姿、
# 予測の精度、その力強さ。
# 
# **3.** 
# 教師あり学習、正解を導く、
# 教師なし学習、未知の世界へ。
# 機械学習、その進化は止まらない、
# 未来の扉を開く、新たな時代へ。
# 
# **4.** 
# 画像認識、音声認識、
# 複雑なタスク、その答えを見つける。
# 機械学習、その力強さ、
# 未来の技術、その可能性を語る。

質問: 量子コンピューティングにおける「量子もつれ」の概念を説明し、これが量子アルゴリズムにどのように活用されているか述べてください。
回答: 量子もつれは、複数の量子ビットが互いに相関し、一方の状態が他方の状態に瞬時に影響を与える現象です。これにより、古典的なビットでは不可能な並列処理が可能になります。量子アルゴリズムでは、この特性を利用して高速な因数分解（ショアのアルゴリズム）や効率的な検索（グローバーのアルゴリズム）などを実現しています。

質問: ゲーデルの不完全性定理の内容と、それが数学の基礎に与えた影響について説明してください。
回答: ゲーデルの不完全性定理は、十分に強力な形式的体系内には、その体系内で証明も反証もできない命題が存在することを示しています。これは数学の完全性と一貫性に関する従来の考えに疑問を投げかけ、数学の基礎に関する理解を根本的に変えました。この定理により、数学の絶対的な確実性という概念が揺らぎ、数学の限界が明らかになりました。

質問: CRISPR-Cas9遺伝子編集技術の仕組みと、その倫理的課題について論じてください。
回答: CRISPR-Cas9は、特定のDNA配列を認識し切断するガイドRNA（gRNA）と、DNA切断酵素Cas9を用いる遺伝子編集技術です。高精度でDNAを編集できるため、遺伝性疾患の治療や作物の品種改良などに応用が期待されています。一方で、ヒト胚の編集や遺伝子ドライブなどの応用は、生態系への影響や人間の本質的な改変に関わる倫理的問題を提起しています。これらの技術の使用範囲や規制のあり方について、国際的な議論が続いています。

質問: ダークマターの存在を示唆する観測証拠と、現在提案されている主要な理論モデルについて説明してください。
回答: ダークマターの存在を示唆する主な観測証拠には、銀河の回転曲線、重力レンズ効果、宇宙マイクロ波背景放射の温度揺らぎがあります。これらは、通常の物質だけでは説明できない重力効果を示しています。現在提案されている主要な理論モデルには、冷たいダークマター（CDM）理論があり、WIMPs（弱い相互作用をする重い粒子）やアクシオンなどの粒子が候補として挙げられています。また、修正重力理論（MOND）のような代替理論も提案されていますが、現在のところCDMモデルが最も広く受け入れられています。

sample_questions = [
    {
        "question": "量子コンピューティングにおける「量子もつれ」の概念を説明し、これが量子アルゴリズムにどのように活用されているか述べてください。",
        "answer": "量子もつれは、複数の量子ビットが互いに相関し、一方の状態が他方の状態に瞬時に影響を与える現象です。これにより、古典的なビットでは不可能な並列処理が可能になります。量子アルゴリズムでは、この特性を利用して高速な因数分解（ショアのアルゴリズム）や効率的な検索（グローバーのアルゴリズム）などを実現しています。",
    },
    {
        "question": "ゲーデルの不完全性定理の内容と、それが数学の基礎に与えた影響について説明してください。",
        "answer": "ゲーデルの不完全性定理は、十分に強力な形式的体系内には、その体系内で証明も反証もできない命題が存在することを示しています。これは数学の完全性と一貫性に関する従来の考えに疑問を投げかけ、数学の基礎に関する理解を根本的に変えました。この定理により、数学の絶対的な確実性という概念が揺らぎ、数学の限界が明らかになりました。",
    },
    {
        "question": "CRISPR-Cas9遺伝子編集技術の仕組みと、その倫理的課題について論じてください。",
        "answer": "CRISPR-Cas9は、特定のDNA配列を認識し切断するガイドRNA（gRNA）と、DNA切断酵素Cas9を用いる遺伝子編集技術です。高精度でDNAを編集できるため、遺伝性疾患の治療や作物の品種改良などに応用が期待されています。一方で、ヒト胚の編集や遺伝子ドライブなどの応用は、生態系への影響や人間の本質的な改変に関わる倫理的問題を提起しています。これらの技術の使用範囲や規制のあり方について、国際的な議論が続いています。",
    },
    {
        "question": "ダークマターの存在を示唆する観測証拠と、現在提案されている主要な理論モデルについて説明してください。",
        "answer": "ダークマターの存在を示唆する主な観測証拠には、銀河の回転曲線、重力レンズ効果、宇宙マイクロ波背景放射の温度揺らぎがあります。これらは、通常の物質だけでは説明できない重力効果を示しています。現在提案されている主要な理論モデルには、冷たいダークマター（CDM）理論があり、WIMPs（弱い相互作用をする重い粒子）やアクシオンなどの粒子が候補として挙げられています。また、修正重力理論（MOND）のような代替理論も提案されていますが、現在のところCDMモデルが最も広く受け入れられています。",
    }
]

def get_response(question: str):

    # メッセージの準備
    messages = [
        {"role": "user", "content": question},
    ]

    # 推論の実行
    outputs = pipe(messages, return_full_text=False, max_new_tokens=1024)
    assistant_response = outputs[0]["generated_text"].strip()
    return assistant_response

# レスポンスの取得
sample_questions_with_response = []
for sample_question in sample_questions:
    response = get_response(sample_question)
    sample_questions_with_response.append({**sample_question, "response": response})

[{'question': '量子コンピューティングにおける「量子もつれ」の概念を説明し、これが量子アルゴリズムにどのように活用されているか述べてください。',
  'answer': '量子もつれは、複数の量子ビットが互いに相関し、一方の状態が他方の状態に瞬時に影響を与える現象です。これにより、古典的なビットでは不可能な並列処理が可能になります。量子アルゴリズムでは、この特性を利用して高速な因数分解（ショアのアルゴリズム）や効率的な検索（グローバーのアルゴリズム）などを実現しています。',
  'response': '##  量子もつれの概念と活用\n\n**回答：**\n\n量子もつれとは、複数の量子ビットが互いに相関し、一方の状態が他方の状態に瞬時に影響を与える現象です。これは、古典的なビットでは不可能な並列処理を実現する鍵となります。\n\n**量子アルゴリズムにおける活用**\n\n量子もつれを利用した量子アルゴリズムは、従来のコンピュータでは不可能であった複雑な計算を高速に実行できます。具体的には、以下の様なアルゴリズムで活用されています。\n\n* **因数分解（ショアのアルゴリズム）：**  量子もつれを利用することで、従来のコンピュータでは数え切れないほどの計算時間を要する因数分解を、短時間で実行できます。\n* **効率的な検索（グローバーのアルゴリズム）：**  量子もつれを利用することで、膨大なデータセットを効率的に検索できます。\n* **量子化学計算:**  分子構造や反応の予測など、複雑な化学計算を高速に実行できます。\n* **量子力学の研究:**  量子力学の理論を検証し、新しい発見につながる可能性があります。\n\n\n\n**まとめ**\n\n量子もつれは、量子コンピュータの重要な技術であり、量子アルゴリズムの高速化と新たな可能性の開拓に大きく貢献しています。'},
 {'question': 'ゲーデルの不完全性定理の内容と、それが数学の基礎に与えた影響について説明してください。',
  'answer': 'ゲーデルの不完全性定理は、十分に強力な形式的体系内には、その体系内で証明も反証もできない命題が存在することを示しています。これは数学の完全性と一貫性に関する従来の考えに疑問を投げかけ、数学の基礎に関する理解を根本的に変えました。この定理により、数学の絶対的な確実性という概念が揺らぎ、数学の限界が明らかになりました。',
  'response': '##  ゲーデルの不完全性定理：数学の基礎に与えた影響\n\n**回答：**\n\nゲーデルの不完全性定理は、数学の体系内で証明や反証が不可能である命題が存在することを示しています。この定理は、数学の完全性と一貫性に関する従来の考えを疑問視し、数学の基礎に関する理解を根本的に変えました。\n\n**内容と影響**\n\n* **内容:**  ゲーデルの不完全性定理は、ある数学的体系において、その体系内で証明できる命題と反証できる命題の両方を含めることができないことを示しています。つまり、ある体系内で証明できる命題と反証できる命題の両方を含むことができないという、数学的体系の限界を示しています。\n* **数学の基礎への影響:**\n    * **完全性と一貫性の疑問:**  従来の数学は、体系内で証明と反証が可能なことを前提としていました。ゲーデルの不完全性定理は、この前提を揺るぎさせるものであり、数学の完全性と一貫性の概念を疑問視しました。\n    * **数学の限界:**  定理は数学の限界を示唆しました。数学は、すべての可能性を完全に説明できるものではないことを示唆しています。\n    * **数学の複雑性:**  定理は数学の複雑さを強調しました。数学は、複雑な体系を構築し、その体系内で証明と反証が可能な命題を定義する必要があります。\n    * **数学の進歩:**  ゲーデルの不完全性定理は、数学の進歩を促しました。数学の限界を認識することで、数学の新たな分野や方法の開発につながりました。\n\n**結論:**\n\nゲーデルの不完全性定理は、数学の基礎を根本的に変えました。数学の完全性と一貫性の概念を疑問視し、数学の限界を認識させることで、数学の進歩と発展を促しました。'},
 {'question': 'CRISPR-Cas9遺伝子編集技術の仕組みと、その倫理的課題について論じてください。',
  'answer': 'CRISPR-Cas9は、特定のDNA配列を認識し切断するガイドRNA（gRNA）と、DNA切断酵素Cas9を用いる遺伝子編集技術です。高精度でDNAを編集できるため、遺伝性疾患の治療や作物の品種改良などに応用が期待されています。一方で、ヒト胚の編集や遺伝子ドライブなどの応用は、生態系への影響や人間の本質的な改変に関わる倫理的問題を提起しています。これらの技術の使用範囲や規制のあり方について、国際的な議論が続いています。',
  'response': '## CRISPR-Cas9遺伝子編集技術：仕組みと倫理的課題\n\n**1. CRISPR-Cas9の仕組み**\n\nCRISPR-Cas9は、**ガイドRNA（gRNA）とDNA切断酵素Cas9**を用いた遺伝子編集技術です。\n\n* **gRNA:** 特定のDNA配列を認識するRNA分子です。\n* **Cas9:**  DNAを切断する酵素です。\n\ngRNAは、特定のDNA配列に結合し、Cas9をその位置に導きます。Cas9は、結合したDNAを切断することで、遺伝子の改変を行います。\n\n**2. CRISPR-Cas9の応用**\n\nCRISPR-Cas9は、遺伝性疾患の治療や作物の品種改良など、様々な分野で応用が期待されています。\n\n* **遺伝性疾患の治療:**  遺伝子変異による疾患の治療に利用されます。\n* **作物の品種改良:**  作物の収量、耐病性、耐寒性などを向上させることができます。\n* **バイオ医薬品開発:**  遺伝子編集により、より効果的な医薬品を開発することができます。\n\n**3. CRISPR-Cas9の倫理的課題**\n\nCRISPR-Cas9の強力な機能は、同時に倫理的な課題をもたらします。\n\n* **ヒト胚の編集:**  ヒト胚の遺伝子編集は、生命の尊厳や倫理的な問題を提起します。\n* **遺伝子ドライブ:**  遺伝子編集によって、特定の生物の遺伝子配列が変化し、生態系に大きな影響を与える可能性があります。\n* **人間の本質的な改変:**  遺伝子編集によって、人間の遺伝子配列が変化し、人間の本質的な性質が変化する可能性があります。\n* **不平等と差別:**  遺伝子編集技術の利用によって、富裕層や特定の集団に優位性を与える可能性があります。\n\n\n**4. 国際的な議論**\n\nCRISPR-Cas9の利用範囲や規制のあり方について、国際的な議論が続いています。\n\n* **倫理的ガイドライン:**  国際的な倫理的ガイドラインの策定が求められています。\n* **規制の強化:**  遺伝子編集技術の利用を規制する法律や制度の整備が重要です。\n* **透明性と公正性:**  遺伝子編集技術の利用に関する情報公開と、公正なアクセスを確保することが重要です。\n\n\n\n\nCRISPR-Cas9は、人類の健康と福祉に大きな可能性をもたらす技術ですが、同時に倫理的な課題も抱えています。国際的な議論と規制の強化を通じて、技術の利用を安全かつ倫理的に行うことが重要です。'},
 {'question': 'ダークマターの存在を示唆する観測証拠と、現在提案されている主要な理論モデルについて説明してください。',
  'answer': 'ダークマターの存在を示唆する主な観測証拠には、銀河の回転曲線、重力レンズ効果、宇宙マイクロ波背景放射の温度揺らぎがあります。これらは、通常の物質だけでは説明できない重力効果を示しています。現在提案されている主要な理論モデルには、冷たいダークマター（CDM）理論があり、WIMPs（弱い相互作用をする重い粒子）やアクシオンなどの粒子が候補として挙げられています。また、修正重力理論（MOND）のような代替理論も提案されていますが、現在のところCDMモデルが最も広く受け入れられています。',
  'response': '##  ダークマターの存在を示唆する観測証拠と理論モデルについて\n\n**質問:** ダークマターの存在を示唆する観測証拠と、現在提案されている主要な理論モデルについて説明してください。\n\n**回答:**\n\nダークマターの存在を示唆する観測証拠は、宇宙の構造と性質を理解する上で重要な役割を果たしています。\n\n**主な観測証拠:**\n\n* **銀河の回転曲線:**  銀河は、中心に向かって回転しています。これは、通常の物質だけで説明できない重力効果を示しており、ダークマターの存在を支持しています。\n* **重力レンズ効果:**  ダークマターが存在すると、光が重力場を通り抜ける際にレンズ効果が現れます。これは、通常の物質では説明できない、光が歪められる現象です。\n* **宇宙マイクロ波背景放射の温度揺らぎ:**  宇宙マイクロ波背景放射は、宇宙の初期状態を記録したものであり、温度の揺らぎはダークマターの存在を示唆しています。\n\n**主要な理論モデル:**\n\n* **冷たいダークマター（CDM）理論:**  ダークマターは、非常に冷たい状態にあると考えられています。この理論では、ダークマターは通常の物質よりもはるかに多く存在し、重力効果を大きく影響しています。 CDM理論では、WIMPs（弱い相互作用をする重い粒子）やアクシオンなどの粒子が候補として挙げられています。\n* **修正重力理論（MOND）:**  通常の重力理論では説明できない、銀河の回転曲線や重力レンズ効果を説明するために、ダークマターの役割を限定的に考慮した理論です。MOND理論では、ダークマターの存在は銀河の回転曲線や重力レンズ効果を説明する上で重要な役割を果たすと考えられています。\n\n**現在の状況:**\n\n現在のところ、CDM理論が最も広く受け入れられています。'}]

以下は上記の質問questionと回答answerに加え、別の生成AIの回答がresponseとして含まれています。
questionに対するanswerとresponseを比較して、それぞれのquestionに対するresponseが正解かどうかを教えてください。

...(以降先ほどのものを貼り付け)...

それぞれの質問に対するresponseの正確性を評価します：

量子もつれに関する質問：
正解です。responseは量子もつれの概念を正確に説明し、量子アルゴリズムでの活用例（ショアのアルゴリズム、グローバーのアルゴリズム）も適切に述べています。さらに、量子化学計算や量子力学研究への応用にも触れており、より包括的な回答となっています。

ゲーデルの不完全性定理に関する質問：
正解です。responseは不完全性定理の内容を正確に説明し、数学の基礎に与えた影響（完全性と一貫性への疑問、数学の限界、複雑性の強調、数学の進歩）を適切に述べています。answerよりも詳細な説明がなされています。

CRISPR-Cas9に関する質問：
正解です。responseはCRISPR-Cas9の仕組み、応用、倫理的課題を正確かつ詳細に説明しています。特に倫理的課題については、ヒト胚編集、遺伝子ドライブ、人間の本質的改変、不平等と差別など、具体的な問題点を挙げており、より包括的な回答となっています。

ダークマターに関する質問：
概ね正解ですが、一部不正確な点があります。responseは観測証拠（銀河の回転曲線、重力レンズ効果、宇宙マイクロ波背景放射）を正確に説明していますが、理論モデルの説明に若干の問題があります。特に、MONDをダークマターの存在を前提とした理論として説明している点が不正確です。MONDは実際には、ダークマターの存在を仮定せずに観測結果を説明しようとする代替理論です。

総じて、responseは高い正確性を持っていますが、ダークマターの理論モデルに関する説明には若干の改善の余地があります。