ローカルでも動く！？日本語に特化した強化学習済み対話GPT言語モデルを検証してみる

!pip install transformers sentencepiece

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
# トークナイザのインストール
tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt-neox-3.6b-instruction-ppo", use_fast=False)
# modelのインストール
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-neox-3.6b-instruction-ppo")
# モデルをGPU上に配置
if torch.cuda.is_available():
    model = model.to("cuda")

prompt = [
    {
        "speaker": "ユーザー",
        "text": "コンタクトレンズを慣れるにはどうすればよいですか？"
    },
    {
        "speaker": "システム",
        "text": "これについて具体的に説明していただけますか？何が難しいのでしょうか？"
    },
    {
        "speaker": "ユーザー",
        "text": "目が痛いのです。"
    },
    {
        "speaker": "システム",
        "text": "分かりました、コンタクトレンズをつけると目がかゆくなるということですね。思った以上にレンズを外す必要があるでしょうか？"
    },
    {
        "speaker": "ユーザー",
        "text": "いえ、レンズは外しませんが、目が赤くなるんです。"
    }
]
prompt = [
    f"{uttr['speaker']}: {uttr['text']}"
    for uttr in prompt
]
prompt = "<NL>".join(prompt)
prompt = (
    prompt
    + "<NL>"
    + "システム: "
)
print(prompt)

1. ユーザー: コンタクトレンズを慣れるにはどうすればよいですか？
2. システム: これについて具体的に説明していただけますか？何が難しいのでしょうか？
3. ユーザー: 目が痛いのです。
4. システム: 分かりました、コンタクトレンズをつけると目がかゆくなるということですね。思った以上にレンズを外す必要があるでしょうか？
5. ユーザー: いえ、レンズは外しませんが、目が赤くなるんです。
6. システム: 

token_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        do_sample=True,
        max_new_tokens=128,
        temperature=0.7,
        repetition_penalty=1.1,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id
    )

output = tokenizer.decode(output_ids.tolist()[0][token_ids.size(1):])
output = output.replace("<NL>", "\n")
print(output)

それはコンタクトレンズによる目の刺激が原因である可能性が高いです。
コンタクトレンズを長時間つけないようにしたり、コンタクトレンズを頻繁に外して目を休めたりすることで改善されることがあります。
また、コンタクトレンズを着用したまま寝ないようにすることも大切です。
これにより、目に継続的な刺激を与えることが少なくなります。
さらに、コンタクトレンズケースやコンタクトレンズ用クリーナーなどのケア用品を使用することで、コンタクトレンズの汚れを減らすことができます。</s>

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
# nvidia-dockerのインストール
sudo apt-get update
sudo apt-get install -y nvidia-docker2

nvidia-docker run --rm nvidia/cuda:12.1.0-base-ubuntu20.04 nvidia-smi

$ cat Dockerfile
FROM pytorch/pytorch:1.12.1-cuda11.3-cudnn8-devel

USER root

RUN apt-get update && apt-get -y upgrade
RUN apt install -y curl python3 python3-distutils
RUN curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py && python3 get-pip.py

RUN pip install \
        jupyter \
        jupyterlab \
        numpy \
        pandas \
        matplotlib \
        scikit-learn \
        scikit-image \
        scipy \
        tqdm \
        albumentations \
        transformers \
        sentencepiece

$ nvidia-docker build . -t my-nvidia-cuda

$ nvidia-docker run -it --rm --gpus all -v `pwd`/src:/code -p 8888:8888 --name my-jupyter my-nvidia-cuda sh -c 'jupyter-lab --allow-root --ip=*'

!nvidia-smi

import torch
# バージョン
print(torch.__version__)
# GPUの利用可能かどうか
print(torch.cuda.is_available())
# PyTorchで使用できるGPU
print(torch.cuda.device_count())
# デフォルトのGPU番号（インデックス）
print(torch.cuda.current_device())
# GPUの名称
print(torch.cuda.get_device_name())

!pip install accelerate bitsandbytes

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
    "rinna/japanese-gpt-neox-3.6b-instruction-ppo",
    use_fast=False
)
model = AutoModelForCausalLM.from_pretrained(
    "rinna/japanese-gpt-neox-3.6b-instruction-ppo",
    load_in_4bit=True,
    device_map="auto",
)

それはコンタクトレンズによるアレルギー反応のようですね。
コンタクトレンズを正しくつけているかどうかを確認してみましょう。
また、必要に応じて医師の診察を受けることもできます。
コンタクトレンズの正しい付け方を教わっておくことで、トラブルが起こった場合に対処することができます。</s>