OpenAIとStreamlitで画像を英語で描写する練習ができるアプリを作ってみた

from openai import OpenAI
import requests

openai_api_key = os.getenv("OPENAI_API_KEY")
client = OpenAI(api_key=openai_api_key)

def get_problem(theme):
    generated = client.images.generate(
        model="dall-e-2",
        prompt=f"{theme}の一場面を写した写真を生成してください。",
        size="512x512",
        quality="standard",
        n=1,
    )

    data = requests.get(generated.data[0].url)
    with open("image.jpg", "wb") as f:
        f.write(data.content)
    return generated.data[0].url

def check_answer(image_url, answer):
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": f"私は画像を英文で描写する問題に取り組んでいます。入力された画像に対して私は{answer}と描写しました。正しく描写できているかどうか、英文に誤りがないかなどをチェックし、日本語で解説してください。",
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": image_url,
                        },
                    },
                ],
            }
        ],
    )

    return response.choices[0].message.content

image_url = get_problem("学生生活")
my_answer = input(
    "フォルダに生成されたimage.jpgを見て、画像を英文で描写してください。: "
)
ai_comment = check_answer(image_url=image_url, answer=my_answer)
print(ai_comment)

python main.py

フォルダに生成されたimage.jpgを見て、画像を英文で描写してください。: A girl is studying. She looks like struggling with her studies.

あなたの描写「A girl is studying. She looks like struggling with her studies.」はおおむね正しいですが、少し改善できます。以下に詳しく説明します。

1. "like" の使い方: 英文では、「looks like」の後には通常名詞か代名詞を使用します。動詞が続く場合は、「looks as if」や「looks like she is」を使うのが一般的です。
2. 冗長性: 2つの文の間により良い接続を考慮すると、文が滑らかになります。

したがって、より適切な英訳は以下のようになります：
"A girl is studying. She looks as if she is struggling with her studies."

日本語で説明すると、以下のようなポイントに気をつけて改善された英文を使います：
1. 最初の「like」の使い方を修正し、「She looks as if she is」を使う。
2. 文をよりスムーズに繋げるために、完全な表現に変更する。

その結果、次のような改善された英文が得られます：
"A girl is studying. She looks as if she is struggling with her studies."

フォルダに生成されたimage.jpgを見て、画像を英文で描写してください。: There are many boys. They are playing baseball.

この画像を基にした描写「There are many boys. They are playing baseball.」は正しくありません。

画像には、1人の女の子が写っています。彼女は制服を着ていて、視線を横に向けているようです。「There are many boys. They are playing baseball.」の文は、この画像の状況を正確に反映して
いません。

より適切な英文の描写例としては：
「There is a girl wearing a uniform. She is looking to the side.」
が考えられます。

日本語での解説：
- 「There are many boys.」は「たくさんの男の子がいます」という意味ですが、この画像には男の子たちは描かれていません。
- 「They are playing baseball.」は「彼らは野球をしています」という意味ですが、画像の女の子は野球をしていません。
- よって、正確な描写は「制服を着た女の子がいます。彼女は横を向いています。」といった説明が適しています。

from openai import OpenAI
import os
import requests

openai_api_key = os.getenv("OPENAI_API_KEY")
client = OpenAI(api_key=openai_api_key)

def get_problem(theme):
    generated = client.images.generate(
        model="dall-e-2",
        prompt=f"{theme}の一場面を写した写真を生成してください。",
        size="512x512",
        quality="standard",
        n=1,
    )

    data = requests.get(generated.data[0].url)
    with open("image.jpg", "wb") as f:
        f.write(data.content)
    return generated.data[0].url

def check_answer(image_url, answer):
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": f"私は画像を英文で描写する問題に取り組んでいます。入力された画像に対して私は{answer}と描写しました。正しく描写できているかどうか、英文に誤りがないかなどをチェックし、日本語で解説してください。",
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": image_url,
                        },
                    },
                ],
            }
        ],
    )

    return response.choices[0].message.content

image_url = get_problem("学生生活")
my_answer = input(
    "フォルダに生成されたimage.jpgを見て、画像を英文で描写してください。: "
)
ai_comment = check_answer(image_url=image_url, answer=my_answer)
print(ai_comment)

pip install streamlit

streamlit run main.py

st.title("画像を英文で描写する問題ジェネレーター")  # これを追加

image_url = get_problem("学生生活")
my_answer = input(
    "フォルダに生成されたimage.jpgを見て、画像を英文で描写してください。: "

st.title("画像を英文で描写する問題ジェネレーター")

theme = st.selectbox(
    "テーマを選択してください",
    ["学生生活", "旅行", "仕事", "スポーツ", "自然"],
)

if st.button("画像を生成"):
    with st.spinner("画像を生成中..."):
        image_url = get_problem(theme)
        st.image(image_url)

if st.button("画像を生成"):
    with st.spinner("画像を生成中..."):
        image_url = get_problem(theme)
        st.image(image_url)

        st.write("生成された画像を見て、画像を英文で描写してください。")
        my_answer = st.text_area("英文の回答", height=200)

my_answer = input(
    "フォルダに生成されたimage.jpgを見て、画像を英文で描写してください。: "
)

if st.button("画像を生成"):
    with st.spinner("画像を生成中..."):
        image_url = get_problem(theme)
        st.image(image_url)

        st.write("生成された画像を見て、画像を英文で描写してください。")
        my_answer = st.text_area("英文の回答", height=200)

        if st.button("回答をチェック"):
            with st.spinner("チェック中..."):
                ai_comment = check_answer(image_url=image_url, answer=my_answer)
                st.write(ai_comment)

# 初期化
if "image_url" not in st.session_state:
    st.session_state.image_url = ""
if "my_answer" not in st.session_state:
    st.session_state.my_answer = ""

if st.button("画像を生成"):
    # 画像を生成ボタンを押されたら、画像も回答もクリアする
    st.session_state.image_url = ""
    st.session_state.my_answer = ""

    with st.spinner("画像を生成中..."):
        # 画像をセッションに保存
        st.session_state.image_url = get_problem(theme)

# 画像がセッションに存在したら、画像と回答用テキストエリアを表示する
if st.session_state.image_url != "":
    # セッションに保存されている画像を表示する
    st.image(st.session_state.image_url)

    st.write("生成された画像を見て、画像を英文で描写してください。")
    # 回答をセッションに保存
    st.session_state.my_answer = st.text_area("英文の回答", height=200)

    if st.button("回答をチェック"):
        with st.spinner("チェック中..."):
            ai_comment = check_answer(
                image_url=st.session_state.image_url, answer=st.session_state.my_answer
            )
            st.write(ai_comment)

from openai import OpenAI
import os
import streamlit as st

openai_api_key = os.getenv("OPENAI_API_KEY")
client = OpenAI(api_key=openai_api_key)

# 初期化
if "image_url" not in st.session_state:
    st.session_state.image_url = ""
if "my_answer" not in st.session_state:
    st.session_state.my_answer = ""

def get_problem(theme):
    generated = client.images.generate(
        model="dall-e-2",
        prompt=f"{theme}の一場面を写した写真を生成してください。",
        size="512x512",
        quality="standard",
        n=1,
    )

    return generated.data[0].url

def check_answer(image_url, answer):
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": f"私は画像を英文で描写する問題に取り組んでいます。入力された画像に対して私は{answer}と描写しました。正しく描写できているかどうか、英文に誤りがないかなどをチェックし、日本語で解説してください。",
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": image_url,
                        },
                    },
                ],
            }
        ],
    )

    return response.choices[0].message.content

st.title("画像を英文で描写する問題ジェネレーター")

theme = st.selectbox(
    "テーマを選択してください",
    ["学生生活", "旅行", "仕事", "スポーツ", "自然"],
)

if st.button("画像を生成"):
    # 画像を生成ボタンを押されたら、画像も回答もクリアする
    st.session_state.image_url = ""
    st.session_state.my_answer = ""

    with st.spinner("画像を生成中..."):
        # 画像をセッションに保存
        st.session_state.image_url = get_problem(theme)

# 画像がセッションに存在したら、画像と回答用テキストエリアを表示する
if st.session_state.image_url != "":
    # セッションに保存されている画像を表示する
    st.image(st.session_state.image_url)

    st.write("生成された画像を見て、画像を英文で描写してください。")
    # 回答をセッションに保存
    st.session_state.my_answer = st.text_area("英文の回答", height=200)

    if st.button("回答をチェック"):
        with st.spinner("チェック中..."):
            ai_comment = check_answer(
                image_url=st.session_state.image_url, answer=st.session_state.my_answer
            )
            st.write(ai_comment)

openai_api_key = os.getenv("OPENAI_API_KEY") or st.secrets["openai_api_key"]

pip freeze > requirements.txt

api_key = st.sidebar.text_input("OpenAI API Key", type="password")
client = OpenAI(api_key=api_key)