Naidoo Sershen I recommend https://spacy.io/ for NLP tasks.

thanks...let me try it

I wrote a small Python program that:

1. Takes bibliographic references to texts on the Internet from a special file.

2. Forms a task for ChatGPT from these links and a template that is in a separate file.

3. Accesses ChatGPT with this task.

4. Puts the results of the tasks in a separate folder.

import os

import time

from docx import Document

import openai

# Замените YOUR_API_KEY на свой API-ключ от OpenAI

openai.api_key = "........"

# Функция для чтения абзацев из файла и вставки их в шаблон

def create_tasks_from_links():

template_file = "c:/1/ReviewTemplate.docx"

biblio_file = "c:/1/FullLinks.docx"

tasks_dir = "c:/1/Tasks"

# Создаем папку для заданий, если ее нет

if not os.path.exists(tasks_dir):

os.makedirs(tasks_dir)

template_doc = Document(template_file)

template_text = "\n".join([p.text for p in template_doc.paragraphs])

biblio_doc = Document(biblio_file)

total_tasks = 0

for paragraph in biblio_doc.paragraphs:

text = paragraph.text.strip()

if text:

task_text = template_text.replace("#######", text)

task_filename = "task{:03d}.docx".format(total_tasks)

task_path = os.path.join(tasks_dir, task_filename)

task_doc = Document()

task_doc.add_paragraph(task_text)

task_doc.save(task_path)

total_tasks += 1

print("Created {} tasks".format(total_tasks))

# Функция для создания рецензий на задания

def create_reviews_from_tasks():

tasks_dir = "c:/1/Tasks"

reviews_dir = "c:/1/Reviews"

# Создаем папку для рецензий, если ее нет

if not os.path.exists(reviews_dir):

os.makedirs(reviews_dir)

task_files = os.listdir(tasks_dir)

total_tasks = len(task_files)

for i, task_file in enumerate(task_files):

task_path = os.path.join(tasks_dir, task_file)

task_doc = Document(task_path)

task_text = "\n".join([p.text for p in task_doc.paragraphs])

# Определяем количество символов в тексте задания

task_chars = len(task_text)

# Определяем количество символов в рецензии, чтобы она составляла 70% страницы

review_chars = int(task_chars * 0.7)

# Устанавливаем минимальное количество символов в рецензии

min_chars = 2000

# Генерируем рецензию, пока она не будет достаточно длинной

review_text = ""

while len(review_text) < min_chars:

prompt_text = task_text[:2048] # Ограничиваем промпт первыми 1000 символами задания

review_text = openai.Completion.create(engine="gpt-3.5-turbo", prompt=prompt_text, max_tokens=review_chars).choices[0].text # Уменьшаем количество запрашиваемых токенов

review_text = review_text.strip()

# Добавляем подпись рецензента

review_text += "\n\nРецензент: ......."

review_filename = "review{:03d}.docx".format(i)

review_path = os.path.join(reviews_dir, review_filename)

review_doc = Document()

review_doc.add_paragraph(review_text)

review_doc.save(review_path)

print("Processed task {}/{}".format(i+1, total_tasks))

print("Done!")

if __name__ == '__main__':

# Вызываем функции и замеряем время выполнения

start_time = time.time()

create_tasks_from_links()

create_reviews_from_tasks()

print("Execution time: {:.2f} seconds".format(time.time()-start_time))

thanks for sharing

Hello,

If the system you will use in your question includes automation, I definitely recommend Azure-OpenAI services. However, of course, there are different Artificial Intelligence models that provide different API services depending on the dataset you will use. I gave examples of those actively used and developed at the bottom.

1-) ChatGPT4, 2-) ChatGPT, 3-) AzureOpenAI Services, 4-) Bard.

Kind regards.

Thanks Mahmut - I will look into this

You're welcome, Mr Naidoo Sershen.