In diesem Artikel erfahren Sie, wie Sie in 5 Minuten einen lokalen GPT-Chat ausführen, der auf Ihren benutzerdefinierten Daten trainiert wird.
Ein individuell geschulter LLM-Bot kann hervorragend zum Scannen großer Datenmengen und zum Führen einer domänenspezifischen Konversation geeignet sein. Sie können Ihren Bot beispielsweise anhand einer Wissensdatenbank des Unternehmens, Schulungsmaterialien, finanzieller und rechtlicher Informationen schulen oder sogar Ihre Reiseideen teilen, um Ihre perfekte Route zu planen 🙂
Dies kann in 5 Minuten erledigt werden; lass uns zur Arbeit gehen.
Voraussetzungen:
- In diesem Artikel wird davon ausgegangen, dass Sie Python 3.*.* und Pip installiert haben (kann heruntergeladen werden). Hier). Um dies zu überprüfen, öffnen Sie bitte Ihr Terminal und geben Sie Folgendes ein:
python --versionODERpython3 --version
Und wenn Sie es richtig eingerichtet haben, sollten Sie etwa Folgendes erhalten:
(Stellen Sie sicher, dass Sie in diesem Handbuch stets die richtige Python-Referenz verwenden.)
pip --versionODERpip3 --version
Und wenn Sie es richtig eingerichtet haben, sollten Sie etwa Folgendes erhalten:
(Stellen Sie sicher, dass Sie in diesem Handbuch stets die richtige Pip-Referenz verwenden.)
- In diesem Artikel wird davon ausgegangen, dass Sie bereits über ein OpenAi-Konto verfügen (das erstellt werden kann). Hier)
- Bereiten Sie einige Daten auf Englisch vor; Ich empfehle, mit weniger als 100 MB zu beginnen und langsam mehr hinzuzufügen. Daten können beispielsweise im PDF-, CSV- oder TXT-Format vorliegen.
(1) Im Terminal:
- Aktualisieren Sie Pip (Python-Paketmanager):
python -m pip set up -U pip - Installieren Sie die folgenden Bibliotheken:
pip set up openai gpt_index==0.4.24 langchain==0.0.118 PyPDF2 PyCryptodome gradio
OpenAI – Massive Language Mannequin (LLM) zum Erstellen und Trainieren des KI-Chatbots.
GPT-Index – für die Verbindung mit Ihren Daten.
PyPDF2 – zum Phrasieren von PDFs.
Gradio – Chatbot-Benutzeroberfläche.
Lang Chain – ein Framework zur Entwicklung von Anwendungen, die auf Sprachmodellen basieren.
- Jetzt erstellen wir Ihren Bot. Navigieren Sie zu dem Ordner, in dem Sie den Bot erstellen möchten:
mkdir chatbot
cd chatbot
mkdir docs
contact app.py
(2) Öffnen Sie in Ihrem bevorzugten Code- oder Texteditor app.pyfügen Sie den folgenden Code ein und speichern Sie ihn anschließend:
os.environ["OPENAI_API_KEY"] = 'Your Secret API Key'def construct_index(directory_path):
max_input_size = 4096
num_outputs = 512
max_chunk_overlap = 20
chunk_size_limit = 600
prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit)
llm_predictor = LLMPredictor(llm=ChatOpenAI(temperature=0.7, model_name="gpt-3.5-turbo", max_tokens=num_outputs))
paperwork = SimpleDirectoryReader(directory_path).load_data()
index = GPTSimpleVectorIndex(paperwork, llm_predictor=llm_predictor, prompt_helper=prompt_helper)
index.save_to_disk('index.json')
return index
def chatbot(input_text):
index = GPTSimpleVectorIndex.load_from_disk('index.json')
response = index.question(input_text, response_mode="compact")
return response.response
iface = gr.Interface(fn=chatbot,
inputs=gr.elements.Textbox(traces=7, label="Enter your textual content"),
outputs="textual content",
title="Customized-trained AI Chatbot")
index = construct_index("docs")
iface.launch(share=True)
(3) Verschieben Sie nun Ihre Datendateien in die neu erstellte Datei /chatbot/docs Ordner.
(4) Im Browser:
- Holen Sie sich einen kostenlosen API-Schlüssel für OpenAi, indem Sie zu folgendem Hyperlink navigieren: https://platform.openai.com/account/api-keys
- Melden Sie sich bei Bedarf an.
- Klicken Sie auf „+ Neuen geheimen Schlüssel erstellen“.
- Geben Sie Ihrem Schlüssel einen Namen und klicken Sie auf „Geheimen Schlüssel erstellen“.
- Kopieren Sie den Schlüssel und bewahren Sie ihn für die nächsten Schritte auf.
- Fügen Sie den Schlüssel in app.py ein und ersetzen Sie „Ihr geheimer API-Schlüssel“.
(5) Zurück im Terminal am /chatbot/ Ordner ausführen: python app.py
(6) Öffnen Sie Ihren Lieblingsbrowser und öffnen Sie diese URL: http://127.0.0.1:7860
Das ist es. Du bist fertig! Und sollte so etwas sehen:
Jetzt liegt es an Ihnen, wertvolle Informationen zu finden, die Sie Ihrem Bot beibringen können, und herauszufinden, wie Sie davon profitieren können.
