LangChain adalah kerangka kerja untuk membangun Model Bahasa berukuran besar menggunakan Kecerdasan Buatan sehingga dapat menghasilkan teks dan berinteraksi dengan manusia. Asyncio adalah perpustakaan yang dapat digunakan untuk memanggil model seperti LLM beberapa kali menggunakan perintah atau kueri yang sama. Ini juga memberikan peningkatan kecepatan kerja model LLM kami untuk menghasilkan teks secara efisien.
Artikel ini menunjukkan cara menggunakan perpustakaan “asyncio” di LangChain.
Bagaimana Cara Menggunakan/Mengeksekusi Perpustakaan “asyncio” di LangChain?
Async API dapat digunakan sebagai dukungan untuk LLM jadi untuk menggunakan perpustakaan asyncio di LangChain, cukup ikuti panduan ini:
Instal Prasyarat
Instal modul LangChain untuk mulai menggunakan perpustakaan asyncio di LangChain untuk memanggil LLM secara bersamaan:
pip Install rantailang
Modul OpenAI juga diperlukan untuk membangun LLM menggunakan OpenAIEmbeddings:
pip Install terbuka
Setelah instalasi, cukup konfigurasikan kunci API OpenAI menggunakan kode berikut:
impor kamiimpor getpass
os.lingkungan [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'Kunci API OpenAI:' )
Menggunakan asyncio untuk Membangun LLM
Pustaka asyncio dapat digunakan untuk mendukung LLM karena kode berikut menggunakannya di LangChain:
impor waktuimpor asyncio
#Mengimpor perpustakaan asyncio dari LangChain untuk menggunakannya
dari langchain.llms impor OpenAI
#define fungsi untuk mendapatkan stempel waktu pembuatan serial
def menghasilkan_serially ( ) :
llm = OpenAI ( suhu = 0,9 )
untuk _ di dalam jangkauan ( 5 ) :
resp = llm.generate ( [ 'Apa yang sedang kamu lakukan?' ] )
mencetak ( resp.generasi [ 0 ] [ 0 ] .teks )
#define fungsi untuk mendapatkan stempel waktu pembangkitan sinkron
async def async_generate ( llm ) :
resp = menunggu llm.agenerate ( [ 'Apa yang sedang kamu lakukan?' ] )
mencetak ( resp.generasi [ 0 ] [ 0 ] .teks )
#define fungsi untuk mendapatkan stempel waktu pembuatan data secara bersamaan
async def menghasilkan_bersamaan ( ) :
llm = OpenAI ( suhu = 0,9 )
tugas = [ async_generate ( llm ) untuk _ di dalam jangkauan ( 10 ) ]
tunggu asyncio.gather ( * tugas )
#konfigurasi keluaran yang dihasilkan menggunakan asyncio untuk mendapatkan keluaran bersamaan
s = waktu.perf_counter ( )
tunggu generate_concurrently ( )
berlalu = waktu.perf_counter ( ) - S
mencetak ( '\033[1m' + f 'Dieksekusi secara bersamaan dalam {elapsed:0.2f} detik.' + '\033[0m' )
#konfigurasi stempel waktu untuk keluaran yang dihasilkan untuk mendapatkan keluaran serial
s = waktu.perf_counter ( )
menghasilkan_serial ( )
berlalu = waktu.perf_counter ( ) - S
mencetak ( '\033[1m' + f 'Serial dieksekusi dalam {elapsed:0.2f} detik.' + '\033[0m' )
Kode di atas menggunakan perpustakaan asyncio untuk mengukur waktu pembuatan teks menggunakan dua fungsi berbeda seperti menghasilkan_serial() Dan menghasilkan_bersamaan() :
Keluaran
Tangkapan layar berikut menunjukkan bahwa kompleksitas waktu untuk kedua fungsi dan kompleksitas waktu pembuatan teks secara bersamaan lebih baik daripada pembuatan teks serial:
Itu semua tentang penggunaan perpustakaan “asyncio” untuk membangun LLM di LangChain.
Kesimpulan
Untuk menggunakan perpustakaan asyncio di LangChain, cukup Instal modul LangChain dan OpenAI untuk memulai prosesnya. Async API dapat membantu saat membangun model LLM untuk membuat chatbot untuk belajar dari percakapan sebelumnya. Panduan ini menjelaskan proses penggunaan perpustakaan asyncio untuk mendukung LLM menggunakan kerangka LangChain.