آموزش پردازش زبان طبیعی با اکوسیستم هاگینگ فیس؛ تنظیم محیط کار (قسمت دوم)

به دوره آموزشپردازش زبان طبیعیبا اکوسیستم هاگینگ فیس خوش آمدید! در این پیش‌گفتار نحوه تنظیم محیط کار برای کار کردن روی پروژه‌ها را به شما توضیح می‌دهیم. اگر تازه دوره را آغاز کرده‌اید، توصیه می‌کنیم ابتدا نگاهی به بخش اول بیندازید، سپس برگردید و تنظیم محیط کار را انجام دهید تا بتوانید کدهای خود را اجرا کنید. در انتهای مطلب می‌توانید به بخش‌های دیگر دوره آموزشی پردازش زبان طبیعی دسترسی داشته باشید.

تمامی کتابخانه‌هایی که در این دوره استفاده خواهیم کرد در پایتون به عنوان پکیج در دسترس هستند. در این قسمت نحوه تنظیم محیط پایتون و نصب کتابخانه‌های موردنیاز را به شما نشان خواهیم داد.

در این قسمت دو روش مختلف برای تنظیم محیط کار را شرح خواهیم داد: 1. ایجاد یک نوت‌بوک در Colab و 2. ایجاد یکمحیط مجازی در پایتونPython virtual environment. برای تنظیم محیط کار خود می‌توانید از روشی که با آن راحت‌تر هستید استفاده کنید. اما پیشنهاد ما برای مبتدیان این است که کار خود را با نوت‌بوک Colab آغاز کنند.

توجه داشته باشید که ما با سیستم ویندوز کار نمی‌کنیم. بنابراین، اگر روی ویندوز کار می‌کنید، توصیه می‌کنیم از نوت‌بوک Colab استفاده کنید. اما اگر با سیستم‌عامل‌هایتوزیع لینوکسLinux distributionو macOS کار می‌کنید، می توانید از هر دو روش زیر استفاده کنید.

استفاده ازGoogle Colab

استفاده از نوت‌بوک‌های Colab ساده‌ترین روش ممکن برای تنظیم محیط کار است. تنها کافی است یک نوت‌بوک را در مرورگر خود راه‌اندازی کنید و سپس به راحتی برنامه‌نویسی را شروع کنید!

اگر با Colab آشنایی ندارید، توصیه می‌کنیم ابتدا به قسمت «مقدمه » این دوره بروید. Colab به شما امکان می دهد از برخی سخت‌افزارهای شتاب‌دهنده مانند GPU یا TPU استفاده کنید و برای پروژه‌هایی که پردازش کمتری نیاز داشته باشند رایگان است.

[irp posts=”23306″]

هنگامی که وارد Colab شدید، یک نوت‌بوک جدید ایجاد کنید تا تنظیم محیط کار آغاز شود

مرحله بعدی نصب کتابخانه‌هایی است که در این دوره استفاده خواهیم کرد. ما برای نصب از دستور pip استفاده خواهیم کرد. در نوت‌بو‌ک‌ها می‌توانید دستوراتی باید در سیستم اجرا شوند را با قرار دادن کارکتر «!» در ابتدای آن‌ها به راحتی اجرا کنید. بنابراین می توانید کتابخانهترنسفورمرTransformersرا به صورت زیر نصب کنید

!pip install transformers

با import کردن پکیج در پایتون، می توانید از نصب صحیح وکامل آن مطمئن شوید

import transformers

گیف زیر نتیجه دو دستور بالا را نشان می دهد

این کد یک نسخه بسیار سبک از ترنسفورمر را برای شما نصب می کند. یعنی هیچ یک از چهارچوب‌های کاری یادگیری ماشینی (مانند پایتورچ یا تنسورفلو) همراه با آن برای شما نصب نخواهد شد. از آن‌جا که از بسیاری از ویژگی‌های این کتابخانه استفاده خواهیم کرد، توصیه می کنیم نسخه development که حاوی تمام اجزای مورد نیازتان است را نصب کنید

!pip install transformers[sentencepiece]

نصب این کتابخانه کمی طول می کشد، اما با نصب آن برای ادامه این دوره کاملاً آماده خواهید بود.

[irp posts=”19838″]

استفاده از محیط مجازی پایتون

اگر کار با محیط مجازی پایتون را ترجیح می‌دهید، اولین قدم نصب پایتون بر روی سیستم‌ است. توصیه می‌کنیم برای نصب پایتون اینراهنمارا دنبال کنید.

پس از نصب پایتون، باید بتوانید دستورات پایتون را در ترمینال خود اجرا کنید. قبل از رفتن به مراحل بعدی برای اطمینان از نصب صحیح آن می توانید دستور python –version که نسخه پایتونی که هم‌اکنون در سیستم شما موجود است را چاپ کند، اجرا کنید.

هنگام اجرای یک دستور پایتون مانند python –version در ترمینال، باید درنظر بگیرید که برنامه دستور شما را به عنوان «main» روی سیستم اجرا می کند. ما توصیه می کنیم که هیچ پکیجی روی main نصب نکنید و از آن تنها برای ایجاد محیط‌های جداگانه برای هر پروژه استفاده کنید تا هر پروژه بتواند اجزا و پکیج‌های مخصوص به خود را داشته باشد. به این ترتیب، دیگر نیاز نیست نگران مشکلات احتمالی ناشی از عدم سازگاری پروژه‌ها با هم باشید.

در پایتون این کار با محیط‌های مجازی انجام می‌شود. یک محیط مجازی در واقع یک درخت است که ذاتاً حاوی دایرکتوری‌ است که نسخه خاصی از پایتون به علاوه تمامی پکیج‌های موردنیاز برای پروژه مدنظر در آن نصب شده است. ابزارها و روش‌های مختلفی برای ایجاد چنین محیط مجازی وجود دارد، اما ما برای این منظور از پکیج رسمی پایتون به نام venv استفاده خواهیم کرد.

ابتدا باید دایرکتوری که می‌خواهید پروژه شما در آن ذخیره شود را انتخاب کنید. برای مثال، ممکن است بخواهید یک دایرکتوری جدید به نام transformers-course در مسیر صفحه اصلی خود ایجاد کنید

mkdir ~/transformers-course cd ~/transformers-course

در درون این دایرکتوری به کمک ماژول venv یک محیط مجازی ایجاد کنید

python -m venv .env

در پوشه ایجاد شده باید دایرکتوری با پسوند.envداشته باشید

ls -a

. .. .env

با استفاده از دو کلید واژه activate و deactivate به صورت زیر می‌توانید وارد محیط مجازی شده یا از آن خارج شوید

# Activate the virtual environment source .env/bin/activate # Deactivate the virtual environment source .env/bin/deactivate

با اجرای دستور which python می‌‌توانید مشاهده کنید که کدام محیط در حال‌حاضر برایتان فعال است. اگر در خروجی این دستور نام محیط مجازی خود را مشاهده کردید به این معناست که محیط مدنظر شما به درستی فعال شده است

which python

/home//transformers-course/.env/bin/python

[irp posts=”23350″]

نصب سایر اجزا و وابستگی‌ها

همانطور که پیش‌تر در مثال Google Colab نیز دیدید، نصب شدن پکیج‌های ضروری نیازمند نصب نسخه development کتابخانه ترنسفورمر است که به این منظور از دستور pip استفاده می کنیم

pip install "transformers[sentencepiece]"

حال همه چیز آماده است و می‌توانید به ادامه دوره بازگردید.

برای دسترسی به بخش‌های دیگر دوره آموزش پردازش زبان طبیعی از طریق لینک زیر اقدام کنید

[button href=”https://XNET.com/%D8%B1%D8%B3%D8%A7%D9%86%D9%87-%D9%87%D8%A7/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%BE%D8%B1%D8%AF%D8%A7%D8%B2%D8%B4-%D8%B2%D8%A8%D8%A7%D9%86-%D8%B7%D8%A8%DB%8C%D8%B9%DB%8C/” type=”btn-default” size=”btn-lg”]آموزش پردازش زبان طبیعی[/button]

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.