PyTorch mashinaviy o‘rganish kutubxonasi

PyTorch
Логотип программы PyTorch
Turi Mashinali va chuqur o‘rganish kutubxonasi
Mualliflari Adam Pashke, Sem Gross, Sumit Chintala, Gregori Chanan
Quyidagi tillarda yozilgan Python, C++, CUDA
Operatsion tizimlar Linux, macOS, Windows
Chiqarilgan sana oktabr 2016
So‘nggi versiyasi
Repozitoriy github.com/pytorch/pytor…
Litsenziya BSD
Veb-sayti pytorch.org (ingl.)
Логотип Викисклада Vikiombordagi mediafayllar

PyTorch — mashinali o‘rganish uchun Python tilida ishlovchi freymvork bo‘lib, ochiq manba kodiga ega va Torch asosida yaratilgan. U turli masalalarni, jumladan, kompyuter ko‘rishi, tabiiy tilni qayta ishlash bilan bog‘liq vazifalarni bajarishda qo‘llanadi. Uni asosan Facebook kompaniyasining sun’iy intellekt guruhi rivojlantiradi. Bu freymvork atrofida boshqa jamoalar ishlab chiqqan turli kutubxonalardan iborat ekotizim ham shakllangan: PyTorch Lightning va Fast.ai — modellarni o‘qitishni soddalashtiruvchi kutubxonalar, Pyro (ehtimollik asosida dasturlash[ingl.] uchun mo‘ljallangan modul) — Uber mahsuloti, Flair — tabiiy tilni qayta ishlash, Catalyst esa DL va RL modellarini o‘qitish uchun mo‘ljallangan.

PyTorch yuqori darajadagi ikkita asosiy modelni taqdim etadi:

  • Tenzorli hisoblashlar (NumPyga o‘xshash) va ularni tezlashtirish uchun GPU;
  • Avtomatik differensiallash (autodiff) tizimiga asoslangan chuqur neyron tarmoqlar.

PyTorch tenzorlari

Tenzorlar g‘ayrioddiy tuzilmalar emas, balki oddiy ko‘p o‘lchamli massivlardir. PyTorch tenzorlari (Tensors) NumPy paketi massivlariga o‘xshaydi, biroq ularni grafik tezlatkichlarda ham qayta ishlash mumkin. PyTorch turli turdagi tenzorlarni qo‘llab-quvvatlaydi.

Modullar

Autograd moduli

PyTorch avtomatik differensiallash usulidan foydalanadi. To‘g‘ri yo‘nalishda bajarilgan hisoblashlar qayd etiladi, so‘ng ular teskari tartibda takrorlanib, gradientlar hisoblab chiqiladi (xatoni teskari tarqatish — backpropagation). Bu usul, ayniqsa, neyron tarmoqlarini yaratishda foydalidir, chunki u parametrlarning differensial tuzatishlarini to‘g‘ri o‘tish jarayoni bilan bir vaqtda hisoblash imkonini beradi.

Optim moduli

torch.optim — neyron tarmoqlarni yaratishda ishlatiladigan bir necha optimallashtirish algoritmlarini amalga oshiruvchi modul. Eng ko‘p qo‘llanadigan usullarning aksariyati unda mavjud.

nn moduli

PyTorch’ning autograd moduli hisoblash graflarini oson belgilash va gradientlar bilan ishlash imkonini beradi, ammo murakkab neyron tarmoqlarni aniqlash uchun yetarlicha yuqori darajada bo‘lmasligi mumkin. Bunday vazifalarda yuqori darajadagi abstraksiyani taqdim etuvchi modul — nn.

Misol

Quyidagi kod kutubxonaning imkoniyatlarini sodda misolda ko‘rsatadi:

import torch
dtype = torch.float
device = torch.device("cpu") # Выполнение всех вычислений на центральном процессоре
# device = torch.device("cuda:0") # Выполнение всех вычислений на графическом процессоре

# Создание тензора и заполнение тензора случайными числами
a = torch.randn(2, 3, device=device, dtype=dtype)
print(a) # Вывод тензора A
# Вывод: tensor([[-1.1884,  0.8498, -1.7129],
#                  [-0.8816,  0.1944,  0.5847]])

# Создание тензора и заполнение тензора случайными числами
b = torch.randn(2, 3, device=device, dtype=dtype)
print(b) # Вывод тензора B
# Вывод: tensor([[ 0.7178, -0.8453, -1.3403],
#                  [ 1.3262,  1.1512, -1.7070]])

print(a*b) # Вывод произведения двух тензоров
# Вывод: tensor([[-0.8530, -0.7183,  2.58],
#                  [-1.1692,  0.2238, -0.9981]])

print(a.sum()) # Вывод суммы всех элементов тензора A
# Вывод: tensor(-2.1540)

print(a[1,2]) # Вывод элемента в третьем столбце второй строки
# Вывод: tensor(0.5847)

print(a.min()) # Вывод минимального значения в тензоре A
# Вывод: tensor(-1.7129)

Adabiyotlar

  • Makmahan B., Rao D. PyTorch bilan tanishuv: tabiiy tilni qayta ishlashda chuqur o‘rganish = PyTorch bilan tabiiy tilni qayta ishlash. Chuqur o‘rganish yordamida intellektual til ilovalarini yaratish (Natural Language Processing with PyTorch. Build Intelligent Language Applications Using Deep Learning). — Piter, 2020. — 256 bet — ISBN 978-5-4461-1241-8.

Havolalar