Parallel hisoblashlar — kompyuter hisoblashlarini tashkil etish usuli bo‘lib, bunda dasturlar o‘zaro ta’sirlashuvchi, parallel (bir vaqtda) ishlaydigan hisoblash jarayonlari majmuasi sifatida ishlab chiqiladi. Bu atama dasturlashdagi parallellik bilan bog‘liq masalalarni, shuningdek, samarali ishlaydigan apparat yechimlarini yaratishni ham qamrab oladi. Parallel hisoblashlar nazariyasi algoritmlar amaliy nazariyasining bir bo‘limini tashkil etadi.
Parallel hisoblashlarni amalga oshirishning turli usullari mavjud. Masalan, har bir hisoblash jarayoni operatsion tizim jarayoni ko‘rinishida amalga oshirilishi yoki hisoblash jarayonlari bitta jarayon doirasidagi bajarilish oqimlari majmuasidan iborat bo‘lishi mumkin. Parallel dasturlar amalda yagona protsessorda — har bir hisoblash jarayonining bajarilish bosqichlarini navbatma-navbat almashtirish orqali ketma-ket yoki har bir hisoblash jarayoniga bir yoki bir nechta protsessor ajratish orqali parallel bajarilishi mumkin (bunday protsessorlar bir joyda yoki taqsimlangan kompyuter tarmog‘ida joylashgan bo‘lishi mumkin).
Parallel dasturlarni loyihalashdagi asosiy murakkablik — turli hisoblash jarayonlari o‘rtasidagi o‘zaro ta’sirlarning to‘g‘ri ketma-ketligini ta’minlash, shuningdek, jarayonlar birgalikda foydalanadigan resurslarni muvofiqlashtirishdir.
Parallel jarayonlarning o‘zaro ta’sirini sinxronlashtirish usullari
Ba’zi parallel dasturlash tizimlarida komponentlar o‘rtasidagi ma’lumot uzatish dasturchidan yashiriladi (masalan, va’dalar (promises) mexanizmi yordamida), boshqa tizimlarda esa uni aniq ko‘rsatish talab etiladi. Aniq belgilangan o‘zaro ta’sirlarni ikki turga ajratish mumkin:
- O‘zaro ta’sirning umumiy xotira orqali amalga oshirilishi: ko‘p protsessorli tizimning har bir protsessorida bitta jarayonga tegishli bajarilish oqimi ishga tushiriladi. Oqimlar shu jarayon uchun umumiy bo‘lgan xotira sohasi orqali ma’lumot almashadi. Oqimlar soni protsessorlar soniga teng bo‘ladi. Oqimlar dasturlash tili vositalari bilan (masalan, Java yoki C#, C++ (C++11 versiyasidan boshlab), C (C11 versiyasidan boshlab)), kutubxonalar yordamida bevosita (masalan, C/C++ da PThreads orqali), deklarativ usulda (masalan, OpenMP kutubxonasi yordamida) yoki kompilyatorning ichki vositalari orqali avtomatik tarzda (masalan, High Performance Fortran) yaratiladi. Parallel dasturlashning bu turi odatda oqimlar ishini o‘zaro muvofiqlashtirish uchun qandaydir bloklash yoki sinxronlashtirish mexanizmlarini (mutekslar, semaforlar, monitorlar) talab qiladi.
- O‘zaro ta’sirning xabarlar uzatish orqali amalga oshirilishi: ko‘p protsessorli tizimning har bir protsessorida bitta oqimli jarayon ishga tushiriladi. U boshqa protsessorlarda ishlayotgan jarayonlar bilan xabarlar yordamida ma’lumot almashadi. Jarayonlar operatsion tizimning tegishli funksiyasini chaqirish orqali bevosita yaratiladi, xabar almashish esa kutubxona (masalan, MPI protokolining amalga oshirilishi) yoki dasturlash tili vositalari (masalan, High Performance Fortran, Erlang yoki occam) yordamida tashkil etiladi. Xabar almashish asinxron tarzda yoki «randevu» usuli bilan amalga oshirilishi mumkin. «Randevu» usulida jo‘natuvchi o‘z xabari yetkazilmaguncha bloklanadi. Asinxron xabar uzatish ishonchli (yetkazib berilishi kafolatlangan) yoki ishonchsiz bo‘lishi mumkin.
Xabar almashishga asoslangan parallel tizimlarni tushunish ko‘pincha umumiy xotirali tizimlarga qaraganda osonroq; ular odatda parallel dasturlashning yanada rivojlangan usuli hisoblanadi. Xabar uzatish tizimlarini o‘rganish va tahlil qilish uchun ko‘plab matematik nazariyalar mavjud, jumladan, aktorlar modeli hamda jarayonlar hisobining turli ko‘rinishlari. Xabar almashish simmetrik ko‘p protsessorli tizimlarda xotira kogerentligi (muvofiqligi) ta’minlangan umumiy xotira mavjud bo‘lganda ham, bunday xotira bo‘lmaganda ham samarali amalga oshirilishi mumkin.
Taqsimlangan xotiraga asoslangan parallellik va xabar uzatishga asoslangan parallellikning unumdorlik xususiyatlari turlicha. Odatda (lekin har doim ham emas) xabar uzatuvchi tizimlarda har bir jarayon uchun xotira sarfi va vazifalarni almashtirishga ketadigan vaqt kamroq bo‘ladi, ammo xabarlarni uzatishning o‘zi protseduralarni chaqirishdan ko‘ra ko‘proq qo‘shimcha xarajat talab qiladi. Bu farqlar ko‘pincha unumdorlikka ta’sir etuvchi boshqa omillar hisobiga sezilmay qoladi.
- Gibrid usul: taqsimlangan xotirali ko‘p protsessorli tizimlarda (DM-MIMD), agar tizimning har bir tuguni umumiy xotirali ko‘p protsessorli kompyuterdan iborat bo‘lsa (SM-MIMD), dasturlashning gibrid usulidan foydalanish mumkin. Tizimning har bir tugunida ko‘p oqimli jarayon ishga tushirilib, u oqimlarni shu tugunning protsessorlari o‘rtasida taqsimlaydi. Tugun ichidagi oqimlar o‘rtasida ma’lumot almashish umumiy xotira orqali, tugunlar o‘rtasida esa xabar uzatish orqali amalga oshiriladi. Bunda jarayonlar soni tugunlar soniga, oqimlar soni esa har bir tugundagi protsessorlar soniga bog‘liq. Gibrid dasturlash usuli murakkabroq (parallel dasturni maxsus tarzda qayta yozish zarur), ammo ko‘p protsessorli tizimning har bir tugunidagi apparat resurslaridan foydalanishda eng samarali hisoblanadi.
- Shu munosabat bilan so‘nggi vaqtlarda yirik miqyosda parallellashtirish va kichik miqyosda parallellashtirish atamalari keng tarqaldi. Yirik miqyosda parallellashtirish deganda ko‘p yadroli protsessorlar va/yoki hisoblash uchun mo‘ljallangan videokartalarga ega yirik hisoblash tugunlarida parallel hisoblashlarni bajarish tushuniladi. Bunda taqsimlangan xotirali tizimni tashkil etuvchi hisoblash tugunlari o‘rtasidagi o‘zaro aloqani MPI texnologiyasi ta’minlaydi. Har bir tugun ichida esa kichik miqyosda parallellashtirish amalga oshiriladi: umumiy xotirali ko‘p yadroli protsessorning barcha yadrolari bo‘ylab hisoblashlarni parallellashtirish uchun OpenMP texnologiyasi va/yoki umumiy xotirali hisoblash videokartasining barcha yadrolari bo‘ylab parallellashtirish uchun CUDA texnologiyasi qo‘llaniladi.
- Albatta, bunday tizimda faqat xabar uzatish usulidan ham foydalanish mumkin: buning uchun har bir tugunning har bir protsessorida alohida jarayon ishga tushiriladi. Bu holda jarayonlar (va oqimlar) soni barcha tugunlardagi protsessorlarning jami soniga teng bo‘ladi. Bu usul sodda (parallel dasturdagi jarayonlar sonini oshirish kifoya), ammo samaradorligi pastroq, chunki bir tugundagi protsessorlar ham xuddi turli kompyuterlarda joylashgandek o‘zaro xabar almashadi.
Parallel hisoblashlarni qo‘llash mumkin bo‘lgan odatiy masalalar
Parallellikni ta’minlovchi dasturiy vositalar
- OpenMP — umumiy xotirali parallel tizimlar uchun amaliy dasturlash interfeysi standarti.
- POSIX Threads — bajarilish oqimlarini yaratish va boshqarish standarti.
- Windows API — C++ uchun ko‘p oqimli ilovalarni yaratish vositalari.
- PVM (Parallel Virtual Machine) tarmoq orqali bog‘langan turli xil kompyuterlar majmuasini yagona hisoblash resursiga birlashtirish imkonini beradi.
- MPI (Message Passing Interface) — parallel bajarilayotgan jarayonlar o‘rtasida xabar uzatish tizimlari standarti.
Adabiyotlar
- Kibernetika lug‘ati / Akademik muharrir: V. S. Mixalevich. — 2-nashr. — Kiyev: M. P. Bajan nomidagi Ukraina Sovet Ensiklopediyasining bosh tahririyati, 1989. — 751 bet. — (S48). — 50 000 nusxa — ISBN 5-88500-008-5.
- RS/6000 SP: MPI yordamida amaliy dasturlash (ingl.). — IBM RedBook, 1999. — 238 bet. — [Arxiv sanasi: 19 yanvar, 2008 yil.]
- Voyevodin V. V., Voyevodin Vl. V. Parallel hisoblashlar. — Sankt-Peterburg: BXV-Peterburg, 2002. — 608 bet. — ISBN 5-94157-160-7.
- Olenyev N. N. MPI tizimida parallel dasturlash asoslari. — Moskva: Rossiya Fanlar akademiyasi Hisoblash markazi, 2005. — 80 bet. — ISBN 5201098320.
- Lukyanenko D. V. MPI yordamida parallel dasturlash amaliyoti. — Moskva: LENAND, 2024. — 339 bet. — ISBN 9785002370344.
- Valkovskiy V. A., Malishkin V. E. Zamonaviy dasturlash va superkompyuterlar elementlari. — Novosibirsk: Nauka, 1990. — 144 bet. — ISBN 5-02-029652-X.
Havolalar
- DataGrid loyihasi (ingl.)
- Open Grid Forum (ingl.)