Графічні процесори виводять обробку великих обсягів даних на новий рівень

Наш общий бизнес-фронт BIKINIKA.com.ua

З тих пір як шість років тому графічні чіпи отримали уніфіковану шейдерну архітектуру, звичайні відеокарти стали широко використовувати за межами ігор і 3D-графіки. Сьогодні їм немає рівних в швидкості вирішення будь-яких обчислювальних задач, добре піддаються паралельній обробці. В першу чергу це стосується виконання наукових розрахунків, криптографічних додатків і бізнес-аналітики.

Прискорювачі Nvidia Tesla, що лежать в основі багатьох сучасних суперкомп'ютерів, мають практично таку ж архітектуру, що і відеокарти серії GeForce відповідного покоління.

Вплив Nvidia Tesla на швидкість виконання різних обчислювальних задач (зображення: wccftech.com).

Наскільки ж графічні чіпи здатні прискорити виконання окремих обчислювальних задач? З'явився в 2009 році чіп AMD Cypress Pro (Radeon HD5850) містив майже півтори тисячі універсальних потокових процесорів. В обчисленнях з плаваючою комою (FP32) на штатній частоті 725 МГц він володів продуктивністю близько 2 Тфлопс.

Нові процесори серверного рівня Intel Xeon E3 демонструють на порядок меншу швидкість, значно перевершуючи його в ціні. В середньому одна топова відеокарта може прискорити обробку даних на сучасному комп'ютері в 50-70 разів. Такий спосіб кардинального збільшення продуктивності ціною мінімальних витрат змінює і підходи до вирішення актуальних завдань з області Big Data.

Великі обсяги інформації все частіше зберігають в масивно-паралельних базах даних (MapD). Для їх роботи потрібно дороге обладнання, а часті запити до них виховують у користувачів терплячість - або, навпаки, розвивають нервозність.

Поточні кошти візуалізації, які оперують великими обсягами даних, працюють переважно на серверах архітектури x86. Для відображення потрібної інформації по кожному запиту їм потрібно відносно невелике, але відчутний час. В середньому пройде з півхвилини, перш ніж окреслять всі верстви карти і побудуються наочні діаграми.

У Массачусетському технологічному інституті розроблений прототип недорогий системи на базі відеокарт, легко справляється з одночасною обробкою тисяч запитів практично в режимі реального часу.

Відображення 42 млн твітів за обраний день (скріншот: harvard.edu).

Професор MIT Семюель Медден (Samuel Madden) так прокоментував важливість її створення:

"Відомі сьогодні системи візуалізації можна вважати істинно інтерактивними. Вони використовують ряд попередніх обчислень для прискорення відображення даних, що виводяться. Ми створили абсолютно нову систему. Вона аналізує весь набір даних з БД у відповідь на кожен запит протягом декількох мілісекунд. Система залишиться швидкої, навіть якщо база буде містити сотні мільйонів записів ".

Веб-інструмент геолокації твітів (скріншот: mapd.csail.mit.edu)

На прикладі аналізу повідомлень в Twitter вона демонструє , Як окремі меми поширюються по світу. Доступ до ресурсу відкритий для всіх бажаючих. Ви самі можете побачити, де географічно зародилися 50 млн коротких повідомлень, відправлених в період з 28 вересня 6 жовтня 2013 року, і які слова в них зустрічаються частіше інших.

Графік частоти згадки шуканих ключових слів в твіти за обраний період (скріншот: mapd.csail.mit.edu/tweetmap).

Автор ідеї - випускник Гарвардського університету Тодд Мостак (Todd Mostak). Він прийшов до неї під час марної спроби обробити наявними засобами великі дані соціологічних досліджень на Близькому Сході.

Щоб тисячі віддалених користувачів могли одночасно побачити анімацію зі швидкістю 30 кадрів в секунду, MapD зберігає базу даних в оперативній пам'яті відеокарт і обробляє запити силами графічних чіпів.

З MapD користувач може змінювати умови пошуку (включаючи аналізований період або обраний регіон) і отримувати новий результат практично миттєво.