AI, Mašinsko Učenje, Duboko Učenje: Resursi, Alati i Diskusija

[PORSCHE]

Nego evo jednog poznatig forumaša, kupuje usb...
Pogledajte prilog 59880

Odlicno.

@Pinocio menjaj profilnu.

 

[Pinocio]

@Pinocio menjaj profilnu.

Neee... aktuelna profilna je bas adekvatna za... @Cika_Kure -ta

 

[Veselin]

Meni smeta kod ChatGPT-a što svaki put kada bilo šta diskutujemo rečenicu počinje sa:

Odlično zapažanje!

Odlično pitanje!

Bravo!

Zašto se dodvorava? Boji se? Pa nisam iz Zemuna

 

[Pinocio]

Meni smeta kod ChatGPT-a što svaki put kada bilo šta diskutujemo rečenicu počinje sa:

Odlično zapažanje!

Odlično pitanje!

Bravo!

Zašto se dodvorava? Boji se? Pa nisam iz Zemuna

Meni najvise smeta sto ne smem da mu verujem, bunari samo tako, i uopste nema problem da posle kaze: Da, u pravu si, pogresio sam

 

[Veselin]

Imao sam se lepo

Zamisli da učim neki drugi jezik, u startu me z... i kada se navuče posle me pogrešno uči.

 

[Veselin]

Meni treba AI zbog učenja nemačkog (par puta krenuo i stao ). Prvo mu zadam da mi napiše gramatiku na engleskom (kao na primer iznad nepravilne glagole) da ne bih zaboravio engleski učeći nemački a i da bih mogao da napravim razliku kod glagola, vremena itd. između engleskog i nemačkog i ako ChatGPT ne može kako treba da prevede ili objasni sa engleskog na srpski, kako će da me nauči nemački? Ako se zaleti i počne da greši kod prostih rečenica na nemačkom i tako nastavi, ne znam da li se uopšte upuštati u tako nešto, jer kod engleskog mogu da ga hvatam u greškama ali kod nemačkog kako me bude učio tako ću da usvajam 100% jer ne mogu da prepoznam da li greši.

 

[Masinac]

ChatGPT nije AI već LLM koji se uz pomoć čarolija marketinga prezentuje kao AI.
Ako ti uvek treba 100% ispravna informacija, bez halucinacija, onda bih rekao da je slaba vajda.
Najbolje je ako možeš da priustis sebi časove željenog jezika, a ako ne onda razmisli da li je bolje da ga naučiš kako tako, nego da ga ne naučiš nikad.

 

[Dom1nat0R]

Meni smeta kod ChatGPT-a što svaki put kada bilo šta diskutujemo rečenicu počinje sa:

Odlično zapažanje!

Odlično pitanje!

Bravo!

Zašto se dodvorava? Boji se? Pa nisam iz Zemuna

Klanja ti se kao korisniku Apple proizvoda.

 

[Dakula74]

Oces reci da ga zavodi

 

[Veteran Digitalnog Doba]

GitHub - NVIDIA/TensorRT-RTX: NVIDIA TensorRT-RTX is an SDK for high-performance AI inference on NVIDIA RTX GPUs. This repository contains Open-Source Software components of TensorRT-RTX.

NVIDIA TensorRT-RTX is an SDK for high-performance AI inference on NVIDIA RTX GPUs. This repository contains Open-Source Software components of TensorRT-RTX. - NVIDIA/TensorRT-RTX

github.com

TensorRT for RTX Download

developer.nvidia.com

Ево детаљног резимеа видео презентације у 100 реченица.

Резиме презентације: "Суперпуњење вештачке интелигенције на рачунару са TensorRT за RTX"

1. Презентацију под називом "Суперпуњење вештачке интелигенције на рачунару са TensorRT за RTX" држи Гунђан Мехта, продукт менаџер у компанији NVIDIA.
2. Гунђан се представља као члан софтверског тима за АИ платформе, са фокусом на решења за инференцију.
3. Главна тема је нова библиотека под називом TensorRT за RTX, која је недавно најављена на Build конференцији.
4. Ова библиотека је посвећена покретању локалне вештачке интелигенције на RTX графичким процесорима (GPU).
5. Презентација почиње са прегледом седмогодишње историје иновација у области АИ рачунара са GeForce RTX технологијом.
6. NVIDIA истиче да постоји преко 100 милиона RTX АИ рачунара и више од 750 игара и апликација које користе RTX АИ.
7. Путовање је почело 2018. године увођењем Tensor језгара, специјализованог хардвера за АИ.
8. Прва велика примена била је намењена гејмерима кроз технологију DLSS (Deep Learning Super Sampling).
9. DLSS користи вештачку интелигенцију за узорковање и генерисање додатних фрејмова, чиме се побољшавају перформансе у играма.
10. Године 2019. фокус се проширио на вештачку интелигенцију за креаторе садржаја кроз NVIDIA Studio.
11. Већ 2020. године, NVIDIA је представила АИ решења за емитере (broadcasters) кроз NVIDIA Broadcast.
12. У 2023. години, иновације су донеле АИ за видео ентузијасте са технологијом RTX Video.
13. Година 2024. донела је АИ за кориснике продуктивних алата, као што је ChatRTX.
14. За 2025. годину, најављена је вештачка интелигенција за програмере кроз NIM (NVIDIA Inference Microservices) на RTX платформи.
15. NIM-ови су упакована, оптимизована и комплетна АИ решења која олакшавају развој и имплементацију.
16. Ова решења су оптимизована помоћу NVIDIA софтверског стека, где кључну улогу игра TensorRT.
17. NVIDIA убрзава целокупан животни циклус АИ на рачунарима, од развоја до имплементације.
18. За експериментисање и развој, истраживачи често користе PyTorch, који NVIDIA убрзава помоћу CUDA платформе.
19. За брзо прототипирање, NVIDIA нуди NIM-ове, који су унапред оптимизовани модели.
20. Ови NIM-ови користе TensorRT за максимално убрзање на RTX хардверу.
21. Такође се подржавају и отворени оквири попут Llama.cpp, који се убрзавају преко CUDA-е.
22. Када је реч о имплементацији апликација, програмери могу користити NVIDIA АИ SDK-ове.
23. Ови SDK-ови су спремни за интеграцију и користе TensorRT за убрзање АИ функција.
24. Други важан пут за имплементацију је преко Windows ML (Machine Learning) платформе.
25. Програмери могу користити своје моделе у ONNX формату, који је стандард у индустрији.
26. Windows ML користи ONNX Runtime као основу за извршавање модела.
27. NVIDIA је развила TensorRT као провајдера извршења (Execution Provider) за ONNX Runtime.
28. Ово омогућава да се, када је RTX GPU присутан, операције аутоматски делегирају на TensorRT.
29. На тај начин се постижу значајно боље перформансе уз коришћење стандардизованог Windows ML API-ја.
30. Програмери се суочавају са три главна изазова при изградњи локалних АИ апликација.
31. Први изазов су високи рачунарски захтеви и потреба за ниском латенцијом.
32. АИ модели захтевају огромну процесорску снагу да би радили брзо и пружили добро корисничко искуство.
33. Други изазов је фрагментација хардвера и софтвера.
34. Тржиште је испуњено различитим CPU, GPU и NPU јединицама, свака са својим софтверским решењима.
35. Трећи изазов је сама имплементација апликација на рачунаре, укључујући величину апликације и потрошњу ресурса.
36. NVIDIA TensorRT је представљен као унификовани оквир за убрзање на NVIDIA GPU-овима, од облака до личног рачунара.
37. TensorRT може да оптимизује моделе из свих популарних оквира као што су PyTorch, TensorFlow и ONNX.
38. Оптимизовани модели могу се покретати на широком спектру NVIDIA хардвера.
39. Ово укључује дата центар GPU-ове попут B100 и H100, професионалне L40S картице, и потрошачке RTX картице.
40. Подржане су и аутомобилске платформе (DRIVE) и уграђени системи (Jetson Orin).
41. TensorRT такође подржава и NVIDIA DLA (Deep Learning Accelerator), специјализовани чип.
42. Програмери су до сада користили "пре-оптимизациони" ток рада са TensorRT-ом.
43. Овај ток подразумева креирање АИ модела, његову оптимизацију, генерисање TensorRT "мотора" и његово паковање у апликацију.
44. Овај приступ доноси значајна убрзања у поређењу са стандардним решењима попут DirectML.
45. Приказани су примери где TensorRT доноси убрзање од 1.5x до 2x у популарним апликацијама као што су ComfyUI и DaVinci Resolve.
46. Ови резултати су мерени на моћној GeForce RTX 4090 графичкој картици.
47. Међутим, овај старији приступ имао је изазове за програмере (ISV).
48. Ток рада је био комплексан, а генерисање "мотора" је могло да траје неколико минута.
49. Инсталациона величина је била велика, око 1.5 GB, што је оптерећивало финалну апликацију.
50. Постојала је и некомпатибилност "мотора" између различитих оперативних система.
51. Портабилност "мотора" је била ограничена, чак и између различитих генерација RTX картица.
52. Коришћење "мотора" на GPU-у за који није специфично компајлиран могло је довести до губитка перформанси до 20%.
53. Да би се подржало више модела на више GPU-ова, било је потребно испоручити огроман број различитих "мотора".
54. Да би се решили ови проблеми, NVIDIA уводи нову библиотеку: TensorRT за RTX.
55. Ово је наменска библиотека која поједностављује имплементацију на GeForce RTX и RTX PRO GPU-овима.
56. Кључна иновација је "Just-In-Time" (JIT) компилација.
57. Уместо пре-компајлирања, "мотор" се финализује на уређају корисника за мање од 30 секунди.
58. Интеграција је олакшана кроз Windows ML, што је најједноставнији пут.
59. Величина библиотеке је драстично смањена на мање од 200 MB.
60. Подржана је било која RTX картица са Tensor језгрима, као и различити типови модела.
61. Постоје два начина за коришћење: преко Windows ML или као самостални SDK.
62. Пут преко Windows ML је најлакши, јер систем аутоматски преузима потребне компоненте.
63. Самостални SDK нуди напредну контролу за програмере који желе више флексибилности.
64. SDK пружа C++ и Python API-је, као и контролу над кеширањем и другим напредним опцијама.
65. Нови процес компилације је двостепен.
66. Први, "Ahead-of-Time" (AOT) корак, ради се офлајн, без потребе за GPU-ом.
67. У овом кораку се врше GPU-агностичке оптимизације графа модела.
68. Резултат је интермедијарни, "JIT-абилни" мотор, који је веома мали (неколико килобајта).
69. Други, "Just-in-Time" (JIT) корак, дешава се на уређају корисника.
70. JIT компајлер користи информације о конкретном GPU-у да генерише финални, високо оптимизовани извршни "мотор".
71. Прво генерисање кернела траје око 5 секунди, док су сва наредна покретања скоро тренутна захваљујући кеширању.
72. Овај приступ доноси до 20% боље перформансе у поређењу са старим компатибилним "моторима".
73. TensorRT за RTX наставља да пружа боље перформансе од DirectML-а, у просеку 1.5x брже.
74. Квантизација, процес смањења прецизности модела, доноси додатна убрзања.
75. За генерисање слика са FLUX моделом, прелазак са BF16 на FP4 прецизност доноси 2.7x убрзање.
76. За генерисање видеа са LTX моделом, прелазак на FP8 прецизност доноси 2.3x убрзање.
77. Приказан је демо Topaz Starlight Mini, алата за рестаурацију видеа.
78. Овај алат користи АИ да побољша квалитет старих, зрнастих снимака.
79. На RTX 6000 Ada картици, TensorRT за RTX је постигао преко 50% боље перформансе од стандардног PyTorch-а.
80. Затим је уследио демо уживо у Jupyter Notebook-у.
81. Први део демоа је користио LTX Video 2B модел за генерисање видеа из слике.
82. Стандардна Torch имплементација је генерисала видео за око 36 секунди.
83. TRT-RTX са BF16 прецизношћу је исти задатак завршио за 22 секунде.
84. Хибридна FP8 + BF16 имплементација је била још бржа, завршивши за само 18 секунди.
85. Ово представља двоструко убрзање у односу на оригиналну имплементацију.
86. Други део демоа је приказао FLUX модел за генерисање слике из текста на RTX 5090 картици.
87. Овај демо је користио Windows ML и ONNX Runtime пут.
88. Код јасно показује како се бира "NvTensorRTExecutionProvider" за извршавање.
89. Покретање на FP8 прецизности је генерисало слику за око 8.8 секунди.
90. Затим је покренута иста операција, али са FP4 прецизношћу.
91. Генерисање слике је трајало само 5.3 секунде.
92. Поновно покретање истог задатка је било још брже, око 4.3 секунде.
93. Ово демонстрира ефекат кеширања и "True Dynamic Shapes" функције.
94. Када се кернели једном генеришу и кеширају, наредна извршавања су знатно бржа.
95. На крају, презентација сумира кључне предности TensorRT за RTX.
96. То су: најбоље перформансе, лакоћа коришћења и једноставна имплементација.
97. Програмери добијају значајно убрзање кроз једноставан и флексибилан ток рада.
98. Публика је позвана да сазна више на званичној NVIDIA developer страници.
99. Такође су позвани да се придруже NVIDIA RTX AI Developer заједници на Discord-у за вести и подршку.
100. Презентација се завршава сесијом за питања и одговоре.