فصل اول: بررسی موقعیت شغلی Data Analyst از ابعاد مختلف
در فصل اول دوره در مورد جایگاه شغلی تحلیل گر داده یا Data Analyst صحبت میکنیم و وظایف این پوزیشن شغلی رو توی شرکت های مختلف توضیح میدیم. پس قبل از شروع آموزش های عملی، شما باید در مورد این جایگاه شغلی اطلاعات خوبی داشته باشید، از مزایا و معایب اون بدونید، از چالش هایی که توی این شغل هست مطلع بشید و کلی موارد دیگه که قراره بهتون بگیم. پس توی انتهای این بخش، میفهمید که آیا این پوزیشن و جایگاه شغلی برای شما مناسب هست یا نه، اصلا بهش علاقه مندید یا نه تصورات دیگه ای درموردش داشتید؟ پس با آگاهی و اطلاعات خوبی که بدست میارید، وارد بخش های بعدی این دوره جذاب میشید.
تکالیف
آزمون
جلسه مشاوره آنلاین و رفع مشکل با مدرس00:00
گروه پرسش و پاسخ فصل اول
فصل دوم: ریاضیات و آمار احتمالات
تمام افرادی که به هر طریقی توی یکی از پوزیشن های مرتبط با داده فعالیت می کنند، باید به آمار احتمالات و ریاضیات مسلط باشند چون تحلیل داده به شدت وابسته به علم آمار و ریاضیات است. توی این فصل تقریبا هر آن چیزی را که از ریاضیات لازم داشته باشید تدریس میکنیم تا هنگام سروکله زدن با داده ها، توی مباحث ریاضیات چالشی نداشته باشید و فهم خوبی از الگوریتم ها و داده ها و مسائل داشته باشید.
توابع بخش دوم01:06:31
توابع بخش سوم01:13:08
مشتق01:06:32
مشتق و شروع جبر خظی53:25
ادامه جبر خطی01:51:32
آمار و احتمالات بخش اول01:07:17
آمار و احتمالات بخش دوم01:07:06
آمار و احتمالات بخش سوم01:19:17
جلسه آنلاین و رفع مشکل با مدرس00:00
گروه پرسش و پاسخ فصل دوم
فصل سوم: برنامه نویسی
توی این فصل زبان برنامه نویسی پایتون و R رو آموزش میدیم که هر دو زبان محبوب جهت کار در حوزه هوش مصنوعی، تحلیل داده، علم داده و … هستند. یادگیری پایتون یا R برای هر کسی که توی حوزه داده فعالیت می کند الزامی است چون تقریبا تمام کتابخانه ها و الگوریتم های حوزه داده و هوش مصنوعی با زبان پایتون و R نوشته شده است. توی این فصل از سطح صفر پایتون و R رو آموزش میدیم، مثال ها و تمرین های خوبی حل میکنیم و تقریبا مباحث اصلی و مهمی از پایتون و R که توی جایگاه شغلی تحلیلگر داده بهش نیاز داشته باشید رو میگیم.
تفکر برنامه نویسی و حل مسئله00:00
مسیر یادگیری پایتون و ابزارهای مورد نیاز00:00
عملگرها، رشته ها و ریاضیات00:00
حل تمرین عملگرها، رشته ها و ریاضیات00:00
تکالیف عملگرها، رشته ها و ریاضیات
دستورات شرطی، تصمیم گیری و حلقه ها00:00
حل تمرین دستورات شرطی، تصمیم گیری و حلقه ها00:00
تکالیف دستورات شرطی، تصمیم گیری و حلقه ها
مجموعه ها (set)00:00
حل تمرین مجموعه ها (set)00:00
تکالیف مجموعه ها (set)
لیست ها (list)00:00
حل تمرین لیست ها (list)00:00
تکالیف لیست ها (list)
دیکشنری ها (Dictionary)00:00
حل تمرین دیکشنری ها (Dictionary)00:00
تکالیف دیکشنری ها (Dictionary)
تابع (function)00:00
حل تمرین تابع (function)00:00
تکالیف تابع (function)
توابع داخلی پایتون00:00
تکالیف توابع داخلی پایتون
خطاها و مدیریت آن ها00:00
فایل ها00:00
تکالیف فایل ها
کلاس ها و شی گرایی00:00
تکالیف کلاس ها و شی گرایی
ارث بری00:00
تکالیف ارث بری
آزمون نهایی زبان برنامه نویسی پایتون
گروه پرسش و پاسخ فصل سوم
فصل چهارم: جمع آوری داده ها
خیلی از اوقات ما به داده هایی نیاز داریم که در دسترس نیستند و باید خودمان اقدام به جمع آوری آن ها کنیم. فرض کنید شما به عنوان یک فعال حوزه داده نیاز دارید که تحلیل و بررسی از نظرات کاربران در سایت های فروشگاهی داشته باشید، یا مثلا کامنت های موجود توی یکی از پست های اینستاگرام رو استخراج کنید و تحلیل کنید که نظر کاربران درباره یک پدیده خاص چی بوده؟ برای انجام این کارها لازم است که شما با طراحی ربات های خزنده وب یا Web Crawler ها آشنا باشید. توی این فصل با تمرین ها و پروژه های متنوعی که انجام میدیم، قادر خواهید بود که هر نوع داده ای که نیاز دارید را از سایت های مختلف و شبکه های اجتماعی نظیر اینستاگرام استخراج کنید و کارهای تحلیلی خوبی روی آن ها انجام دهید.
حل تمرین آشنایی با ربات های خزنده وب و مفاهیم اولیه00:00
تکالیف آشنایی با ربات های خزنده وب و مفاهیم اولیه
انجام Web Crawling و جمع آوری کل داده های وب سایت ها00:00
حل تمرین انجام Web Crawling و جمع آوری کل داده های وب سایت ها00:00
تکالیف انجام Web Crawling و جمع آوری کل داده های وب سایت ها
آشنایی با جمع آوی داده ها از سایت های داینامیک00:00
حل تمرین آشنایی با جمع آوی داده ها از سایت های داینامیک00:00
تکالیف آشنایی با جمع آوی داده ها از سایت های داینامیک
جمع آوری تمامی داده ها از سایت های داینامیک و مفاهیم پیشرفته00:00
حل تمرین جمع آوری تمامی داده ها از سایت های داینامیک و مفاهیم پیشرفته00:00
تکالیف جمع آوری تمامی داده ها از سایت های داینامیک و مفاهیم پیشرفته
آزمون نهایی جمع آوری داده ها
گروه پرسش و پاسخ فصل چهارم
فصل پنجم: آماده سازی، پیش پردازش و بصری سازی داده ها
به مرحله آماده سازی و پیش پردازش داده ها میرسیم، جایی که داده ها رو پردازش، پیش پردازش و برای اهداف خاصی آماده سازی می کنیم. بخش زیادی از تایم هر فردی که تو حوزه تحلیل داده کار میکند، سروکله زدن با داده هاست پس خیلی مهمه که شما جنس دیتا رو بشناسید و بتونید عملیات های مختلف رو روی اون ها پیاده سازی کنید تا برای اهداف خودتون بکار ببرید. توی این فصل حسابی با داده ها سرو کله میزنیم طوری که کار با داده به یکی از علاقه مندی هاتون تبدیل بشه. با کتابخونه هایی مثل Numpy، Pandas و ابزار پردازش داده های حجیم مثل Spark کار میکنیم که جزو قوی ترین ابزارهای پردازش و آماده سازی داده ها هستند.
انواع روش های ایجاد آرایه در Numpy00:00
آرایه های ویژه و عملیات روی آن ها00:00
عملیات و توابع منطقی روی آرایه ها00:00
توابع پیشرفته Numpy جهت کار با آرایه ها00:00
ادامه توابع پیشرفته و پردازش تصویر در Numpy00:00
تکالیف بخش Numpy
آزمون نهایی بخش Numpy
ایجاد Series در Pandas و توابع اولیه00:00
ادامه Series و توابع پیشرفته تر00:00
ایجاد DataFrame در Pandas و توابع ریاضی و منطقی00:00
کار با داده های Null، مدیریت آن ها و توابع کاربردی Pandas00:00
ترکیب دیتافریم ها و بررسی توابع مهم00:00
توابع پیشرفته تر و Import و Export داده ها با فرمت های مختلف00:00
پردازش داده های متنی در pandas بخش اول00:00
پردازش داده های متنی در pandas بخش دوم00:00
تکالیف بخش Pandas00:00
آزمون نهایی بخش Pandas00:00
بصری سازی داده ها با Pandas00:00
بصری سازی داده ها با Matplotlib بخش اول00:00
بصری سازی داده ها با Matplotlib بخش دوم00:00
تکالیف بخش بصری سازی داده ها (Data Visualization)
آزمون نهایی بخش بصری سازی داده ها (Data Visualization)00:00
گروه پرسش و پاسخ فصل پنجم
فصل هفتم: نگهداری داده ها
بانک های اطلاعاتی یا پایگاه داده ها، بستری جهت ذخیره سازی داده ها و گزارش گیری هستند. پایگاه داده های مختلفی وجود دارند که SQL Server یکی از قدیمی ترین و متداول ترین نوع آن هاست و داده ها را به صورت جدولی در خود ذخیره می کند. به جز اس کیو ال سرور، پایگاه داده مونگو دی بی (Mongo DB) نیز یکی از پر کاربردترین نوع دیتابیس ها در حوزه داده هست. به کمک این دیتابیس می توان داده ها را به صورت سند (Document) ذخیره کرد و بهترین گزینه برای کسانی است که در حوزه های علم داده فعالیت می کنند. علاوه بر آموزش کامل این دو پایگاه داده، سرویس SSIS که مخفف (SQL Server Integration Services) هست رو نیز بررسی می کنیم. این سرویس توی SQL Server و ابزار قدرتمندی برای انجام فرآیند ETL به حساب میاد. به کمک این سرویس می توانید داده هایی را از منابع مختلف (E) Extract کنید، آن ها را (T) Transform و در سرویس های مختلف (L) Load کنید. این ابزار به شدت برای یک تحلیل گر داده و متخصین علوم داده کاربردی هست و جهت ساخت انبار داده نیز مورد استفاده قرار می گیرد.
مفاهیم پایه ای و نصب SQL Server02:00:18
ایجاد دیتابیس در SQL Server و مفاهیم پایه ای01:46:38
Import و Export انواع داده ها در SQL Server02:02:58
کوئری نویسی بخش اول01:45:02
کوئری نویسی بخش دوم02:06:07
کوئری نویسی بخش سوم01:30:26
کوئری نویسی بخش چهارم02:16:20
کوئری نویسی بخش پنجم01:28:06
کوئری نویسی بخش ششم01:57:33
وصل شدن به SQL و کوئری نویسی با زبان پایتون01:56:36
گروه پرسش و پاسخ فصل هفتم
فصل نهم: دستیابی به بینش عمیقی از داده ها با رویکرد هوش تجاری جهت تصمیمات خردمندانه
از مهم ترین تخصص و مهارت هایی که یک تحلیل گر داده یا افراد فعال حوزه علم داده و دیتاساینس باید داشته باشند، هوش تجای است. تدریس جامع و کاربردی هوش تجاری که توی این بخش صورت می گیرد، از مهم ترین نقاط قوت این دوره ست و قراره در این بخش با اصول هوش تجاری، ساخت داشبوردهای تجاری و مدیریتی، سازمان داده محور و... آشنا شوید. توی این فصل با ابزار محبوب Power BI هوش تجاری رو توضیح میدهیم، عملیات تحلیل و آنالیز داده ها رو با زبان DAX انجام می دهیم، در مورد KPI های بیزینس و اصول داده محوری سازمان صحبت می کنیم، داشبورهای حرفه ای طراحی می کنیم و این داشبوردها را به صورت آنلاین در وب و اپلیکیشن های موبایل منتشر می کنیم تا هنگام کار در این حوزه چالش خاصی نداشته باشید و به راحتی از پس پروژه های هوش تجای و تحلیل پیشرفته داده ها بربیاید. علاوه بر Power BI، هوش تجاری توی اکسل رو هم آموزش میدیم چون به عنوان یک فعال حوزه داده، قطعا باید با اکسل آشنا شوید، بتونید داده های خود را با اون تحلیل و حتی داشبوردهای تحلیل داده رو طراحی کنید. در نتیجه نرم افزار قدرتمند اکسل رو هم به شما آموزش میدیم تا دانش و تخصص شما در این حوزه تکمیل شود.
گروه پرسش و پاسخ فصل نهم
فصل دهم: دستیابی به بینش عمیقی از داده ها با مدل های ML جهت تصمیمات هوشمندانه
خب میرسیم به فصل جذاب یادگیری ماشین و قراره توی این فصل باهم دیگه انواع روش های یادگیری ماشین رو بررسی و آموزش بدیم. یعنی در مورد روش های نظارت شده (Supervised)، غیرنظارت شده (UnSupervised) و رگرسیون (Regression) صحبت میکنیم و با مثال های کاربردی، الگوریتم های یادگیری ماشینی که توی این حوزه هستند رو توی زبان پایتون آموزش میدیم. علاوه بر آن، وارد مباحث متن کاوی یا پردازش متن (Text Mining) میشیم و مفاهیم پایه و اصلی این حوزه رو آموزش میدیم. بعد از اون از الگوریتم های یادگیری ماشین جهت حل مسائل حوزه پردازش متن استفاده میکنم و مثال های خوبی حل میکنیم مانند: آنالیز احساسات، طبقه بندی متن و اخبار، خوشه بندی اسناد متنی، سیستم خلاصه ساز متنی و... که یادگیری این موراد برای یک تحلیل گر داده لازمه چون علاوه بر داده های عددی، با حجم زیادی از داده های متنی نیز سروکار دارد و باید بتواند آن ها را تحلیل کند.
فصل یازدهم: مهاجرت به زیرساخت های توسعه و نگهداری پروژه های برنامه نویسی
توی این فصل، سه عنوان آموزشی گیت (Git)، لینوکس (Linux) و استریم لیت (Streamlite) رو آموزش میدیم که هر برنامه نویسی باید واقعا بلد باشه (مخصوصا دو مورد اول). به کمک ابزار گیت و گیت هاب میتونید سورس کدها و پروژه های خودتون رو مدیریت کنید، به کمک لینوکس میتونید کمی پیشرفته تر وارد حوره برنامه نویسی و تحلیل داده بشید و از امکاناتی که این سیستم عامل در اختیارتون قرار میده استفاده کنید. با Streamlite می تونید پروژه های یادگیری ماشین خودتون رو در قالب یک وب اپلیکیشن توسعه بدید و به صورت واقعی اون رو در اختیار طیف وسیعی از افراد و کاربران قرار بدید.
گروه پرسش و پاسخ فصل یازدهم
فصل دوازدهم: بکارگیری اصول مدیریت پروژه جهت پیشبرد درست کارها
شما به عنوان یک فعال حوزه داده باید با مفاهیم اصلی مدیریت پروژه (Project Management) آشنا شوید و با ابزارهایی که در این حوزه وجود دارد کار کنید. قرار نیست در این فصل شما یک مدیر پروژه (Project Manager) شوید بلکه قرار است که از آن جهت پیشبرد کارهای خودتون استفاده کنید. تمام برنامه نویسانی که چه به صورت آزاد و چه در شرکتی مشغول کار هستند، روی پروژه هایی کار میکنند که لازمه مدیریت و نظم دادن به آن ها، استفاده از رویکرد و ابزارهای مدیریت پروژه است. پس توی این فصل یاد می گیرید که از این به بعد چجوری کارهای خودتون رو در قالب پروژه مدیریت و پیش ببرید که باعث نظم بیشتر در کارها و صرفه جویی در زمان و منابع می شود.
گروه پرسش و پاسخ فصل دوازدهم
فصل سیزدهم: شنیدن چالش ها و تجربیات متخصصین این حوزه در صنعت
توی این فصل از متخصصین با تجربه ای که در بازار کار تحلیل داده و هوش مصنوعی مشغول کار هستند دعوت می کنیم که تجربیات، چالش ها، مزایا و معایبی که در این حوزه در صنعت هست را در اختیار شما قرار دهند که به عنوان چراغ راهی از آن جهت ادامه مسیر خود استفاده کنید. این تجربیات بسیار ارزشمند هستند و به نوعی می توان گفت باعث صرفه جویی زیادی در زمان شما و جلوگیری از آزمون و خطا می شود.
گروه پرسش و پاسخ فصل سیزدهم
فصل چهاردهم: پیدا کردن شغل و آماده شدن برای ورود به بازار کار توی پوزیشن تحلیل گر داده
خب میرسیم به فصل آخر دوره تحلیل گر داده، توی این بخش در مورد نکات مهم و ترفندهایی که میتونید توی این جایگاه شغلی وارد بازار کار بشید صحبت می کنیم. یا اگر دوست داشته باشید که به صورت فریلنسری یا پروژه ای هم کار کنید، برای این مورد هم بهتون آموزش میدیم که چه کارهایی بکنید تا موفق بشید. رزومه نویسی رو باهم کار میکنیم و نحوه نوشتن یک رزومه خوب و استاندار رو یاد میگیریم که شانس دعوت شما به مصاحبه رو بالا ببره. درمورد نحوه شبکه سازی و ارتباط با افراد مختلف و فعال حوزه تحلیل داده صحبت می کنیم تا بتونید ارتباطات و کانکشن های خودتون رو بالا ببرید و توی این حوزه موفق بشید. امیدواریم که در انتهای دوره بتوانیم به رسالت خود یعنی " توانمند سازی نسل نوجوان و جوان با آموزش های به روز و تربیت نیروی متخصص متناسب بازار کار" به خوبی عمل کرده باشیم و شما رو برای ورورد به بازار کار حرفه ای آماده کرده باشیم.
گروه پرسش و پاسخ فصل چهاردهم
آشنایی با ربات های خزنده وب و مفاهیم اولیه
1. مقدمه ای بر خزش وب و اسکریپینگ
- مفاهیم و تفاوت های بین خزش وب و اسکریپینگ وب
- ملاحظات حقوقی و اخلاقی اسکریپینگ
2. اصول HTTP و وب
- اصول اولیه پروتکل HTTP و نحوه کار وب سایت ها
- ساختار HTML و انتخاب کننده های CSS
- فرمت های داده JSON و XML
3. برنامه نویسی پایتون
- اطمینان که دانش آموزان درک خوبی از اصول برنامه نویسی پایتون دارند
- کتابخانه های ضروری برای اسکریپینگ وب مانند Requests و BeautifulSoup
4. ارسال درخواست های HTTP
- نحوه ارسال درخواست های GET و POST با استفاده از کتابخانه Requests پایتون را
- هدرها، پارامترها و مدیریت کوکی های درخواست
- نحوه مدیریت احراز هویت و کار با API ها
5. تجزیه HTML و استخراج داده
- کتابخانه BeautifulSoup را برای تجزیه HTML
- نحوه پیمایش و جستجو در درخت HTML با استفاده از انتخاب کننده های CSS و XPath
- نحوه استخراج داده از عناصر HTML
6. اسکریپینگ وب سایت های استاتیک
- نحوه شناسایی و استخراج داده از صفحات HTML ایستا
- تکنیک های مقابله با ساختارهای HTML ناهمگون
- نحوه استخراج داده از جداول، لیست ها و سایر عناصر HTML
7. مقابله با وب سایت های پویا
- چالش های اسکریپینگ وب سایت های پویا که از JavaScript استفاده می کنند
- Selenium و مرورگرهای بدون سر را برای تعامل با صفحات پویا
- نحوه انتظار برای بارگذاری عناصر و مدیریت درخواست های AJAX
8. ذخیره سازی و پردازش داده های اسکریپ شده
- روش های مختلف ذخیره سازی داده های اسکریپ شده (مانند CSV، JSON، پایگاه داده)
- نحوه تمیز کردن، پیش پردازش و تجزیه و تحلیل داده های اسکریپ شده را با استفاده از کتابخانه های پایتون مانند Pandas
9. مدیریت صفحه بندی و اسکریپینگ تدریجی
- نحوه پیمایش در نتایج صفحه بندی شده
- تکنیک های اسکریپینگ تدریجی و مدیریت به روزرسانی ها
10. اسکریپینگ همزمان و موازی
- تکنیک های اسکریپینگ همزمان را برای بهبود عملکرد
- نحوه استفاده از ماژول های multiprocessing و multithreading پایتون
11. پروژه و مثال های دنیای واقعی
- پروژه های عملی و مثال های دنیای واقعی
- مطالعات موردی اسکریپینگ انواع مختلف وب سایت ها (مانند سایت های فروشگاهی، رسانه های اجتماعی، سایت های خبری)
هیچ پیوستی یافت نشد