فهرست درس ها

فصل اول: بررسی موقعیت شغلی Data Analyst از ابعاد مختلف
آموزش تحلیل داده
در فصل اول دوره در مورد جایگاه شغلی تحلیل گر داده یا Data Analyst صحبت میکنیم و وظایف این پوزیشن شغلی رو توی شرکت های مختلف توضیح میدیم. پس قبل از شروع آموزش های عملی، شما باید در مورد این جایگاه شغلی اطلاعات خوبی داشته باشید، از مزایا و معایب اون بدونید، از چالش هایی که توی این شغل هست مطلع بشید و کلی موارد دیگه که قراره بهتون بگیم. پس توی انتهای این بخش، میفهمید که آیا این پوزیشن و جایگاه شغلی برای شما مناسب هست یا نه، اصلا بهش علاقه مندید یا نه تصورات دیگه ای درموردش داشتید؟
پس با آگاهی و اطلاعات خوبی که بدست میارید، وارد بخش های بعدی این دوره جذاب میشید.

فصل دوم: ریاضیات و آمار احتمالات
تمام افرادی که به هر طریقی توی یکی از پوزیشن های مرتبط با داده فعالیت می کنند، باید به آمار احتمالات و ریاضیات مسلط باشند چون تحلیل داده به شدت وابسته به علم آمار و ریاضیات است. توی این فصل تقریبا هر آن چیزی را که از ریاضیات لازم داشته باشید تدریس میکنیم تا هنگام سروکله زدن با داده ها، توی مباحث ریاضیات چالشی نداشته باشید و فهم خوبی از الگوریتم ها و داده ها و مسائل داشته باشید.

فصل سوم: برنامه نویسی
توی این فصل زبان برنامه نویسی پایتون و R رو آموزش میدیم که هر دو زبان محبوب جهت کار در حوزه هوش مصنوعی، تحلیل داده، علم داده و … هستند. یادگیری پایتون یا R برای هر کسی که توی حوزه داده فعالیت می کند الزامی است چون تقریبا تمام کتابخانه ها و الگوریتم های حوزه داده و هوش مصنوعی با زبان پایتون و R نوشته شده است. توی این فصل از سطح صفر پایتون و R رو آموزش میدیم، مثال ها و تمرین های خوبی حل میکنیم و تقریبا مباحث اصلی و مهمی از پایتون و R که توی جایگاه شغلی تحلیلگر داده بهش نیاز داشته باشید رو میگیم.

فصل چهارم: جمع آوری داده ها
خیلی از اوقات ما به داده هایی نیاز داریم که در دسترس نیستند و باید خودمان اقدام به جمع آوری آن ها کنیم. فرض کنید شما به عنوان یک فعال حوزه داده نیاز دارید که تحلیل و بررسی از نظرات کاربران در سایت های فروشگاهی داشته باشید، یا مثلا کامنت های موجود توی یکی از پست های اینستاگرام رو استخراج کنید و تحلیل کنید که نظر کاربران درباره یک پدیده خاص چی بوده؟ برای انجام این کارها لازم است که شما با طراحی ربات های خزنده وب یا Web Crawler ها آشنا باشید. توی این فصل با تمرین ها و پروژه های متنوعی که انجام میدیم، قادر خواهید بود که هر نوع داده ای که نیاز دارید را از سایت های مختلف و شبکه های اجتماعی نظیر اینستاگرام استخراج کنید و کارهای تحلیلی خوبی روی آن ها انجام دهید.

آشنایی با ربات های خزنده وب و مفاهیم اولیه00:00
حل تمرین آشنایی با ربات های خزنده وب و مفاهیم اولیه00:00
تکالیف آشنایی با ربات های خزنده وب و مفاهیم اولیه
انجام Web Crawling و جمع آوری کل داده های وب سایت ها00:00
حل تمرین انجام Web Crawling و جمع آوری کل داده های وب سایت ها00:00
تکالیف انجام Web Crawling و جمع آوری کل داده های وب سایت ها
آشنایی با جمع آوی داده ها از سایت های داینامیک00:00
حل تمرین آشنایی با جمع آوی داده ها از سایت های داینامیک00:00
تکالیف آشنایی با جمع آوی داده ها از سایت های داینامیک
جمع آوری تمامی داده ها از سایت های داینامیک و مفاهیم پیشرفته00:00
حل تمرین جمع آوری تمامی داده ها از سایت های داینامیک و مفاهیم پیشرفته00:00
تکالیف جمع آوری تمامی داده ها از سایت های داینامیک و مفاهیم پیشرفته
آزمون نهایی جمع آوری داده ها
گروه پرسش و پاسخ فصل چهارم

فصل پنجم: آماده سازی، پیش پردازش و بصری سازی داده ها
به مرحله آماده سازی و پیش پردازش داده ها میرسیم، جایی که داده ها رو پردازش، پیش پردازش و برای اهداف خاصی آماده سازی می کنیم. بخش زیادی از تایم هر فردی که تو حوزه تحلیل داده کار میکند، سروکله زدن با داده هاست پس خیلی مهمه که شما جنس دیتا رو بشناسید و بتونید عملیات های مختلف رو روی اون ها پیاده سازی کنید تا برای اهداف خودتون بکار ببرید. توی این فصل حسابی با داده ها سرو کله میزنیم طوری که کار با داده به یکی از علاقه مندی هاتون تبدیل بشه. با کتابخونه هایی مثل Numpy، Pandas و ابزار پردازش داده های حجیم مثل Spark کار میکنیم که جزو قوی ترین ابزارهای پردازش و آماده سازی داده ها هستند.

فصل ششم: نگهداری داده ها
بانک های اطلاعاتی یا پایگاه داده ها، بستری جهت ذخیره سازی داده ها و گزارش گیری هستند. پایگاه داده های مختلفی وجود دارند که SQL Server یکی از قدیمی ترین و متداول ترین نوع آن هاست و داده ها را به صورت جدولی در خود ذخیره می کند. به جز اس کیو ال سرور، پایگاه داده مونگو دی بی (Mongo DB) نیز یکی از پر کاربردترین نوع دیتابیس ها در حوزه داده هست. به کمک این دیتابیس می توان داده ها را به صورت سند (Document) ذخیره کرد و بهترین گزینه برای کسانی است که در حوزه های علم داده فعالیت می کنند. علاوه بر آموزش کامل این دو پایگاه داده، سرویس SSIS که مخفف (SQL Server Integration Services) هست رو نیز بررسی می کنیم. این سرویس توی SQL Server و ابزار قدرتمندی برای انجام فرآیند ETL به حساب میاد. به کمک این سرویس می توانید داده هایی را از منابع مختلف (E) Extract کنید، آن ها را (T) Transform و در سرویس های مختلف (L) Load کنید. این ابزار به شدت برای یک تحلیل گر داده و متخصین علوم داده کاربردی هست و جهت ساخت انبار داده نیز مورد استفاده قرار می گیرد.

فصل هفتم: دستیابی به بینش عمیقی از داده ها با رویکرد هوش تجاری جهت تصمیمات خردمندانه
از مهم ترین تخصص و مهارت هایی که یک تحلیل گر داده یا افراد فعال حوزه علم داده و دیتاساینس باید داشته باشند، هوش تجای است. تدریس جامع و کاربردی هوش تجاری که توی این بخش صورت می گیرد، از مهم ترین نقاط قوت این دوره ست و قراره در این بخش با اصول هوش تجاری، ساخت داشبوردهای تجاری و مدیریتی، سازمان داده محور و... آشنا شوید. توی این فصل با ابزار محبوب Power BI هوش تجاری رو توضیح میدهیم، عملیات تحلیل و آنالیز داده ها رو با زبان DAX انجام می دهیم، در مورد KPI های بیزینس و اصول داده محوری سازمان صحبت می کنیم، داشبورهای حرفه ای طراحی می کنیم و این داشبوردها را به صورت آنلاین در وب و اپلیکیشن های موبایل منتشر می کنیم تا هنگام کار در این حوزه چالش خاصی نداشته باشید و به راحتی از پس پروژه های هوش تجای و تحلیل پیشرفته داده ها بربیاید. علاوه بر Power BI، هوش تجاری توی اکسل رو هم آموزش میدیم چون به عنوان یک فعال حوزه داده، قطعا باید با اکسل آشنا شوید، بتونید داده های خود را با اون تحلیل و حتی داشبوردهای تحلیل داده رو طراحی کنید. در نتیجه نرم افزار قدرتمند اکسل رو هم به شما آموزش میدیم تا دانش و تخصص شما در این حوزه تکمیل شود.

فصل هشتم: دستیابی به بینش عمیقی از داده ها با مدل های ML جهت تصمیمات هوشمندانه
خب میرسیم به فصل جذاب یادگیری ماشین و قراره توی این فصل باهم دیگه انواع روش های یادگیری ماشین رو بررسی و آموزش بدیم. یعنی در مورد روش های نظارت شده (Supervised)، غیرنظارت شده (UnSupervised) و رگرسیون (Regression) صحبت میکنیم و با مثال های کاربردی، الگوریتم های یادگیری ماشینی که توی این حوزه هستند رو توی زبان پایتون آموزش میدیم. علاوه بر آن، وارد مباحث متن کاوی یا پردازش متن (Text Mining) میشیم و مفاهیم پایه و اصلی این حوزه رو آموزش میدیم. بعد از اون از الگوریتم های یادگیری ماشین جهت حل مسائل حوزه پردازش متن استفاده میکنم و مثال های خوبی حل میکنیم مانند: آنالیز احساسات، طبقه بندی متن و اخبار، خوشه بندی اسناد متنی، سیستم خلاصه ساز متنی و... که یادگیری این موراد برای یک تحلیل گر داده لازمه چون علاوه بر داده های عددی، با حجم زیادی از داده های متنی نیز سروکار دارد و باید بتواند آن ها را تحلیل کند.

فصل نهم: مهاجرت به زیرساخت های توسعه و نگهداری پروژه های برنامه نویسی
توی این فصل، سه عنوان آموزشی گیت (Git)، لینوکس (Linux) و استریم لیت (Streamlite) رو آموزش میدیم که هر برنامه نویسی باید واقعا بلد باشه (مخصوصا دو مورد اول). به کمک ابزار گیت و گیت هاب میتونید سورس کدها و پروژه های خودتون رو مدیریت کنید، به کمک لینوکس میتونید کمی پیشرفته تر وارد حوره برنامه نویسی و تحلیل داده بشید و از امکاناتی که این سیستم عامل در اختیارتون قرار میده استفاده کنید. با Streamlite می تونید پروژه های یادگیری ماشین خودتون رو در قالب یک وب اپلیکیشن توسعه بدید و به صورت واقعی اون رو در اختیار طیف وسیعی از افراد و کاربران قرار بدید.

فصل دهم: بکارگیری اصول مدیریت پروژه جهت پیشبرد درست کارها
شما به عنوان یک فعال حوزه داده باید با مفاهیم اصلی مدیریت پروژه (Project Management) آشنا شوید و با ابزارهایی که در این حوزه وجود دارد کار کنید. قرار نیست در این فصل شما یک مدیر پروژه (Project Manager) شوید بلکه قرار است که از آن جهت پیشبرد کارهای خودتون استفاده کنید. تمام برنامه نویسانی که چه به صورت آزاد و چه در شرکتی مشغول کار هستند، روی پروژه هایی کار میکنند که لازمه مدیریت و نظم دادن به آن ها، استفاده از رویکرد و ابزارهای مدیریت پروژه است. پس توی این فصل یاد می گیرید که از این به بعد چجوری کارهای خودتون رو در قالب پروژه مدیریت و پیش ببرید که باعث نظم بیشتر در کارها و صرفه جویی در زمان و منابع می شود.

فصل یازدهم: شنیدن چالش ها و تجربیات متخصصین این حوزه در صنعت
توی این فصل از متخصصین با تجربه ای که در بازار کار تحلیل داده و هوش مصنوعی مشغول کار هستند دعوت می کنیم که تجربیات، چالش ها، مزایا و معایبی که در این حوزه در صنعت هست را در اختیار شما قرار دهند که به عنوان چراغ راهی از آن جهت ادامه مسیر خود استفاده کنید. این تجربیات بسیار ارزشمند هستند و به نوعی می توان گفت باعث صرفه جویی زیادی در زمان شما و جلوگیری از آزمون و خطا می شود.

فصل دوازدهم: پیدا کردن شغل و آماده شدن برای ورود به بازار کار توی پوزیشن تحلیل گر داده
خب میرسیم به فصل آخر دوره تحلیل گر داده، توی این بخش در مورد نکات مهم  و ترفندهایی که میتونید توی این جایگاه شغلی وارد بازار کار بشید صحبت می کنیم. یا  اگر دوست داشته باشید که به صورت فریلنسری یا پروژه ای هم کار کنید، برای این مورد هم بهتون آموزش میدیم که چه کارهایی بکنید تا موفق بشید. رزومه نویسی رو باهم کار میکنیم و نحوه نوشتن یک رزومه خوب و استاندار رو یاد میگیریم که شانس دعوت شما به مصاحبه رو بالا ببره. درمورد نحوه شبکه سازی و ارتباط با افراد مختلف و فعال حوزه تحلیل داده صحبت می کنیم تا بتونید ارتباطات و کانکشن های خودتون رو بالا ببرید و توی این حوزه موفق بشید. امیدواریم که در انتهای دوره بتوانیم به رسالت خود یعنی " توانمند سازی نسل نوجوان و جوان با آموزش های به روز و تربیت نیروی متخصص متناسب بازار کار" به خوبی عمل کرده باشیم و شما رو برای ورورد به بازار کار حرفه ای آماده کرده باشیم.

بازگشت به صفحه دوره
آشنایی با ربات های خزنده وب و مفاهیم اولیه

1. مقدمه ای بر خزش وب و اسکریپینگ

  • مفاهیم و تفاوت های بین خزش وب و اسکریپینگ وب
  • ملاحظات حقوقی و اخلاقی اسکریپینگ

2. اصول HTTP و وب

  • اصول اولیه پروتکل HTTP و نحوه کار وب سایت ها
  • ساختار HTML و انتخاب کننده های CSS
  • فرمت های داده JSON و XML

3. برنامه نویسی پایتون

  • اطمینان که دانش آموزان درک خوبی از اصول برنامه نویسی پایتون دارند
  • کتابخانه های ضروری برای اسکریپینگ وب مانند Requests و BeautifulSoup

4. ارسال درخواست های HTTP

  • نحوه ارسال درخواست های GET و POST با استفاده از کتابخانه Requests پایتون را
  • هدرها، پارامترها و مدیریت کوکی های درخواست
  • نحوه مدیریت احراز هویت و کار با API ها

5. تجزیه HTML و استخراج داده

  • کتابخانه BeautifulSoup را برای تجزیه HTML
  • نحوه پیمایش و جستجو در درخت HTML با استفاده از انتخاب کننده های CSS و XPath
  • نحوه استخراج داده از عناصر HTML

6. اسکریپینگ وب سایت های استاتیک

  • نحوه شناسایی و استخراج داده از صفحات HTML ایستا
  • تکنیک های مقابله با ساختارهای HTML ناهمگون
  • نحوه استخراج داده از جداول، لیست ها و سایر عناصر HTML

7. مقابله با وب سایت های پویا

  • چالش های اسکریپینگ وب سایت های پویا که از JavaScript استفاده می کنند
  • Selenium و مرورگرهای بدون سر را برای تعامل با صفحات پویا
  • نحوه انتظار برای بارگذاری عناصر و مدیریت درخواست های AJAX

8. ذخیره سازی و پردازش داده های اسکریپ شده

  • روش های مختلف ذخیره سازی داده های اسکریپ شده (مانند CSV، JSON، پایگاه داده)
  • نحوه تمیز کردن، پیش پردازش و تجزیه و تحلیل داده های اسکریپ شده را با استفاده از کتابخانه های پایتون مانند Pandas

9. مدیریت صفحه بندی و اسکریپینگ تدریجی

  • نحوه پیمایش در نتایج صفحه بندی شده
  • تکنیک های اسکریپینگ تدریجی و مدیریت به روزرسانی ها

10. اسکریپینگ همزمان و موازی

  • تکنیک های اسکریپینگ همزمان را برای بهبود عملکرد
  • نحوه استفاده از ماژول های multiprocessing و multithreading پایتون

11. پروژه و مثال های دنیای واقعی

  • پروژه های عملی و مثال های دنیای واقعی
  • مطالعات موردی اسکریپینگ انواع مختلف وب سایت ها (مانند سایت های فروشگاهی، رسانه های اجتماعی، سایت های خبری)
هیچ پیوستی یافت نشد
هیچ پیوستی یافت نشد
قبلی
بعدی