هفت پروژه مهندسی داده بسیار کاربردی (سناریوهای واقعی، نه Kaggle 👇🏻)۱. پایپ‌لاین API به انبار داده (API-to-Warehouse Pipeline)دریافت داده از یک API عمومی (مثل OpenWeather یا Spotify).مدیریت بارگذاری تدریجی (Incremental Loading) در Postgres.⚙️ تکنولوژی‌ها: Python، dlt، Postgres، Dockerhttps://dlthub.com/docs/intro۲. انبار داده مدرن با dbtلود کردن دیتاست نمونه Jaffle Shop در Postgres.ساخت مدل‌ها از لایه staging به marts به همراه تست‌ها، مستندسازی و اسنپ‌شات‌های SCD2.⚙️ تکنولوژی‌ها: dbt Core، SQL، Postgres، Git🔗 https://docs.getdbt.com/guides/manual-install۳. پروژه DAG Airflow با سنسورها و backFillsزمان‌بندی دریافت روزانه داده از دیتاست شکایات NYC 311.اضافه کردن سنسورها، شاخه‌بندی (branching) و تلاش مجدد (retry) با backoff.⚙️ تکنولوژی‌ها: Apache Airflow، Python، Docker🔗 آموزش Airflow: https://airflow.apache.org/docs/apache-airflow/stable/tutorial/۴. استریم رویداد با Kafkaاجرای Kafka به صورت لوکال و تولید داده‌های مصنوعی (مثل کلیک و سفارش) با Python و Faker.ساخت یک consumer که داده‌ها را به صورت real-time تجمیع کرده و در Postgres ذخیره کند.تکنولوژی‌ها: Kafka، Python، Faker، Docker🔗 مبانی Kafka: https://developer.confluent.io/courses/apache-kafka/events/ ۵. پردازش دسته‌ای با PySpark (PySpark Batch Processing)پردازش داده‌های یک ماه از GitHub Archive (حدود ۵۰ گیگابایت رویداد) به‌صورت محلی با PySpark.تمرین پارتیشن‌بندی (partitioning)، اتصال‌ها (joins) و نوشتن داده.⚙️ تکنولوژی‌ها: PySpark، Parquet، Python، Docker🔗 GH Archive: https://www.gharchive.org/ ۶. لیک‌هاوس مدالیون (Medallion Lakehouse)دریافت داده‌های سفر تاکسی نیویورک در لایه‌های برنز → نقره → طلا با استفاده از فرمت جدول باز.بهره‌مندی از تکامل اسکیمای داده (schema evolution) و قابلیت time travel به‌صورت پیش‌فرض.⚙️ تکنولوژی‌ها: Postgres، Apache Iceberg، Parquet، Python🔗 معرفی Iceberg: https://iceberg.apache.org/spark-quickstart/۷. چارچوب کیفیت داده (Data Quality Framework)گسترش DAG در Airflow از پروژه ۳ با افزودن بررسی‌های خودکار برای: مقادیر خالی (null)، بازه‌ها (ranges)، اسکیمای داده و به‌روز بودن (freshness).⚙️ تکنولوژی‌ها: Great Expectations، Python، Airflow🔗 Great Expectations:https://docs.greatexpectations.io/docs/https://t.me/datalook_ir کانال من در بله :https://ble.ir/ai_with_mina