M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Прискорте навчання ШІ за допомогою блокнотів Microsoft Fabric

By ·

Проєкти штучного інтелекту та машинного навчання потребують величезних обчислювальних ресурсів, безперебійної інтеграції даних і ефективних процесів обробки. …

Automatically translated with AI from the original post. Read the English original

Проєкти штучного інтелекту та машинного навчання потребують величезних обчислювальних ресурсів, безперебійної інтеграції даних і ефективних процесів обробки. Раніше фахівці з обробки даних стикалися з додатковими витратами на переміщення великих наборів даних між різними середовищами, керування фрагментованими наборами інструментів і суттєвою затримкою під час навчання. Сьогодні є єдине рішення, яке долає розрив між масштабною інженерією даних і гнучкою розробкою моделей машинного навчання. Використовуючи блокноти Microsoft Fabric, команди можуть оптимізувати весь операційний конвеєр: від приймання необроблених даних до розгортання моделі.

У цій статті ми детальніше розглянемо основні концепції, про які йшлося в нашому подкасті Train AI Models with Microsoft Fabric Notebooks. Ми докладно розберемо налаштування середовища, ефективну підготовку наборів даних, запуск завдань навчання, керування моделями та практики, які допоможуть прискорити ваші робочі процеси зі ШІ.

Налаштування блокнотів Fabric

Налаштування робочого простору в блокнотах Fabric створює міцну основу для навчання моделей ШІ. Цей розділ містить огляд блокнотів Fabric і проводить вас через кожен крок: від створення облікового запису до запуску першого блокнота. Ви побачите, як просто підключитися до своїх даних і використовувати Spark для потужної аналітики.

Доступ до Microsoft Fabric

Створення облікового запису

Для початку вам потрібен доступ до Fabric. Ви можете створити безкоштовний обліковий запис Fabric, який дозволяє входити в застосунок Fabric. Якщо ви вже використовуєте Microsoft Power BI, можна скористатися наявним обліковим записом Power BI. Цей простий процес гарантує, що ви зможете одразу почати роботу з блокнотами.

Порада: Користувачі не повідомляли про серйозних проблем із доступом, тож можна розраховувати на зручну реєстрацію.

Навігація робочим простором

Після входу ви побачите робочий простір Fabric. Тут можна упорядковувати проєкти, керувати ресурсами та отримувати доступ до сховища lakehouse. Панель робочого простору допомагає швидко знайти блокноти, набори даних та інші елементи. Також можна перевірити ємність і параметри робочого простору, щоб переконатися, що вони відповідають вимогам проєктів зі ШІ.

ВимогаОпис
Microsoft FabricНалаштуйте Fabric із ємністю F64.
LakehouseДодайте lakehouse до блокнота та завантажте дані з публічного blob-сховища.
Azure AI SearchНалаштуйте Azure AI Search.
CopilotПереконайтеся, що параметр клієнта для Copilot увімкнено.
Ємність робочого просторуВикористовуйте підтримувану ємність (F2 або вище, або P1 або вище).
Параметри міжрегіональної обробкиЗа потреби увімкніть параметри клієнта для міжрегіональної обробки даних.

Запуск блокнота

Вибір ядра

Після налаштування робочого простору можна створити новий блокнот. Під час запуску блокнота ви обираєте ядро. Ядро визначає мову програмування та середовище. Блокноти Fabric підтримують Python та інші мови, що робить їх гнучкими для різних завдань ШІ.

Налаштування бібліотек

Перед початком аналізу може знадобитися встановити або імпортувати бібліотеки. У блокнотах Fabric це просто. Ви можете додавати бібліотеки для науки про дані, машинного навчання чи візуалізації безпосередньо в блокнот. Таке налаштування дозволяє використовувати Spark для обробки великих наборів даних і безперешкодно працювати з вашим lakehouse.

ФункціяОпис
Гнучкість мовПідтримує Python та інші мови для робочих процесів науки про дані.
Обробка даних у масштабіВикористовує Spark для ефективної обробки великих наборів даних.
ІнтерактивністьДозволяє запускати код і бачити результати в реальному часі.
Безшовна інтеграція зі сховищемБезпосередньо підключається до lakehouse, тож ви працюєте з даними там, де вони зберігаються.

Створюючи новий блокнот, ви уникаєте клопоту з переміщенням даних між інструментами. Можна обробляти, аналізувати й візуалізувати дані в одному місці. Така інтеграція економить час і зменшує кількість помилок. Якщо ви лише знайомитеся з Fabric, можливо, доведеться трохи повчитися, але єдиний робочий простір і прямий доступ до даних значно спрощують роботу.

Примітка: Якщо ви працюєте над великими проєктами або в команді, блокноти Fabric допомагають уникнути фрагментованих процесів. Ви можете від самого початку тримати все впорядкованим та ефективним.

Підготовка даних у блокнотах Fabric

Підготовка набору даних у блокнотах Fabric створює основу для успішного навчання моделей ШІ. Ви можете оптимізувати кожен етап: від завантаження даних до їх візуалізації, використовуючи вбудовані інструменти та функції на основі Spark.

Імпорт даних

Підключення до lakehouse

Почніть із підключення блокнота до lakehouse. Це з'єднання дає прямий доступ до ваших наборів даних, тож не потрібно переміщувати файли між системами. Ви працюєте з даними там, де вони зберігаються, що заощаджує час і зменшує кількість помилок. Lakehouse зберігає ваш набір даних у таблицях delta, тож завантажувати й оновлювати інформацію легко за потреби.

Завантаження даних за допомогою Spark

Після підключення використовуйте Spark для прийому даних. Spark дозволяє швидко та ефективно завантажувати великі набори даних. Ви можете читати дані з кількох джерел, зокрема файли CSV, файли Parquet або наявні таблиці у вашому lakehouse. Spark бере на себе основну роботу, тож ви можете зосередитися на роботі з даними, а не турбуватися про обмеження пам'яті.

Порада: Використовуйте DataFrame Spark для обробки набору даних у великому масштабі. Такий підхід допомагає працювати навіть з найбільшими наборами даних без уповільнення робочого процесу.

Очищення даних

Обробка відсутніх значень

Очищення набору даних є ключовим кроком перед навчанням будь-якої моделі. Ви можете запустити Data Wrangler із блокнота Fabric, щоб дослідити набір даних і знайти відсутні значення. Data Wrangler автоматично генерує код для типових завдань очищення, наприклад заповнення відсутніх значень або видалення неповних рядків. Ці кроки очищення можна експортувати як функції для повторного використання в pandas або PySpark, що робить ваш робочий процес ефективнішим.

Інжиніринг ознак

Інжиніринг ознак допомагає створювати нові змінні на основі наявного набору даних. Ви можете використовувати інструменти на основі Python у блокнотах Fabric, щоб перетворювати дані та формувати ознаки, які підвищують точність моделі. Spark дозволяє легко застосовувати ці перетворення до всього набору даних, навіть якщо в ньому мільйони рядків.

Найкраща практика:

  1. Використовуйте інструменти Spark і Python для очищення та перетворення набору даних.
  2. Створюйте експерименти для перевірки різних наборів ознак.
  3. Відстежуйте запуски та результати за допомогою MLflow в інтерфейсі Fabric.

Дослідження даних

Зведена статистика

Дослідження набору даних допомагає зрозуміти його структуру та якість. Ви можете безпосередньо в блокноті згенерувати зведену статистику, наприклад середнє, медіану та стандартне відхилення. Ця статистика дає швидкий огляд набору даних і показує проблеми, які потребують уваги.

Візуалізації

Візуалізація даних оживляє ваш набір даних. Блокноти Fabric підтримують вбудовані функції візуалізації та інтегруються з бібліотеками на кшталт Matplotlib і Bokeh. Табличні результати можна перетворити на діаграми без написання додаткового коду. Функція display дозволяє взаємодіяти з даними та легко помічати тенденції чи викиди.

Примітка: Інтерактивна візуалізація даних допомагає приймати кращі рішення під час підготовки набору даних для навчання моделей ШІ.

Навчання моделей у Fabric

Написання коду для навчання

Використання Python або R

Код для навчання моделі можна писати кількома мовами в блокнотах Microsoft Fabric. Платформа підтримує:

Більшість користувачів обирають Python за його гнучкість і багату екосистему. Ви також можете використовувати R, якщо вам подобаються його статистичні інструменти. PySpark дозволяє масштабувати завдання навчання на багатьох вузлах, що важливо для великих наборів даних. Python добре підходить для глибокого навчання та розробки моделей pytorch. Якщо ви хочете використовувати pytorch, можна встановити бібліотеку та одразу почати створювати свою модель pytorch. Для статистичного навчання можна використовувати SparkR, а для швидких запитів до даних — Spark SQL.

Структурування комірок коду

Організуйте код у чіткі, логічні комірки. Почніть із завантаження та очищення даних. Додайте комірки для інжиніринг ознак і дослідницького аналізу. Розмістіть код навчання моделі в окремій комірці. Така структура допомагає налагоджувати й повторно запускати частини вашого експерименту з машинним навчанням без повторення попередніх кроків. Також можна додати комірки markdown, щоб пояснити логіку та задокументувати експерименти. Такий підхід робить блокноти зручними для читання та спільного використання.

Вибір алгоритму

Вибір моделей

Потрібно вибрати алгоритм, який відповідає вашому завданню. Логістична регресія добре працює для задач бінарної класифікації. Для складніших моделей можна використовувати бібліотеки на кшталт scikit-learn, PySpark ML, TensorFlow або PyTorch. Якщо ви хочете побудувати модель на PyTorch, можна скористатися підтримкою GPU у Fabric, щоб прискорити навчання. PyTorch популярний для глибокого навчання, розпізнавання зображень і обробки природної мови. Його також можна використовувати для transfer learning і тонкого налаштування попередньо навчених моделей.

Вибираючи алгоритм, враховуйте розмір даних, тип задачі та наявні ресурси. FLAML, створена Microsoft Research, допомагає ефективно навчати моделі. Вона використовує менше обчислювальних ресурсів і добре працює з паралельними завданнями. Це робить її гарним вибором для експериментів машинного навчання у великому масштабі.

Налаштування гіперпараметрів

Гіперпараметри визначають, як навчаються ваші моделі. Для пошуку найкращих значень можна використати flaml.tune. Fabric дозволяє запускати багато пробних налаштувань одночасно завдяки паралельній обробці у Spark. Це означає, що ви можете швидко перевірити різні швидкості навчання, розміри пакетів або кількість шарів для своєї моделі PyTorch. Кожен пробний запуск можна відстежувати в експерименті машинного навчання за допомогою відстеження експериментів. Засоби візуалізації допомагають порівняти результати й обрати найкращу конфігурацію. Ви побачите, які налаштування найкраще працюють для вашої моделі під час тестування та навчання моделі.

Порада: Використовуйте відстеження експериментів, щоб фіксувати кожен пробний запуск, метрику та параметр. Це допоможе відтворювати успішні експерименти й уникати помилок.

Запуск завдань навчання

Моніторинг перебігу

Ви можете відстежувати завдання навчання в режимі реального часу. Блокноти Fabric показують, як виконується кожен крок. Режим High Concurrency прискорює завдання приблизно на 30%. Для кожного кроку блокнота ви отримуєте детальні журнали. Інтеграція з MLflow забезпечує автоматичне журналювання, тож метрики не доводиться записувати вручну. Ви можете визначити сеанси навчання й вибрати, які параметри та метрики фіксувати. Так легко відстежувати перебіг навчання та порівнювати різні експерименти.

СценарійБлокноти Python (ВМ з 2 ядрами)Блокноти PySpark (обчислювальні ресурси Spark)
Обробка великих наборів данихОбмежено пам'яттю одного вузла. Можуть виникати труднощі з масштабуванням.Розподілена обробка забезпечує масштабовану роботу з навантаженнями від кількох гігабайтів до терабайтів.

Видно, що блокноти PySpark краще справляються з великими наборами даних. Це важливо, коли ви навчаєте модель PyTorch або інші моделі глибокого навчання на великих даних.

Контрольні точки

Контрольні точки дозволяють зберегти стан моделі під час навчання. Якщо завдання зупиниться або ви захочете призупинити його, можна відновити навчання з останньої контрольної точки. Це корисно для довготривалих завдань навчання моделі PyTorch. Ви не втрачаєте прогрес, якщо потрібно перезапустити процес. Контрольні точки також можна використовувати, щоб перевіряти різні стратегії навчання або продовжувати експеримент машинного навчання з певного місця.

Примітка: Завжди встановлюйте контрольні точки, коли навчаєте моделі на великих наборах даних. Ця практика заощаджує час і захищає вашу роботу.

Тепер у вас є інструменти для навчання, тестування та моніторингу моделей машинного навчання в блокнотах Microsoft Fabric. Ви можете проводити експерименти, налаштовувати гіперпараметри та створювати потужні рішення на основі моделей PyTorch для будь-якого завдання з науки про дані.

Робочий процес навчання моделей ШІ

AI Model Training Workflow

Ви можете повністю розкрити потенціал навчання моделей ШІ, опанувавши робочий процес у блокнотах Microsoft Fabric. Цей розділ розповідає про розподілену оцінку, налаштування моделей і використання вбудованих функцій ШІ. Ви побачите, як Spark, моніторинг у реальному часі та можливості Copilot допомагають створювати кращі моделі швидше.

Розподілена оцінка

Оцінювання продуктивності

Ви можете оцінювати продуктивність моделі на великих наборах даних із використанням розподілених обчислень Spark. Spark ділить тестові дані на менші частини й обробляє їх паралельно. Тож не доводиться чекати результатів години. Метрики на кшталт точності, влучності та повноти можна перевірити безпосередньо в блокноті. Цей підхід добре працює для глибокого навчання з PyTorch, коли моделі потрібно тестувати на мільйонах записів. Моніторинг у реальному часі у Fabric дає змогу спостерігати за використанням ресурсів і перебігом завдання під час оцінювання.

Порівняння моделей

У блокнотах можна порівнювати різні моделі поруч. Наприклад, можна навчити модель PyTorch і модель scikit-learn на одному наборі даних. Результати кожної моделі можна журналювати та візуалізувати за допомогою вбудованих діаграм. Це допомагає обрати найкращу модель для вашого проєкту навчання моделей штучного інтелекту. Також можна використовувати відстеження експериментів, щоб зберігати результати та ділитися ними з командою. Так легко повторювати успішні експерименти й покращувати робочий процес.

Налаштування моделей

Пошук гіперпараметрів

Точність моделі можна підвищити шляхом налаштування гіперпараметрів. Для цього в блокнотах Microsoft Fabric підтримуються розширені інструменти, наприклад Optuna. Ось простий робочий процес, який можна застосувати:

  1. Створіть дослідження за допомогою Optuna, щоб зберігати результати випробувань:
    study = optuna.create_study(direction="maximize")
  2. Оптимізуйте дослідження для заданої кількості випробувань:
    study.optimize(objective, n_trials=60, show_progress_bar=True)
  3. Виведіть результати випробувань:
    print("Number of finished trials:", len(study.trials))

Пошук також можна візуалізувати за допомогою графіків. Використовуйте plot_optimization_history(study).show(), щоб побачити, як покращується модель з часом. Спробуйте plot_param_importances(study).show(), щоб дізнатися, які налаштування мають найбільше значення. Використовуйте plot_parallel_coordinate(study).show(), щоб дослідити, як різні параметри взаємодіють між собою. Не копіюйте код без змін: адаптуйте його та експериментуйте з різними гіперпараметрами, щоб досягти найкращих результатів для PyTorch або інших моделей.

Уникнення перенавчання

Потрібно, щоб навчання моделей штучного інтелекту створювало моделі, які добре працюють з новими даними, а не лише з навчальним набором. Перенавчання відбувається тоді, коли модель надто добре засвоює навчальні дані й не справляється з новими прикладами. Це можна запобігти за допомогою крос-валідації та методів стекінгу.

Стекінг зазвичай використовує крос-валідацію для створення прогнозів для мета-моделі, що гарантує, що жодна інформація не просочиться з навчання до тестування. Це додає складності, але також забезпечує стійкість.

Також можна використовувати ранню зупинку в PyTorch, регуляризацію та шари dropout, щоб зробити моделі стійкішими. Завжди перевіряйте оцінки на валідаційних даних і коригуйте процес навчання, якщо бачите ознаки перенавчання.

Вбудовані функції штучного інтелекту

Класифікація тексту

Заощадити час на типових завданнях можна за допомогою вбудованих функцій штучного інтелекту в блокнотах Microsoft Fabric. Для класифікації тексту можна використовувати функцію Classify, щоб розподіляти електронні листи, заявки в службу підтримки чи документи за категоріями. Це добре працює в бізнес-сценаріях, наприклад для спрямування термінових запитів або позначення відгуків клієнтів. Також можна створювати власні моделі PyTorch для складніших завдань класифікації.

Аналіз тональності

Аналіз тональності допомагає зрозуміти тон тексту, наприклад відгуків клієнтів чи дописів у соціальних мережах. Функцію Sentiment Analysis можна використовувати, щоб позначати негативні коментарі та швидко на них реагувати. Ця функція працює в блокнотах одразу, тож не потрібно писати складний код. Вбудовані функції також можна поєднувати з власними моделями PyTorch для ще кращих результатів.

Ось таблиця вбудованих функцій штучного інтелекту, які можна використовувати в робочому процесі навчання моделей штучного інтелекту:

ФункціяОписСценарії використання
SummarizeСкорочує довгі тексти до коротких підсумківПеретворення довгих внутрішніх листів компанії на короткий і лаконічний підсумок
ClassifyКатегоризує текст за власними мітками або тегамиКласифікація заявок у службу підтримки за рівнем серйозності (термінові, критичні тощо)
ExtractВитягує конкретну інформацію з вхідного текстуВитягування імені та місцезнаходження з бази електронних листів клієнтів
TranslateПерекладає текст з однієї мови на іншуПереклад електронних листів клієнтів з іспанської на англійську
SimilarityПорівнює два різні тексти та показує, наскільки вони схожіПошук схожих заявок у службу підтримки, що описують одну й ту саму проблему
Sentiment AnalysisВизначає тон тексту: позитивний, негативний або нейтральнийПозначення відгуків клієнтів зі словами на кшталт «неприйнятно», «погано» та їх опрацювання до ескалації

Ви можете використовувати Copilot для генерації коду, пропозицій щодо покращень і автоматизації повторюваних кроків. Це робить процес навчання моделей штучного інтелекту швидшим і продуктивнішим. Ви можете зосередитися на створенні та налаштуванні моделей PyTorch, поки Copilot виконує рутинну роботу.

Дотримуючись цього робочого процесу в блокнотах Microsoft Fabric, ви можете масштабувати навчання моделей штучного інтелекту, ефективно налаштовувати моделі PyTorch і використовувати вбудовані функції штучного інтелекту для вирішення реальних завдань.

Управління моделями та їх розгортання

Збереження моделей

Експорт і версіонування

Вам потрібен надійний спосіб зберігати та відстежувати ваші моделі PyTorch у Fabric. Почніть з використання MLflow для логування кожного запуску навчання. MLflow записує ваші параметри, метрики та артефакти. Це допомагає знайти найкращу версію моделі PyTorch, коли вона вам потрібна. Увімкніть автологування на початку відстеження експериментів. Так ви зафіксуєте всі важливі деталі вже з першого запуску. Додати логи пізніше не можна, тож починайте раніше.

Ви можете використати Delta Lake time travel, щоб зафіксувати точну версію ваших навчальних даних. Так ви завжди зможете відтворити результати. Реєструйте кожну модель PyTorch у реєстрі моделей MLflow. Вказуйте версію, хеш навчальних даних, метрики продуктивності та власника. Це створює чіткий журнал аудиту для керування моделями. Перш ніж переводити модель у продуктивне середовище, налаштуйте процес перевірки людиною. Використовуйте погодження запитів на злиття (pull request) в Azure DevOps, пов’язані з конвеєрами розгортання Fabric. Цей крок робить ваш робочий процес безпечним і відповідним вимогам.

Порада: Завжди тримайте ваші найкращі моделі PyTorch зареєстрованими в MLflow. Ви можете повернутися до попередньої версії, якщо знайдете проблему.

Спільна робота з нотатниками

Можливості для спільної роботи

Ви можете легко працювати з командою в нотатниках. Платформа підключається безпосередньо до вашого Lakehouse, тож усі використовують одні й ті самі дані. Нотатники поєднують код, коментарі та результати в одному місці. Це спрощує обмін ідеями та результатами. Члени команди можуть використовувати улюблені мови програмування, як-от Python або R, на одному наборі даних. Ця гнучкість допомагає всім долучатися до керування моделями та відстеження експериментів.

ФункціяОпис
Легка робота з даними LakehouseПряме підключення до Lakehouse у Fabric для безперешкодної взаємодії з даними без додаткового налаштування.
Краща співпрацяНотатники поєднують код, коментарі та результати, що покращує розуміння та обмін між членами команди.
Підтримка різних стилів програмуванняДозволяє членам команди використовувати мови програмування, які вони вважають зручними, що сприяє спільній роботі над одним набором даних.

Розгортання моделей

Інтеграція з конвеєрами Fabric

Ви можете розгортати моделі PyTorch за допомогою конвеєрів розгортання Fabric. Ці конвеєри допомагають керувати моделями в середовищах розробки, тестування та продуктивному. Ви зберігаєте контроль і узгодженість на кожному етапі. Візуальний робочий процес у Microsoft Fabric Deployment Pipelines показує, де знаходиться ваша модель PyTorch і які кроки наступні. Ви можете просувати моделі PyTorch through контрольовані середовища. Так команда дотримується найкращих практик керування моделями.

Інференс у реальному часі

Ви можете обслуговувати моделі PyTorch для інференсу в реальному часі. Це означає, що ви можете робити прогнози на нових даних одразу після їх надходження. Наприклад, розгорнуту модель PyTorch можна використати для класифікації звернень у службу підтримки або миттєвого аналізу відгуків клієнтів. MLflow відстежує кожне розгортання, тож ви знаєте, яка версія моделі PyTorch працює. За потреби ви можете швидко оновити розгортання або повернути попередню версію.

Примітка: Інференс у реальному часі допомагає реагувати на потреби бізнесу без затримок. Використовуйте MLflow для моніторингу та керування моделями PyTorch у продуктивному середовищі.

Дотримуючись цих кроків, ви зможете керувати збереженням, спільною роботою та розгортанням моделей PyTorch у Fabric. Ваш робочий процес залишається організованим, а результати – відтворюваними. MLflow і нотатники дають інструменти, потрібні для відстеження експериментів і керування моделями у великому масштабі.

Найкращі практики в нотатниках Fabric

Відтворюваність

Документування робочого процесу

Завжди документуйте робочий процес, щоб ваші проєкти ШІ було легко повторити та зрозуміти. Якісна документація допомагає вам і команді відстежувати кожен крок процесу навчання моделей. Почніть з опису бізнес-контексту кожного експерименту. Реєструйте моделі з чіткими поясненнями того, що вони прогнозують, як їх використовувати та які є відомі обмеження. Використовуйте комірки markdown у нотатниках, щоб пояснювати свою логіку та рішення. Ця звичка полегшує обмін роботою та її перевірку.

Порада: Документуйте кожен експеримент по ходу роботи. Так ви заощадите час і уникнете плутанини пізніше.

Управління середовищем

Керування середовищем гарантує, що ваші результати залишаються стабільними під час різних запусків. Записуйте версії всіх бібліотек і залежностей, які використовуєте. Ця практика допомагає уникнути несподіванок, коли ви або ваші колеги повторно запускаєте ноутбуки. Для відстеження налаштувань використовуйте файли середовища або списки пакетів. Коли ви ділитеся роботою, додавайте ці відомості, щоб інші могли відтворити ваші результати без проблем.

Співпраця

Спільна робота в команді

Робота в команді у Fabric проста й ефективна. Ви можете надавати колегам доступ до ноутбуків і налаштовувати дозволи для кожного користувача. Такий контроль дає змогу вирішувати, хто може переглядати або редагувати вашу роботу. Команди можуть залишати коментарі до окремих клітинок, щоб обговорювати код, ставити запитання або пропонувати зміни. Ці можливості допомагають усім бути на одній хвилі та разом рухати проєкти вперед.

Перегляд коду

Перегляд коду важливий для якості та навчання. Ноутбуки підтримують історію версій, тож ви бачите, що змінилося і коли. За потреби можна повернутися до попередньої версії. Інтеграція з Git дає змогу використовувати систему контролю версій для ще точнішого відстеження. Ці інструменти спрощують перегляд коду, пошук помилок і захист вашого проєкту.

Оптимізація продуктивності

Керування ресурсами

Продуктивність можна оптимізувати, розумно керуючи ресурсами. Підбирайте обсяг обчислювальних ресурсів відповідно до навантаження. Збільшуйте ресурси у пікові періоди та призупиняйте їх, коли вони не використовуються. Зарезервована ємність і spot-навантаження можуть допомогти зекономити. Налаштовуйте бюджети та сповіщення, щоб уникнути перевитрат. Відстежуйте пікові навантаження, щоб своєчасно виявляти вузькі місця.

Порада щодо оптимізаціїПеревага
Підбір обсягу ресурсівВідповідність ресурсів потребам навантаження
Зарезервовані та spot-навантаженняЗменшує витрати
Моніторинг пікових навантаженьШвидко виявляє вузькі місця
Бюджети та сповіщенняЗапобігає неочікуваним витратам

Ефективна обробка даних

Ефективна обробка даних прискорює ваші проєкти штучного інтелекту. Обробляйте дані на місці, щоб мінімізувати переміщення та заощадити час. Очищуйте сховище, щоб покращити продуктивність. Використовуйте повторно вживані таблиці ознак, щоб не виконувати одну роботу двічі. Паралельне підбирання гіперпараметрів дає змогу одночасно перевірити багато налаштувань, що прискорює експерименти. Завжди відстежуйте експерименти, щоб результати залишалися впорядкованими.

Примітка: Ефективна обробка даних і розумне керування ресурсами допомагають максимально використати ваші проєкти штучного інтелекту.

Усунення несправностей

Під час роботи з ноутбуками Microsoft Fabric ви можете зіткнутися з проблемами, які сповільнюють роботу. Знання того, як усувати поширені неполадки, допомагає тримати проєкти на контролі. Цей розділ містить практичні кроки для налагодження та пошуку підтримки, коли вона потрібна.

Налагодження

Багато проблем можна вирішити, дотримуючись чіткого процесу. Почніть із перевірки Центру моніторингу в порталі Microsoft Fabric. Цей інструмент показує, чи не завершилися з помилкою які-небудь конвеєри або чи є помилки у вашій робочій області. Якщо ви бачите проблему, перегляньте деталі, зокрема назву робочої області, activator і джерело eventstream. Ці відомості допоможуть швидко знайти першопричину.

Скористайтеся наведеними нижче кроками, щоб налагодити конвеєри даних і ноутбуки:

  1. Перевірте Центр моніторингу на наявність завершених із помилкою завдань або помилок.
  2. Перевірте всі підключення та облікові дані, особливо для Azure SQL або інших пов’язаних служб.
  3. Використовуйте режим налагодження, щоб покроково пройти конвеєри даних і знайти місце, де вони зупиняються.
  4. Перегляньте налаштування розкладу та запуску, щоб переконатися, що завдання виконуються за планом.
  5. Відстежуйте використання ресурсів, щоб перевірити, чи повільна робота не спричинена обмеженою ємністю.
  6. Відвідайте сторінку стану Microsoft Fabric, щоб перевірити збої служби або оновлення.
  7. Експортуйте й імпортуйте конвеєри за допомогою функції «Зберегти як», якщо потрібно їх дублювати або скинути.
  8. Документуйте ідентифікатори правил, умови, позначки часу та уражені об’єкти, щоб відстежувати, що сталося.

Порада: Під час запуску й налагодження ноутбуків завжди ведіть журнал змін і дій. Ця звичка полегшує відстеження проблем і передачу результатів команді.

Ресурси підтримки

Якщо ви самі не можете усунути проблему, у вас є кілька варіантів отримати підтримку. Microsoft пропонує сильну спільноту та офіційні канали допомоги. Ці ресурси допоможуть знайти відповіді та повчитися на досвіді інших.

Звертаючись по допомогу, вкажіть важливі деталі: назву робочого простору, джерело eventstream, ідентифікатори правил і час, коли сталася проблема. Ця інформація допомагає службі підтримки реагувати швидше та точніше.

Примітка: Участь у спільноті часто дає швидкі рішення. Багато користувачів діляться порадами та найкращими практиками, які допоможуть уникнути подібних проблем у майбутньому.

Дотримуючись цих кроків з усунення несправностей і користуючись наявними ресурсами підтримки, ви зможете вирішити більшість проблем із блокнотами Fabric і продовжити роботу над своїми проєктами.


Ви можете прискорити навчання моделей ШІ за допомогою блокнотів Microsoft Fabric. Знайомий інтерфейс, схожий на Power BI, робить робочий процес інтуїтивним і продуктивним. Ви працюєте в єдиному середовищі, яке поєднує інженерію даних, аналітику та помічника на базі ШІ, тож не потрібно перемикатися між інструментами. Ця інтеграція спрощує кожен етап: від підготовки даних до розгортання.

Скористайтеся цими ресурсами, щоб поглибити свої навички:

Почніть свій шлях уже сьогодні та розкрийте повний потенціал масштабованої й ефективної розробки моделей ШІ. Щоб дізнатися більше про ці техніки та експертні обговорення, обов'язково перегляньте пов'язаний подкаст: Train AI Models with Microsoft Fabric Notebooks.

Fabric notebooks Fabric workspace Microsoft Fabric Azure AI Search Power BI

Related articles

RSS