Як зробити вилучення функції з використанням Apache Spark

Я новачок у програмі «Машинознавство», і для виявлення/передбачення шахрайських транзакцій я повинен виконувати вилучення функцій для банківської програми.

Я дістався кілька статей про вилучення зображень за допомогою Scipy/Sci-kit, навчаючись в Python, але я хочу знати, чи є якийсь спосіб зробити те ж саме в Apache Spark, використовуючи деякі пакети або модулі в Spark

Тут також вітаються будь-які ідеї, які дозволяють мені використовувати Pyspark

Оцінюючи свої думки з цього приводу. Спасибі заздалегідь

1
Ласкаво просимо до DataScience.SE! Навчіться в першу чергу робити це з пандами; він використовує ту саму парадигму.
додано Автор David, джерело
Ви знаєте, що таке функція?
додано Автор CalZ, джерело
Скажімо, у вас є набір даних із датою (MM/DD/РРРР) у ній. Функціональне проектування буде додати стовпчик до нього для дня тижня (з неділі до суботи), щоб ви могли виявити активність у вихідні дні проти дня робочого дня. Google, як "додати стовпець у фреймі даних панд", а потім, як це зробити, з кадром даних "Іскра".
додано Автор CalZ, джерело
додано Автор CalZ, джерело
Що ви маєте на увазі, визначаючи мітки? Те, що ви описали, звучить як звичайне навчання комп'ютера - ви передаєте в купу входів і створює модель для прогнозування етикеток.
додано Автор CalZ, джерело
Добре, те, що ви описуєте, просто звучить як звичайне навчання.
додано Автор CalZ, джерело
Я рекомендую вам почати просте зрозуміти, що таке класифікація, а потім спробувати повторно реалізувати в Spark: orange.biolab.si/docs
додано Автор CalZ, джерело
Спасибі @ Емре, але було б добре, якщо ви, будь ласка, детально розкажіть свої думки про те, як зробити витяг/виділення з пандами
додано Автор Shifty Fingers, джерело
Так, @CalZ теоретично
додано Автор Shifty Fingers, джерело
Я отримав точку @CalZ, але я наткнувся на те, що називається "Автоматичний вибір можливостей" в python, який сканує вхідний набір даних і автоматично вибирає стовпці, які дають точне прогнозування. Але я не розумію, як це робиться. Чи існує якийсь аналогічний підхід до виявлення важливих стовпчиків замість додавання нового стовпця для інженерної діяльності? Будь ласка, виправте мене, якщо я помиляюсь
додано Автор Shifty Fingers, джерело
@CalZ Дякую за ваші покажчики. Чи можете ви, будь ласка, дайте мені знати, чи можемо ми передавати всі стовпці як функції і визначати мітки, чи є це 0 або 1 подібним
додано Автор Shifty Fingers, джерело
Так @ Калц. Наприклад: Визначення конкретної транзакції як шахрайства або не заснована на кількох функціях (наприклад, транзакції, транзакції та ін.). Тут етикетка 0 являє собою схему не шахрайства, а мітка 1 - це операція з шахрайством.
додано Автор Shifty Fingers, джерело
Так @ Calz будь-які вклади про те, як це досягти? Тут є так багато корисних статей, але я не бачу хорошої статті, яка точно відповідає тому, що потрібно мені
додано Автор Shifty Fingers, джерело

Відповідей немає

0