Учебное пособие по Apache Spark MLlib: как использовать MLlib для обучения модели линейной регрессии скачать в хорошем качестве

Учебное пособие по Apache Spark MLlib: как использовать MLlib для обучения модели линейной регрессии

Знакомство со Spark ML и его использование для обучения модели линейной регрессии. Описание полей набора данных: Ссылка на набор данных: https://1drv.ms/x/s!ArSg3Xpur4GrlwNzz... CRIM: уровень преступности на душу населения в городах. ZN: доля жилых земель, относящихся к категории земель площадью более 25 000 кв. футов (25 000 кв. футов). INDUS: доля некоммерческих площадей в городах. CHAS: Фиктивная переменная реки Чарльз (1, если участок граничит с рекой; 0 в противном случае) NOX: Концентрация оксидов азота (частей на 10 миллионов) RM: Среднее количество комнат в доме AGE: Доля домов, занимаемых владельцами, построенных до 1940 года DIS: Взвешенное расстояние до пяти бостонских центров занятости RAD: Индекс доступности к радиальным магистралям TAX: Ставка налога на недвижимость на 10 000 долларов США PTRATIO: Соотношение учащихся и учителей по городам B: 1000(Bk — 0,63)², где Bk — доля чернокожего населения по городам LSTAT: % населения с низким социальным статусом MEDV: Медианная стоимость домов, занимаемых владельцами, в тысячах долларов США Шаги: из pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() data = spark.read.csv('boston_housing.csv', header=True, inferSchema=True) feature_columns = data.columns[:-1] из pyspark.ml.feature import VectorAssembler assembler = VectorAssembler(inputCols=feature_columns,outputCol="features") data_2 = assembler.transform(data) train, test = data_2.randomSplit([0.7, 0.3]) из pyspark.ml.regression import LinearRegression algo = LinearRegression(featuresCol="features", labelCol="medv") model = algo.fit(train) evaluation_summary = model.evaluate(test) evaluation_summary.meanAbsoluteError predictions = model.transform(test) predictions.select(predictions.columns[13:]).show()