Size: a a a

2020 November 30

A

Alexander in Data Engineers
Andrew Ya
вилка какая?
Может, нафиг эту бигдату? Там больше должно быть
источник

N

Nikita Blagodarnyy in Data Engineers
Andrew Ya
вилка какая?
в глаз
источник

AZ

Anton Zadorozhniy in Data Engineers
T
Привет кто нибудь уже поробывал спарк на M6g в aws?
источник

AZ

Anton Zadorozhniy in Data Engineers
Попробовать можно, но AMD показывает лучше perf/cost
источник

T

T in Data Engineers
Anton Zadorozhniy
Попробовать можно, но AMD показывает лучше perf/cost
это которые r5a?
спасибо за ссылку
источник

T

T in Data Engineers
а все вижу m5a
источник

AZ

Anton Zadorozhniy in Data Engineers
Если GP то m5a
источник

AZ

Anton Zadorozhniy in Data Engineers
Graviton3 будут крутыми, следите за новостями
источник
2020 December 02

R

Rodion in Data Engineers
Всем привет, а кто-нибудь собирал фет джары спарка через сбт? Почему то не запускается, с ошибкой что не может найти класс для чтения ксв, даже если убрать часть кода, где это происходит
источник

N

Nikita Blagodarnyy in Data Engineers
Че-то в зависимостях не так значит.
источник

GP

Grigory Pomadchin in Data Engineers
Rodion
Всем привет, а кто-нибудь собирал фет джары спарка через сбт? Почему то не запускается, с ошибкой что не может найти класс для чтения ксв, даже если убрать часть кода, где это происходит
обычно скаловые фет жары сбт и собирают
источник

GP

Grigory Pomadchin in Data Engineers
лучше скинь ошибку, и асембли стретеджи твою
и все зависимости которые есть у тебя (build.sbt т.е.)
источник

R

Rodion in Data Engineers
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: csv. Please find packages at http://spark.apache.org/third-party-projects.html
       at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:660)
       at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:194)
       at org.apache.spark.sql.DataFrameReader.csv(DataFrameReader.scala:615)
       at org.apache.spark.sql.DataFrameReader.csv(DataFrameReader.scala:467)
       at ru.ofd.test.de.report$.process(report.scala:11)
       at ru.ofd.test.de.report$.main(report.scala:68)
       at ru.ofd.test.de.report.main(report.scala)
Caused by: java.lang.ClassNotFoundException: csv.DefaultSource
       at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
       at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
       at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
       at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
       at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$lookupDataSource$5(DataSource.scala:634)
       at scala.util.Try$.apply(Try.scala:213)
       at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$lookupDataSource$4(DataSource.scala:634)
       at scala.util.Failure.orElse(Try.scala:224)
       at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:634)
       ... 6 more
источник

R

Rodion in Data Engineers
lazy val root = (project in file(".")).
 settings(
   name := "name",
   version := "1.0",
   scalaVersion := "2.12.8",
   mainClass in Compile := Some("class"),
   mainClass in assembly := Some("class")
 )

assemblyMergeStrategy in assembly := {
 case PathList("META-INF", xs@_*) => MergeStrategy.discard
 case x => MergeStrategy.first
}

val sparkVersion = "2.4.2"

libraryDependencies ++= Seq("org.apache.spark" %% "spark-sql" % sparkVersion,
 "org.apache.spark" %% "spark-core" % sparkVersion,
 "org.apache.spark" %% "spark-graphx" % sparkVersion,
 "org.xerial" % "sqlite-jdbc" % "3.32.3.2",
 "org.scala-lang" % "scala-library" % "2.12.8"
)
источник

R

Rodion in Data Engineers
[IJ]assembly
[info] Strategy 'discard' was applied to 419 files (Run the task at debug level to see details)
[info] Strategy 'first' was applied to 465 files (Run the task at debug level to see details)
[success] Total time: 16 s, completed Dec 2, 2020 2:01:32 AM
источник

R

Rodion in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
@Luck1ess мне кажется не верная асембли стратегия

assemblyMergeStrategy in assembly := {
 case "reference.conf"                       => MergeStrategy.concat
 case "application.conf"                     => MergeStrategy.concat
 case n if n.startsWith("META-INF/services") => MergeStrategy.concat
 case n
     if n.endsWith(".SF") || n.endsWith(".RSA") || n.endsWith(".DSA") || n
       .endsWith(".semanticdb") =>
   MergeStrategy.discard
 case "META-INF/MANIFEST.MF" => MergeStrategy.discard
 case _                      => MergeStrategy.first
}
источник

GP

Grigory Pomadchin in Data Engineers
Наверное case PathList("META-INF", xs@_*) => MergeStrategy.discard дискардит ве что внутри META-INF чего делать нельзя
источник

GP

Grigory Pomadchin in Data Engineers
там находятся всякие файлы для SPI нужные
источник

R

Rodion in Data Engineers
ага, спасибо!
источник