В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2019 August 13

MV

Mitya Volodin in Moscow Spark
Andrey Smirnov
вот это и не понятно,
смотрю там, на ноде elastic1:

sudo lsof -i:45261
COMMAND  PID   USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
java    6876 hadoop  615u  IPv6 25499542      0t0  TCP localhost:60526->elastic1:45261 (ESTABLISHED)
java    6877 hadoop  619u  IPv6 25503786      0t0  TCP elastic1:45261->localhost:60526 (ESTABLISHED)
java    6877 hadoop  668u  IPv6 25499480      0t0  TCP elastic1:45261 (LISTEN)

потом sudo iptables -L
ACCEPT     all  --  192.168.0.0/24       anywhere

а внутри сети не хочет коннектится
smirnov@elastic4:~$ telnet elastic1 45261
Trying 192.168.0.20...
telnet: Unable to connect to remote host: Connection refused
Что за ось? Centos?
источник
23:00пожаловаться#1

AS

Andrey Smirnov in Moscow Spark
ubuntu 18
источник
23:00пожаловаться#2

MV

Mitya Volodin in Moscow Spark
опусти firewall на машине совсем
источник
23:00пожаловаться#3

MV

Mitya Volodin in Moscow Spark
Ну, если есть возможность )
источник
23:01пожаловаться#4

MV

Mitya Volodin in Moscow Spark
не помню как точно... что-то вроде ufw disable
источник
23:01пожаловаться#5

MV

Mitya Volodin in Moscow Spark
Andrey Smirnov
вот это и не понятно,
смотрю там, на ноде elastic1:

sudo lsof -i:45261
COMMAND  PID   USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
java    6876 hadoop  615u  IPv6 25499542      0t0  TCP localhost:60526->elastic1:45261 (ESTABLISHED)
java    6877 hadoop  619u  IPv6 25503786      0t0  TCP elastic1:45261->localhost:60526 (ESTABLISHED)
java    6877 hadoop  668u  IPv6 25499480      0t0  TCP elastic1:45261 (LISTEN)

потом sudo iptables -L
ACCEPT     all  --  192.168.0.0/24       anywhere

а внутри сети не хочет коннектится
smirnov@elastic4:~$ telnet elastic1 45261
Trying 192.168.0.20...
telnet: Unable to connect to remote host: Connection refused
а... стоп. Connection refused это не недоступен обычно.

Давай всё-таки так, на всякий случай, проверим, нет ли там tls strict

openssl s_client -host elastic1 -port 45261
источник
23:03пожаловаться#6

AS

Andrey Smirnov in Moscow Spark
smirnov@elastic4:~$ openssl s_client -host elastic1 -port 45261
140695820595648:error:0200206F:system library:connect:Connection refused:../crypto/bio/b_sock2.c:108:
140695820595648:error:2008A067:BIO routines:BIO_connect:connect error:../crypto/bio/b_sock2.c:109:
connect:errno=111
источник
23:05пожаловаться#7

MV

Mitya Volodin in Moscow Spark
хм... ну ооочень похоже на fw
источник
23:06пожаловаться#8

MV

Mitya Volodin in Moscow Spark
Либо я не знаю, может в /etc/hosts или resolve.conf кто-то пошалил
источник
23:07пожаловаться#9

MV

Mitya Volodin in Moscow Spark
и elastic1 уходит совсем не на тот хост 🙂
источник
23:07пожаловаться#10

AS

Andrey Smirnov in Moscow Spark
smirnov@elastic4:~$ telnet elastic1 45261                                       Trying 192.168.0.20...
telnet: Unable to connect to remote host: Connection refused
на elastic1
smirnov@elastic1:~$ ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
   link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   inet 127.0.0.1/8 scope host lo
      valid_lft forever preferred_lft forever
   inet6 ::1/128 scope host
      valid_lft forever preferred_lft forever
3: eno2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
   link/ether ac:1f:6b:97:46:55 brd ff:ff:ff:ff:ff:ff
   inet 192.168.0.20/24 brd 192.168.0.255 scope global eno2
      valid_lft forever preferred_lft forever
   inet6 fe80::ae1f:6bff:fe97:4655/64 scope link
      valid_lft forever preferred_lft forever
источник
23:10пожаловаться#11

AS

Andrey Smirnov in Moscow Spark
а это не может быть как-то связано с ip6
источник
23:16пожаловаться#12

AS

Andrey Smirnov in Moscow Spark
похоже он не на том интерфейсе висит
tcp6       0      0 127.0.1.1:45461         :::*                    LISTEN
источник
23:37пожаловаться#13
2019 August 14

AS

Andrey Smirnov in Moscow Spark
да, дело было в hosts, там были строчки типа 127.0.1.1 elastic1 (так нам уже приходили машины от провайдера), ниже было 192.168.0.20 elastic1, spark вешался на local интерфейс, @mi_volodin спасибо!
источник
00:14пожаловаться#14

ДА

Джумурат Александр... in Moscow Spark
Пытаюсь запустить PySpark 2.4 в кубере. Проблема в том, что не могу подключиться к Hive
Добавил в контейнер конфиги

bash-4.4# ls /opt/spark/conf
core-site.xml  hive-site.xml  yarn-site.xml

Но в логах кубера вижу "Table or view not found..."

какие нужны настройки, кроме закинутый в контейнер XML конфигов ?
источник
17:26пожаловаться#15

ТС

Тимофей Смирнов... in Moscow Spark
У меня он папку conf удалял почему-то, я их закинул в другую папку и подключил в entrypoint в Docker
источник
17:29пожаловаться#16

MV

Mitya Volodin in Moscow Spark
Andrey Smirnov
да, дело было в hosts, там были строчки типа 127.0.1.1 elastic1 (так нам уже приходили машины от провайдера), ниже было 192.168.0.20 elastic1, spark вешался на local интерфейс, @mi_volodin спасибо!
велкам )
источник
17:31пожаловаться#17

AK

Alexander Kondrashki... in Moscow Spark
Тимофей Смирнов
У меня он папку conf удалял почему-то, я их закинул в другую папку и подключил в entrypoint в Docker
+
источник
17:47пожаловаться#18

K

KrivdaTheTriewe in Moscow Spark
Джумурат Александр
Пытаюсь запустить PySpark 2.4 в кубере. Проблема в том, что не могу подключиться к Hive
Добавил в контейнер конфиги

bash-4.4# ls /opt/spark/conf
core-site.xml  hive-site.xml  yarn-site.xml

Но в логах кубера вижу "Table or view not found..."

какие нужны настройки, кроме закинутый в контейнер XML конфигов ?
А енейбл хайв метастор сделал ?
источник
17:49пожаловаться#19

ДА

Джумурат Александр... in Moscow Spark
при создании спарк-ссессии вот так желаю: spark = SparkSession\
       .builder\
       .appName("PythonPi")\
       .config("spark.sql.catalogImplementation","hive")\
       .getOrCreate()
источник
18:07пожаловаться#20