Size: a a a

2019 August 13

MV

Mitya Volodin in Moscow Spark
Andrey Smirnov
вот это и не понятно,
смотрю там, на ноде elastic1:

sudo lsof -i:45261
COMMAND  PID   USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
java    6876 hadoop  615u  IPv6 25499542      0t0  TCP localhost:60526->elastic1:45261 (ESTABLISHED)
java    6877 hadoop  619u  IPv6 25503786      0t0  TCP elastic1:45261->localhost:60526 (ESTABLISHED)
java    6877 hadoop  668u  IPv6 25499480      0t0  TCP elastic1:45261 (LISTEN)

потом sudo iptables -L
ACCEPT     all  --  192.168.0.0/24       anywhere

а внутри сети не хочет коннектится
smirnov@elastic4:~$ telnet elastic1 45261
Trying 192.168.0.20...
telnet: Unable to connect to remote host: Connection refused
Что за ось? Centos?
источник

AS

Andrey Smirnov in Moscow Spark
ubuntu 18
источник

MV

Mitya Volodin in Moscow Spark
опусти firewall на машине совсем
источник

MV

Mitya Volodin in Moscow Spark
Ну, если есть возможность )
источник

MV

Mitya Volodin in Moscow Spark
не помню как точно... что-то вроде ufw disable
источник

MV

Mitya Volodin in Moscow Spark
Andrey Smirnov
вот это и не понятно,
смотрю там, на ноде elastic1:

sudo lsof -i:45261
COMMAND  PID   USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
java    6876 hadoop  615u  IPv6 25499542      0t0  TCP localhost:60526->elastic1:45261 (ESTABLISHED)
java    6877 hadoop  619u  IPv6 25503786      0t0  TCP elastic1:45261->localhost:60526 (ESTABLISHED)
java    6877 hadoop  668u  IPv6 25499480      0t0  TCP elastic1:45261 (LISTEN)

потом sudo iptables -L
ACCEPT     all  --  192.168.0.0/24       anywhere

а внутри сети не хочет коннектится
smirnov@elastic4:~$ telnet elastic1 45261
Trying 192.168.0.20...
telnet: Unable to connect to remote host: Connection refused
а... стоп. Connection refused это не недоступен обычно.

Давай всё-таки так, на всякий случай, проверим, нет ли там tls strict

openssl s_client -host elastic1 -port 45261
источник

AS

Andrey Smirnov in Moscow Spark
smirnov@elastic4:~$ openssl s_client -host elastic1 -port 45261
140695820595648:error:0200206F:system library:connect:Connection refused:../crypto/bio/b_sock2.c:108:
140695820595648:error:2008A067:BIO routines:BIO_connect:connect error:../crypto/bio/b_sock2.c:109:
connect:errno=111
источник

MV

Mitya Volodin in Moscow Spark
хм... ну ооочень похоже на fw
источник

MV

Mitya Volodin in Moscow Spark
Либо я не знаю, может в /etc/hosts или resolve.conf кто-то пошалил
источник

MV

Mitya Volodin in Moscow Spark
и elastic1 уходит совсем не на тот хост 🙂
источник

AS

Andrey Smirnov in Moscow Spark
smirnov@elastic4:~$ telnet elastic1 45261                                       Trying 192.168.0.20...
telnet: Unable to connect to remote host: Connection refused
на elastic1
smirnov@elastic1:~$ ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
   link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   inet 127.0.0.1/8 scope host lo
      valid_lft forever preferred_lft forever
   inet6 ::1/128 scope host
      valid_lft forever preferred_lft forever
3: eno2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
   link/ether ac:1f:6b:97:46:55 brd ff:ff:ff:ff:ff:ff
   inet 192.168.0.20/24 brd 192.168.0.255 scope global eno2
      valid_lft forever preferred_lft forever
   inet6 fe80::ae1f:6bff:fe97:4655/64 scope link
      valid_lft forever preferred_lft forever
источник

AS

Andrey Smirnov in Moscow Spark
а это не может быть как-то связано с ip6
источник

AS

Andrey Smirnov in Moscow Spark
похоже он не на том интерфейсе висит
tcp6       0      0 127.0.1.1:45461         :::*                    LISTEN
источник
2019 August 14

AS

Andrey Smirnov in Moscow Spark
да, дело было в hosts, там были строчки типа 127.0.1.1 elastic1 (так нам уже приходили машины от провайдера), ниже было 192.168.0.20 elastic1, spark вешался на local интерфейс, @mi_volodin спасибо!
источник

ДА

Джумурат Александр... in Moscow Spark
Пытаюсь запустить PySpark 2.4 в кубере. Проблема в том, что не могу подключиться к Hive
Добавил в контейнер конфиги

bash-4.4# ls /opt/spark/conf
core-site.xml  hive-site.xml  yarn-site.xml

Но в логах кубера вижу "Table or view not found..."

какие нужны настройки, кроме закинутый в контейнер XML конфигов ?
источник

ТС

Тимофей Смирнов... in Moscow Spark
У меня он папку conf удалял почему-то, я их закинул в другую папку и подключил в entrypoint в Docker
источник

MV

Mitya Volodin in Moscow Spark
Andrey Smirnov
да, дело было в hosts, там были строчки типа 127.0.1.1 elastic1 (так нам уже приходили машины от провайдера), ниже было 192.168.0.20 elastic1, spark вешался на local интерфейс, @mi_volodin спасибо!
велкам )
источник

AK

Alexander Kondrashki... in Moscow Spark
Тимофей Смирнов
У меня он папку conf удалял почему-то, я их закинул в другую папку и подключил в entrypoint в Docker
+
источник

K

KrivdaTheTriewe in Moscow Spark
Джумурат Александр
Пытаюсь запустить PySpark 2.4 в кубере. Проблема в том, что не могу подключиться к Hive
Добавил в контейнер конфиги

bash-4.4# ls /opt/spark/conf
core-site.xml  hive-site.xml  yarn-site.xml

Но в логах кубера вижу "Table or view not found..."

какие нужны настройки, кроме закинутый в контейнер XML конфигов ?
А енейбл хайв метастор сделал ?
источник

ДА

Джумурат Александр... in Moscow Spark
при создании спарк-ссессии вот так желаю: spark = SparkSession\
       .builder\
       .appName("PythonPi")\
       .config("spark.sql.catalogImplementation","hive")\
       .getOrCreate()
источник