K
для которого ты структ тайп можешь вывести
Size: a a a
2021 October 31
GP
а схема тогда зачем
k
мы храним тестовую дату в самом коде. лист из туплов -> createDataFrame
типа такого. хорошо, т. к. тестовая дата лежит обычно в том же файле, что и сам тест. в итоге и дифф в гите читабельный, и к-во файлов при изменении небольшое
типа такого. хорошо, т. к. тестовая дата лежит обычно в том же файле, что и сам тест. в итоге и дифф в гите читабельный, и к-во файлов при изменении небольшое
k
сс
PL
Да, хорошая идея, спасибо
PL
И ещё вопрос - а кто-нибудь использует типизированные датасеты? Да, поначалу не очень удобно, но когда всё готово, удобно поддерживать, типа переименовал/добавил/удалил атрибут, и компилятор всё показывает
T
Да
ПФ
Конечно. У нас всё на них построено в целом
ПФ
Но кое-где всё-таки не типизированные, и вот для этих мест хотим сделать dataframe introspection
2021 November 01
AM
Посоветуйте либы для написания юнит-тестов для кода на PySpark. Вот такую нашел https://github.com/MrPowers/chispa
2021 November 02
IK
Коллеги, добрый вечер! Мы уже в онлайне, прямо сейчас @epikhinm рассказывает про Spark over S3)
https://www.youtube.com/watch?v=xuak6VOS6ns
https://www.youtube.com/watch?v=xuak6VOS6ns
CO
всем привет, подскажите плиз, как правильно написать reg_exp
/?id=14685_157512_0_0_s2&my_code=p16735p3172849pd60cl2447&your_id=etarg_158522_19313
Хочу достать то что жирным
пытался вот так но без результатно
/?id=14685_157512_0_0_s2&my_code=p16735p3172849pd60cl2447&your_id=etarg_158522_19313
Хочу достать то что жирным
пытался вот так но без результатно
F.regexp_extract(F.col('col_name'), '(.my_code)*&' ,1)
Спасибо!MI
Вот так попробуй -
(?<=my_code\=)(.*)(?=&)
CO
Неа (( Там строка идет
непонимаю блин
непонимаю блин
CO
блин, точек понаставлял случайно ))
Работает, спасибо!
Работает, спасибо!
CO
/?id=14685_157512_0_0_s2&your_id=etarg_158522_19313&my_code=p16735p3172849pd60cl2447
=====
/?my_code=p16735p3172849pd60cl2447&your_id=etarg_158522_19313&id=14685_157512_0_0_s2
Блин, а если гуляющая эта ссылка, не как не победить ?
=====
/?my_code=p16735p3172849pd60cl2447&your_id=etarg_158522_19313&id=14685_157512_0_0_s2
Блин, а если гуляющая эта ссылка, не как не победить ?
НК
#Завтра 2021-11-03 :
☯️19:00 вебинар «Data lake и DWH: практический опыт»
💪20:00 про продвинутое использование Spark — tg voice chat
☯️19:00 вебинар «Data lake и DWH: практический опыт»
💪20:00 про продвинутое использование Spark — tg voice chat
MI
Ну я так понял там у тебя два случая либо идет символ & либо конец строки. Если так то попробуй вот такую -
(?<=my_code\=)(.*?)(?=&|$)
R
У меня есть на скале заготовки, но если хочешь, можешь законтрибьютить и добавить для питона реализацию)