в сторону какой функции смотреть

update: Преобразовал текстовик в json — > в dataFrame (получился key, value), теперь нужно сделать как в sql, только для 1 строки в df искать все значения(word) из словаря:
{"word": "abandons", "value": "-2"}
{"word": "abducted", "value": "-2"}
{"word": "abduction", "value": "-2"}
{"word": "abductions", "value": "-2"}
и если есть совпадения - то в новый(отдельный столбец делать сумму value)
C помощью какой функции можно это сделать? Или есть более простой способ это реализовать, чем мой

Да они осатанели!

Куда там в нетологию писать, чтоб они СММ разогнали?

проверить по строгому совпадению слова ?

как для 1 строки проверить проверить весь список слов и суметь сохранить сумму для этой строки в новый столбец

если да - то возможно следущая идея дурацкая, но она заключается в том, что первый DataFrame с текстовым полем модифицировать в DF где текст поля будет разбит на отдельные слова и каждое слово будет представлено отдельным рядком. А потом по словам сделать JOIN между первым и вторым DF и затем в результуючем DF сделать сумму цифр

думаю не совсем удобно, т.к. слов может быть и 20 и 100 и 400, например так:
есть текст "слово1 слово2 слово3 текст машина утка"
есть справочник:
машина 1
утка 3
слово1 10
и по конкретно этй строке я хочу получить вот так:
слово1 слово2 слово3 текст машина утка ———-  (10+3+1) 14
слово1 слово2 слово3 текст машина метла  ———-  (10+1) 11

Юдф можно написать, а текстовик в мапу превратить, если небольшой. В юдф бегать по массиву слов и проверять их наличие в мапе, при наличии - прибавлять к сумме значение.

а без udf?

только с pyspark.sql.functions

pyspark.sql.functions.udf 🌝

Используйте тогда Spark и слов может быть хоть триллион тогда, если кластер соответствующий найдете

udf нельзя (так сказано в задании)

Спасибо, попробую поправить

Ну мой алгоритм с разбивкой на слова — точно так и сработает как вам нужно - join на двух DF, а потом сумма по результирующему DF в группах.

Можете массив слов разобрать в отдельные записи (explode), после чего заджойнить и подсчитать сумму

как джойнить то? если поля общего нет, 1дф - полноценная таблица, 2дф - просто справочник словарь

джойнить по словам

перечитайте внимательно то что я вам писал с самого начала