Наверное, видосик лучше

Конвенция вызовов не соблюдена походу

А хотя нет все ок

Ребята, причём тут андроид?

Игра, для сборки которой нужна эта либа, выйдет на Андроид :)

Вот финальное видео. 0xa30=2608 - это и есть правильный размер буфера, который, как выяснилось, заменяется на адрес.
yadi.sk/i/doR4tfES9uS8nQ

Всё, с проблемой я разобрался. Такое поведение было вызвано несоответствием типов вызывающей программы и DLL. При этом я сам допустил ошибку: запускал отладку в релизной версии, из-за чего и не мог понять, что происходит, т.к. никаких предупреждений от компилятора я не получал. До этого я потратил много времени на компиляцию вызывающей программы, в Debug она так и не запускается (там нужно дописывать пути к заголовкам, что сделал только для релизной версии) :). Так вот при запуске отладчика в Debug режиме после работы функции, которая возвращала буфер, VS выдаёт предупреждение о проблемах с регистром ESP.

В DLL у меня подключался заголовочный файл wintypes.h, в котором были описаны типы (что-то такое: typedef uint32_t DWORD;). А в вызывающей программе использовался стандартный windows.h, который я и прописал в коде библиотеки. Так что для решения проблемы достаточно было поменять одну строку.

Сейчас всё работает. Я, кстати, сравнивал асм код с тем, который вызывал такое поведение. Разница всего в одну команду.

Спасибо всем за помощь!

Я хоть и не помог, но спасибо что не исчез, а рассказал как решилось :)

Тем и пахло.

Кто-то ломал стек и переменная которая хранилась в стеке получала левое значение.

молодец, что разобрался до конца.

Вопрос по NDK. Можно ли сделать что-то, чтобы компилятор не сохранял имена функций и классов? Открыл либу в IDA - и всё на виду.

Гугли про обфускацию

Тебе нужно что то, что сделает валидный для бинарника мусор вместо читаемых имен