Workaround будет писать плагин во временный файл в оперативной памяти и загружать плагин из него:

#include <boost/filesystem.hpp>
#include <boost/dll.hpp>
using namespace boost;
dll:shared_library load_from_memory(unsigned char* data, std::size_t size, const filesystem::path& tmp_plugin_path = filesystem::unique_path() / "libplugin.so") {
    const filesystem::path plugin_location = filesystem::temp_directory_path() / tmp_plugin_path;
    filesystem::create_directories(plugin_location.parent_path());
    filesystem::ofstream ofs(plugin_location, std::ios::out|std::ios::bin|std::ios::trunc);
    ofs.write(data, size);
    return dll::shared_library(plugin_location);
}

Но нет никакой гарантии, что<filesystem::temp_directory_path()>действительно будет писать в ОЗУ, это очень зависит от платформы.