6

Сразу оговорюсь, что мне не нужен ram-disk, а нужно сделать так, чтобы SSD считался системой как некая планка(и) памяти ОЗУ. Вопрос про скорость и латентность не ставится.

То есть, я определяю на SSD некий файл или весь диск, который в системе считается как слот памяти.

Виртуальная (swap) память не подходит, поскольку является "прозрачной" или невидимой для ПО.

Для примера: есть 4ГБ реального ОЗУ и 128ГБ SSD. Хотелось бы получить часть SSD как ОЗУ для ВМ и в целом для программ. При желаемой схеме я могу предоставить до максимума для процессора (64ГБ), а не максимум доступной ОЗУ (4ГБ)

Рассмотрю все варианты, кроме варианта "купи ОЗУ и не свопь мозги".

Благодарю всех за разъяснение теории работы ОЗУ и страничной организации памяти.

Речь про чисто программный способ "подделки" памяти, чтобы можно было выделять для программ больше памяти, чем есть на борту. Пример с ВМ наглядный: ни одна из ВМ не позволит выделить больше памяти, чем есть ОЗУ, даже при наличии своп-файла в 16 раз больше.

7
  • 10
    Мне одному интересно - зачем?? 8 янв 2020 в 7:10
  • 2
    На уровне ядра системы такое можно сделать. На уровне драйвера такое возможно сделать немного "матюком", и довольно затратно по-времени. А SWAP - как раз то что нужно, и что значит не видно, параметр Total paging file/ free pagin file. SSD всёравно во первых будет работать медленнее чем ОЗУ, во вторых оно не поддерживает DMA именно в том смысле в котором его поддерживает физическая память. Поэтому - делайте своп.
    – nick_n_a
    8 янв 2020 в 7:35
  • 2
    Виртуальная память = физическая память + своп. Поэтому лучшее решение - разместить своп в SSD. ОС сама следит за страницами, и переписывает память из свопа в физическую (а с SSD по-другому не выйдет), т.е. ваша задача уже давно решена и называется это своп, либо вы не совсем понимаете что есть своп, или вас он чем-то кардинально не устраивает.
    – nick_n_a
    8 янв 2020 в 7:45
  • Итог: SSD невозможно прилинковать как оперативку, ввиду наличия последовательно интерфейса и блочного доступа (нельзя прочесть 1 байт, нужно читать или писать весь блок кратно 512 байт) что замедлит быстродействие. В итоге, работа такого эмулятора будет на 99% похожа на работу page file (swap), ввиду этого, всеравно рекомендуем вам использовать swap. Теоретически написание такого ПО возможно, но практически будет много трудностей, таких которые сводят написание такого чуда к нулю. Фактически нужно найти алгоритм своп-файла и чуть переделать (для линукса да, винда - нет).
    – nick_n_a
    8 янв 2020 в 8:45
  • Это принципиально невозможно на уровне железа. Поэтому в любом случае вам придется выделять на уровне ядра ОС реальную RAM и мапировать в нее адреса SSD. Т.о. получится еще одно пространство виртуальной памяти.
    – avp
    8 янв 2020 в 9:42

1 ответ 1

18

Вам нужно использовать page file или swap. Попробую подробно обьяснить почему.

Вначале - какая вообще бывает память.

Реально для ОЗУ существует физически два интерфейса поддерживающих оперативную память, один DDR(RAM) разьем, второй PCI (или PCI-express) как живой пример - память видеокарты. Есть и другие устаревшие интерфейсы AGP PCMMCI не могу все перечислить, но они уже впрошлом.

Если ваш девайс физически не вставляется не в первый интерфейс не во второй - то физически ваше устройство не может быть непосредственно источником оперативной памяти т.к. не существует другого протокола обмена между ЦП и устройством чем вышеприведенные. Поэтому гипотетически можно "спаять" переходник. Правда... как PCI память сделать доступной ПК - это отдельный вопрос, на который я не могу однозначно ответить.

Интерфейс SATA и IDE не поддерживают прямой обмен оперативной памятью, поэтому его устройства не могу быть источниками оперативной памяти. UPD почитав интернет, я нашел PCIe SSD диски, их нельзя использовать как оперативку потому что в PCIe-SSD-диск вшита программа SATA, а не программа оперативной памяти. Можно ли вшить другую программу что б PCIe виделась как оперативная (очень медленная) память - это под вопросом. Теоретически можно поспорить, на практике не встречал, и убить SSD перепрошивкой - не весело.

Итак физическая оперативная память доступна через контроллер памяти между PCI и DDR-RAM всё.

SATA IDE USB устройства поддерживают DMA, но DMA является неполноценным доступом в память, а доступом в память через "посредника", т.е. надо сначала выставить счётчик адреса в регистр DMA, потом сказать устройству что оно может использовать DMA, а потом устройство может использовать DMA а может не использовать - там сложный метод обмена, который аппаратно кардинально отличается от оперативного доступа в память. Т.е. DMA не является оперативным доступом в память, оно даже не знает сколько памяти на устройстве, хоть и упрощает работу.


Програмы под Windows и Linux работают как правило с виртуальной памятью, это означает что память может быть оперативной, может быть дисковой (и SSD тоже) а может не быть вообще. Память программы разделена на блоки (минимум 4096 байт бывают больше), и в оперативной памяти находятся лишь те блоки, которые программа непосредственно сейчас использует. Остальные блоки могут быть как на диске, так и вообще не быть. При попытке доступа к виртуальной памяти которая неоперативная при определенный условиях память подменяется оперативной, т.е. ОС смотрит дисковая эта память или нет. Если память дисковая - ОС ищет кусок оперативной памяти, считывает с диска в оперативную память кусок, и память снова из дисковой становиться оперативной. Если свободного оперативного куска нет - ОС может сбросить кусок малоиспользуемой (вычисляется) памяти на диск, таким образом свободный кусок ОС всегда найдет.

Такой механизм называется swap, page file, файл подкачки. Т.е. объем виртуальной памяти это объем физической оперативной памяти + объем файла подкачки.

Ваш предложенный алгоритм очень похож на алгоритм описанный выше, но с той разницей, что вы не хотите программам ничего сообщать о наличии дисковой памяти. Не думаю что это хорошо, поскольку если "ядро" ОС попадёт на диск - то всё будет ужасно тормозить. В ОС идет разграничение какие участки можно сделать дисковой памятью, а какие нельзя. Теоретически такую программу создать можно. К сожалению, вам её никто не поможет делать, а на реализацию у вас уйдут годы, и надеюсь вы понимаете что пользы от такой программы много не будет.

Для такой цели обычно используют файл подкачки.


Вопрос Речь про чисто программный способ "подделки" памяти, чтобы можно было выделять для программ больше памяти, чем есть на борту Ответ- это можно, но не так как обычно. Очень желательно выделать память именно через VirtualAlloc, потому что штатный мененджер памяти будет в ступоре, он вероятнее всего не расчитан на такой объем. Выделать надо кратно размеру страницы памяти (что б узнать размер нужно вызвать GetSystemInfo и взять параметр dwAllocationGranularity). А дальше ОС сама распределит где у вас будет оперативная память, а где дисковая. Надо понимать, что в х86 это сделать нельзя в рамках одного процесса (т.к. теоретически макс объем виртуальной памяти 4Gb, а где-то половина из них зарезервирована под ОС и библиотеки, линейный свободный кусок ещё меньше половины), для x86-программ прийдется создать более одного процесса, и на каждый процесс можно выделить где-то по 1Gb (условно). Т.е. если вы хотите взять 64Gb то надо создать 64 процесса. Память можно читать с помощью ReadProcessMemory например. Некоторые web-браузеры создают много процессов, думаю для этой цели. Так же можно использовать AWE окно (но на практике только через админские права или службу).

Для x64 можно, быть может с одной особенность. Думаю что нельзя выделить огромный обьем одним куском. Зато можно выделить 64 раза по 1Gb (или больше) и именно через VirtualAlloc. Под линуксом не скажу точно как, но думаю аналогично. Пробуйте, будут ещё вопросы - спрашивайте.

Вопрос ни одна из ВМ не позволит выделить больше памяти, чем есть ОЗУ - Ответ позволяют ещё и как. Может не все программы, но часть программ точно могут "съесть" больше чем ОЗУ.

P.S. Не забываем, что файл подкачки не обязательно должен быть файлом. Под линуксом можно выделить в партиции раздел под подкачку, и тогда определенная часть диска будет задействована под файл подкачки, и за счёт отсутствия файловой системы на этой части - работа будет быстрее.

P.S. UPD ещё. Скорость DDR4 - 25600 Мб/сек, DDR3 от 6400 Мб/сек до 12800. Скорость PCIe макс 64000Мб/сек, но Скорость SSD - я нашел максимум 3200 Мб/сек оценочная, 2200 Мб/сек при последовательном чтении (реально будет меньше) Intel SSD 750 http://fcenter.ru/online/hardarticles/hdd/38592-SSD_s_interfejsom_PCI_Express_obzor_i_testirovanie_pyati_modelej я так понял одна из дорогих и лучших... и учитывая елементную базу, врядли скорость будет сравнима с скоростью оперативной памяти. Практически DDR(RAM) будет в изготовлении проще и дешевле.

UDP: RAM-Диск. Появились RAM-диски, на них можно записывать информацию, но информация с них теряется после выключения питания. Например Gigabyte i-RAM (GC-RAMDISK) в PCIe широкий разьём. Вероятно они хорошо подходят для файлов подкачки или темповых папок. Туда вставляется оперативка, но используется она как диск, т.е. наоборот чем в вопросе - память используется как диск.

Ещё замечу, PCIe v 1.0 можно сделать на микроконтроллере, v2.0 условно можно сделать на микроконтроллере.

О PCIe. Скорость 2.5GT/s до 10.0GT/s(8 линий) для PCIe1.0 возможна на частоте 250Мhz. Для 99% логики и микроконтроллеов это потолок (при условии что логика распаралеливает сигнал, еденицы МС потянут 250Мhz (D-триггеры есть на 350 МHz у TI)). Для реализации скоростей выше нужно использовать дорогие ПЛИС, которые к тому же нужно уметь программировать и паять. Извесных ПЛИС на которые есть документация - не более 10-20 штук (не учитывая разделение на серии), плюс ещё в документации что-то пишут о лицензии на PCIe. Поэтому самому "пощупать" PCIe 2.0+ не получится, и PCIe будет развиваться исключительно у компаний которые могут себе позволить изготавливать чипы самостоятельно, или хотя бы могут программировать ПЛИС, т.е. новинок PCIe от обычных белых людей можно не ждать, нам туда дорога пока что закрыта. Разве что какие-то отдельные энтузиасты могут освоить ПЛИС. Переходников или PCI-phy-layer микросхем для PCIE почему то до сих пор нету и наверно не будет т.к. даная область вероятно не востребована.

Ссылки

8
  • PS был только для линукса? Или в винде тоже так можно? Я думал, что там всегда файл.
    – Qwertiy
    9 янв 2020 в 12:02
  • Ненашёл на формумах, поэксперементирую на досуге расскажу. Сейчас нет свободной партиции.
    – nick_n_a
    9 янв 2020 в 12:47
  • 1
    а M2 это те же PCIe только чуть удобнее стоят?) Просто интересно стало.
    – pavel
    10 янв 2020 в 7:41
  • 1
    @Adokenai пока не уберут с планок RAS и CAS - буду считать что мы живём в прошлом веке, потому что для чтения такой памяти нужно 2-ва цикла обращения. Вчера открыл список чипов памяти - и не нашел даже статическую память на 1ГГц (1 нс), нету свежей двупортовай памяти, нету свежей псевдо-SDRAM. Лично у меня сложилось впечатление что рынок памяти умер.
    – nick_n_a
    27 янв 2020 в 9:05
  • 1
    @pavel M2 поддерживает PCIe всё верно. Хоть и в немного в обрезаном виде. Кажется до 4-х линий. Распиновку тяжело найти, но возникает другая пролема. Прийдётся ждать пока кто-то сделает. Если PCI-шину можно самому что-то спаять, то PCIe 1.0 - теоретически можно собрать, PCIe 2.0 может быть на мелкой логике, то PCIe 3.0 и выше можно собрать только на специализированых дорогих ПЛИС, потому что чипов быстрее чем 3 нс (266Мhz) фактически нету. Правда наверно изготовление PCIe - отдельная тема.
    – nick_n_a
    26 янв 2021 в 13:42

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.