1) Первая ошибка: вы в коде пытаетесь получить document.getElementById('oper'), но у вашего select не id такой, а name, если вы хотите получать элементы именно по имени то используйте getElementsByName, но в данном случае в вашем html поменяйте name на id
2). в уже в .js не используйте тег 'script' а подключайте его в вашем html, как внешний скрипт, либо пишете в том же html файле заключив ваш js код в тег 'script', прикладываю ниже ваш код с учетом этих правок:
function a() {
var a1 = parseInt(document.getElementById('a1').value);
var b1 = parseInt(document.getElementById('b1').value);
if (isNaN(a1)==true) a1=0;
if (isNaN(b1) == true) b1 = 0;
var ddl = document.getElementById('oper');
var selectedValue = ddl.options[ddl.selectedIndex].value;
switch (selectedValue) {
case '+':
{
var total = a1 + b1;
var el = document.getElementById('count');
el.textContent = total;
break;
}
case '-':
{
var total = a1 - b1;
var el = document.getElementById('count');
el.textContent = total;
break;
}
case '*':
{
var total = a1 * b1;
var el = document.getElementById('count');
el.textContent = total;
break;
}
case '/':
{
var total = a1 / b1;
var el = document.getElementById('count');
el.textContent = total;
break;
}
}
}
<html>
<head>
<meta charset="utf-8" />
<title>JS</title>
</head>
<body>
<div style="display:inline-block;">
<input type="text" id="a1" value="10" size="6"/>
<select size="1" id="oper" style="width:150px;">
<option>Выберите действие</option>
<option value="+">+</option>
<option value="-">-</option>
<option value="*">*</option>
<option value="/">/</option>
</select>
<input type="text" id="b1" value="2" size="6"/>
<input type="button" value="Расчитать" onclick="a()" />
</div>
<div>
<p> Ответ =</p><p>
<textarea сols="20" rows="1" id="count" ></textarea>
</p>
</div>
</body>
</html>